MLE & MAP

假設有五個袋子，各袋中都有無限量的餅乾(櫻桃口味或檸檬口味)，已知五個袋子中兩種口味的比例分別是

1. 櫻桃 100%
2. 櫻桃 75% + 檸檬 25%
3. 櫻桃 50% + 檸檬 50%
4. 櫻桃 25% + 檸檬 75%
5. 檸檬 100%

如果只有如上所述條件，那問從同一個袋子中連續拿到2個檸檬餅乾，那麼這個袋子最有可能是上述五個的哪一個？其實答案很明顯為#5，因為從#5袋子連續拿到五個檸檬口味餅乾的機率為1，其他#1~#4分別為0, 0.25^2, 0.5^2, 0.75^2，這時候我們是用MLE來解。

但是今天如果多增加一些條件，假設拿到#1或#5的機率都是0.1，拿到#2或#4的機率都是0.2，拿到#3的機率是0.4，那同樣上述問題的答案呢？這個時候就變MAP了。

假設 P(hi | d) 為挑中第i個袋子然後連續拿出2個檸檬口味的餅乾，那麼根據Bayesian Prob.

P(hi | d) = P(hi) P(d | hi)/P(d)

而其中P(d) = 1 (因為已經說連續拿出2個檸檬口味餅乾了)，P(hi)則分別為(0.1, 0.2, 0.4, 0.2, 0.1)，P(d | hi)分別為(0, 0.25^2, 0.5^2, 0.75^2, 1^2)，這樣就可以算出P(hi | d)，結果會發現P(h4 | d) (第4個袋子)為最高。