邊際概似

在統計學中， 邊際概似函數（marginal likelihood function），或積分概似（integrated likelihood），是一個某些母數變量邊際化的概似函數（likelihood function） 。在貝氏統計範疇，它也可以被稱作為 證據 或者 模型證據的。

概念

給出一組 獨立同分布的數據點$\mathbb {X} =(x_{1},\ldots ,x_{n}),$, $x_{i}\sim p(x_{i}|\theta )$, 其中θ 是一個通過分布描述的 隨機變數，即 $\theta \sim p(\theta |\alpha ),$ 機率$p(\mathbb {X} |\alpha )$ ， 其中θ是邊際分布(積分結果):

$p(\mathbb {X} |\alpha )=\int _{\theta }p(\mathbb {X} |\theta )\,p(\theta |\alpha )\ \operatorname {d} \!\theta$

上述定義是在貝氏統計範疇給出的。在經典的(頻率派)的統計學中，邊際概似這一概念產生於聯合母數θ=(ψ,λ)，其中 ψ 是我們關心的實際母數，λ是一個不關心的冗餘母數。 如果λ服從機率分布，那麼通常可以通過邊際化λ來考慮ψ的概似函數：

${\mathcal {L}}(\psi ;\mathbb {X} )=p(\mathbb {X} |\psi )=\int _{\lambda }p(\mathbb {X} |\lambda ,\psi )\,p(\lambda |\psi )\ \operatorname {d} \!\lambda$

不幸的是，邊際概似一般很難計算。只有在邊際化輸出母數是數據分布的共軛先驗的情況下, 很少的一部分分布的可以得到確切解。在其他情況下，需要通過一些數值積分方法得到，無論是通用的法如 高斯求積或蒙地卡羅方法，或一種統計問題的專用方法，例如拉普拉斯方法, 吉布斯/梅特羅波利斯採樣，或者最大期望值算法。

在貝葉斯的範疇內，這等價於數據點的先驗預測分布。

應用

貝葉斯模型比較

在貝葉斯模型比較，被邊際化的變量的母數用於特定類型的模型，其餘可變標識的的模型本身。 在這種情況下，邊際概似是數據點由模型給出的機率，而不是假設的任何特定的模型母數。 用θ表示模型母數，模型M的邊際概似是

$p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\operatorname {d} \!\theta$

它是在這一背景下，術語模型證據是一種常見表達。這一數量是重要的，因為後驗機率比為一個模型M₁ 針對另一個模型M₂ 的比率邊際概似，稱為貝葉斯因子:

${\frac {p(M_{1}|x)}{p(M_{2}|x)}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}$

它可以表示成如下形式

後驗機率 =先驗機率× 貝葉斯因子

參見

• 經驗貝葉斯方法
• 邊際分布
• Lindley's 悖論

參考文獻

• Charles S. Bos. "A comparison of marginal likelihood computation methods". In W. Härdle and B. Ronz, editors, COMPSTAT 2002: Proceedings in Computational Statistics, pp. 111–117. 2002. (Available as a preprint on the web: [1] （頁面存檔備份，存於網際網路檔案館）)
• The on-line textbook: Information Theory, Inference, and Learning Algorithms], by David J.C. MacKay.