【機器學習中的數學】比例混合分布

jopen 9年前發布 | 20K 次閱讀機器學習

比例混合分布(Scale Mixture Distribution)

混合分布是來自其他隨機變量的集合構成的隨機變量的概率分布：一個隨機變量是根據給定的概率從集合隨機選取的，然后所選隨機變量的值就得到了( first, a random variable is selected by chance from the collection according to given probabilities of selection, and then the value of the selected random variable is realized)。
當潛在的隨機變量是連續的情況下，混合得到的隨機變量也是連續的，并且其概率密度函數有時被稱作是一個混合密度，其累積分布函數(cumulative distribution function)可以表示成其他分布函數的凸組合(convex combination，i.e. a weighted sum, with non-negative weights that sum to 1)。

有限可數混合體

給定一個有限的概率密度函數集合p1(x),...,pn(x)，或者相對應的累積分布函數P1(x),...,Pn(x)和權值w1,...,wn(wi>=0,sum(wi)=1)，該混合分布可以被表示為密度函數f，或者分布函數F：

這種類型的混合體稱作有限混合(finite mixture)。

不可數混合體

當組成的分布式不可數的，這個分布就被稱為混合概率分布(compound probability distribution)。這種分布的構造是用積分來代替有限情況下的求和形式。
考慮一個隨機變量為x，參數為a的概率密度函數p(x;a)。對于在集合A中的每一個值a，p(x;a)是一個關于x的概率密度函數，給出概率密度函數w(要求w非負且積分為1),則函數：

f(x)就是一個關于x的概率密度函數。

Gamma函數

了解Gamma函數的性質和一些有用的計算公式，在后面復雜的分布中會用到這些公式和表示方式。

學生t-分布及其混合分布

學生t-分布(Student's t-distribution)

在概率論和統計學中，學生t-分布（Student's t-distribution），可簡稱為t分布。應用在估計呈正態分布的母群體之平均數。它是對兩個樣本均值差異進行顯著性測試的學生t檢定的基礎。

其中，ν被稱作自由度(degrees of freedom)，當ν=1時，該分布退化為柯西分布(Cauchy Distribution)；當ν→∞時，該分布為高斯分布。

Scale Mixture of Normals

Student T分布可以看做是正態分布和Gamma分布的混合體，由于是連續分布，所以該混合體表示為積分形式。其公式推導如下，在求解積分時用到了之前Gamma函數中列舉的有用的積分公式：

Laplace分布及其混合分布

laplace分布

在概率論與統計學中，拉普拉斯分布是以皮埃爾-西蒙·拉普拉斯的名字命名的一種連續概率分布。由于它可以看作是兩個不同位置的指數分布背靠背拼接在一起，所以它也叫作雙指數分布。兩個相互獨立同概率分布指數隨機變量之間的差別是按照指數分布的隨機時間布朗運動，所以它遵循拉普拉斯分布。
如果隨機變量的概率密度函數分布為：