概率分佈（probability distribution）是給出事件發生的概率的函數，它是一種通過樣本空間（sample space）和事件的概率描述隨機事件的方式。一種對概率的定義是用公理來定義，這種定義要求一個事件的概率滿足三條公理。令 E 為樣本集 S 中的一個事件，那麼其概率 mathrm{P}(E) 滿足下面三條公理：

1. 0lemathrm{P}(E)le1
2. mathrm{P}(S)=1
3. 對於互斥（mutually exclusive）事件序列 E_1,E_2cdots （ E_iE_jneemptyset forall ine j ），有mathrm{P}left(cup_{i=1}^{infty}E_iright)=sum_{i=1}^{infty}mathrm{P}left(E_iright)\

若我們令 E_1=S ，並令 E_i=emptyset forall i>1 ，根據公理2和3，我們可以得到 mathrm{P}(emptyset)=0 。令 X 為一個（實值的）隨機變量，即一個描述隨機事件的變量。那麼， X 的累計分佈函數（CDF）被定義為F_X(x)=mathrm{P}(Xle x)\故mathrm{P}(a<Xle b)=F_X(b)-F_X(a)\對於連續隨機變量， < 和 le 沒有區別，但對於離散隨機變量，這個區別很重要。對於一個連續隨機變量 X ，它的概率密度函數（PDF） f_X 由mathrm{P}(ale Xle b)=int_a^bf_X(x) dx\定義，故若 f_X 在 x 處連續，f_X(x)=frac{d}{dx}F(x)\對於一個連續離散變量 X ，它的概率質量函數（PMF）是p_X(x)=mathrm{P}(X=x)\在本文中，我們簡單介紹一些常見的概率分佈。

離散一致分佈

離散一致分佈（discrete uniform distribution）一個描述每個取值都有相同概率的情況的離散概率分佈。一個參數為 a,binmathbb{Z}, a<b 的離散一致分佈隨機變量的PMF為f(k)=frac{1}{n}, kin{a,cdots,b}, |{a,cdots,b}|=n\

離散一致分佈的PMF

它的CDF是F(k)=frac{lfloor krfloor-a+1}{n}\它的均值是mathrm{E}[X]=frac{a+b}{2}\它的方差是mathrm{Var}(X)=frac{n^2-1}{12}\它的偏度是 0 ；它的超值峰度是-frac{6left(n^2+1right)}{5left(n^2-1right)}\它的矩生成函數是frac{e^{at}-e^{(b+1)t}}{nleft(1-e^tright)}\它的特征函數是frac{e^{iat}-e^{i(b+1)t}}{nleft(1-e^{it}right)}\

連續一致分佈

連續一致分佈（continuous uniform distribution）一個描述所有取值都有相同概率的情況的連續概率分佈。一個位置參數為 a,binmathbb{R}, a<b 的連續一致分佈隨機變量的PDF為f(x)=begin{cases} frac{1}{b-a}&xin[a,b]\ 0&xnotin[a,b] end{cases}\

808d1be96dc6be952a01af7e80fb4175連續一致分佈的PDF

它的CDF是F(x)=begin{cases} 0&x<a\ frac{x-a}{b-a}&xin[a,b]\ 1&x>b end{cases}\它的均值是mathrm{E}[X]=frac{a+b}{2}\它的方差是mathrm{Var}(X)=frac{(b-a)^2}{12}\它的偏度是 0 ；它的超值峰度是 -frac{6}{5} ；它的矩生成函數是begin{cases} frac{e^{bt}-e^{at}}{t(b-a)}&tne0\ 1&t=0 end{cases}\它的特征函數是begin{cases} frac{e^{bit}-e^{ait}}{it(b-a)}&tne0\ 1&t=0 end{cases}\

泊松分佈

柏松分佈（Poisson distribution）是一個描述在一段時間內發生的獨立隨機事件的數量多離散概率分佈。一個發生率為 lambdainmathbb{R}_{++} 的柏松分佈隨機變量 Xsim Poisson(lambda) 的PMF為f(k)=frac{e^{-lambda}lambda^{k}}{k!}\

02bda4fd65f9f0d27183d1d47f9d138b泊松分佈的PMF

它的支集是 mathbb{N}cup{0} ；它的CDF是F(k)=e^{-lambda}sum_{j=0}^{lfloor krfloor}frac{lambda^j}{j!}\它的均值是mathrm{E}[X]=lambda\它的方差是mathrm{Var}(X)=lambda\它的偏度是frac{1}{sqrt{lambda}}\它的超值峰度是frac{1}{lambda}\它的矩生成函數是expleft[lambda(e^t-1)right]\它的特征函數是expleft[lambda(e^{it}-1)right]\

厄米特分佈

厄米特分佈（Hermite distribution）是一個描述計數數據的離散概率分佈。若 X_1 和 X_2 是參數分別為 a_1 和 a_2 的泊松分佈隨機變量，則 X_1+2X_2 是一個厄米特隨機變量，它的PMF為f(x)=e^{-(a_1+a_2)}sum_{j=0}^{lfloorfrac{x}{2}rfloor}frac{a_1^{x-2j}a_2^j}{(x-2j)!j!}\

160609f167ac9e8f8cd1cec34b0854e6厄米特分佈的PMF

它的支集是 mathbb{N} ；它的CDF是F(x)=e^{-(a_1+a_2)}sum_{i=0}^{lfloor xrfloor}sum_{j=0}^{lfloorfrac{i}{2}rfloor}frac{a_1^{i-2j}a_2^j}{(i-2j)!j!}\它的均值是mathrm{E}[X]=a_1+2a_2\它的方差是mathrm{Var}(X)=a_1+4a_2\它的偏度是frac{a_1+8a_2}{(a_1+4a_2)^{3/2}}\它的超值峰度是frac{a_1+16a_2}{(a_1+4a_2)^{2}}\它的矩生成函數是expleft(a_1left(e^t-1right)+a_2left(e^{2t}-1right)right)\它的特征函數是expleft(a_1left(e^{it}-1right)+a_2left(e^{2it}-1right)right)\

博雷爾分佈

博雷爾分佈（Hermite distribution）是一個與柏松分佈相關的離散概率分佈。一個參數為 muin[0,1] 的博雷爾分佈隨機變量的PMF為f(n)=frac{e^{-mu n}(mu n)^{n-1}}{n!}\它的支集是 mathbb{N} ；它的均值是mathrm{E}[X]=frac{1}{1-mu}\它的方差是mathrm{Var}(X)=frac{mu}{(1-mu)^3}\

指數分佈

指數分佈（exponential distribution）是一個描述泊松分佈事件相隔的時間的連續概率分佈。一個發生率為 lambdainmathbb{R}_{++} 的指數分佈隨機變量 Xsim Exp(lambda) 的PDF為f(x)=lambda e^{-lambda x}\

指數分佈的PDF

它的支集是 [0,infty) ；它的CDF是F(x)=1-e^{-lambda x}\它的均值是mathrm{E}[X]=frac{1}{lambda}\它的方差是mathrm{Var}(X)=frac{1}{lambda^2}\它的偏度是 2 ；它的超值峰度是 6 ；它的矩生成函數是frac{lambda}{lambda-t}, t<lambda\它的特征函數是frac{lambda}{lambda-it}\

拉普拉斯分佈

拉普拉斯分佈（Laplace distribution）又被稱作雙指數分佈，它是一個描述兩個i.i.d指數分佈隨機變量的差的概率分佈。一個位置參數為 muinmathbb{R} 且尺度參數為 binmathbb{R}_{++} 的拉普拉斯分佈隨機變量的PDF為f(x)=frac{1}{2b}expleft(-frac{|x-mu|}{b}right)\

拉普拉斯分佈的PDF

它的支集是 (-infty,infty) ；它的CDF是F(x)=begin{cases} frac{1}{2}expleft(frac{x-mu}{b}right)&xlemu\ 1-frac{1}{2}expleft(-frac{x-mu}{b}right)&xgemu end{cases}\它的均值是mathrm{E}[X]=mu\它的方差是mathrm{Var}(X)=2b^2\它的偏度是 0 ；它的超值峰度是 3 ；它的矩生成函數是frac{exp(mu t)}{1-b^2t^2}, |t|<frac{1}{b}\它的特征函數是frac{exp(mu it)}{1+b^2t^2}\

柯西分佈

柯西分佈（Cauchy distribution）描述兩個獨立的且均值為 0 的正態分佈的比值。柯西分佈是一個“病態”的分佈，因為它的均值和方差都不存在。一個位置參數為 x_0 且尺度參數為 gamma>0 的的的柯西分佈隨機變量的PDF是f(x)=frac{1}{pigammaleft[1+left(frac{x-x_0}{gamma}right)^2right]}\

柯西分佈的PDF

它的CDF是F(x)=frac{1}{pi}arctanleft(frac{x-x_0}{gamma}right)+frac{1}{2}\它的均值、方差、偏度、超值峰度和矩生成函數都不存在；它的特征函數是e^{x_0it-gamma|t|}\

瑞利分佈

瑞利分佈（Rayleigh distribution）一個非負的連續隨機變量，尺度變換後它和一個自由度是 2 的卡方分佈隨機變量的平方根是一致的。柯西分佈是一個“病態”的分佈，因為它的均值和方差都不存在。一個尺度參數為 sigma>0 的的的瑞利分佈隨機變量的PDF是f(x)=frac{x}{sigma^2}e^{-x^2/left(2sigma^2right)}\

瑞利分佈的PDF

它的CDF是F(x)=1-e^{-x^2/left(2sigma^2right)}\它的均值是sigmasqrt{frac{pi}{2}}\它的方差是frac{4-pi}{2}sigma^2\它的偏度是frac{2sqrt{pi}(pi-3)}{(4-pi)^{3/2}}\它的超值峰度是-frac{6pi^2-24pi+16}{(4-pi)^2}\它的矩生成函數是1+sigma te^{sigma^2t^2/2}sqrt{frac{pi}{2}}left(mathrm{erf}left(frac{sigma t}{sqrt{2}}right)+1right)\ mathrm{erf}(x)=frac{2}{sqrt{pi}}int_0^x e^{-t^2} dt\它的特征函數是1+sigma te^{-sigma^2t^2/2}sqrt{frac{pi}{2}}left(mathrm{erfi}left(frac{sigma t}{sqrt{2}}right)-iright)\ mathrm{erfi}(x)=-imathrm{erf}(ix)\

參考文獻

[1] Resnick, S. I. (1999). A probability Path.