Maximum Likelihood Estimation

Likelihood & Maximum likelihood

在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们运用出现的结果来判断这个事情本身的性质（参数），也就是似然。

结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用\(\theta\)表示环境对应的参数，\(x\)表示结果，那么概率可以表示为: \[P(x| \theta)\]

\(P(x|\theta)\)是条件概率的表示方法，\(\theta\)是前置条件，理解为在\(θ\)的前提下，事件\(x\)发生的概率，相对应的似然可以表示为: \[\ell(\theta |x)\]

可以理解为已知结果为\(x\)，参数为\(\theta\)(似然函数里\(\theta\)是变量，这里说的参数和变量是相对与概率而言的)对应的概率，即: \[\ell(\theta |x) = P(x| \theta)\]

需要说明的是两者在数值上相等，但是意义并不相同，\(\ell\)是关于\(\theta\)的函数，而\(P\)则是关于\(x\)的函数，两者从不同的角度描述一件事情。

Example

假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此数据样本条件下，可以采用最大似然估计法求解袋子中白球的比例（最大似然估计是一种“模型已定，参数未知”的方法）。当然，这种数据情况下很明显，白球的比例是70%，但如何通过理论的方法得到这个答案呢？一些复杂的条件下，是很难通过直观的方式获得答案的，这时候理论分析就尤为重要了，这也是学者们为何要提出最大似然估计的原因。我们可以定义从袋子中抽取白球和红球的概率如下：