[译] 信息价值的测量

原文 by John McCarthy, Proc Natl Acad Sci (PNAS). 1956 Sep; 42(9): 654–655.

引言

我们对于未来事件的知识可以用一组概率集合的形式表达 p_1, p_2, \cdots, p_n 。例如,我们可能知道明天天气是下雨,下雪和晴天的概率各是 \frac{3}{8}, \frac{1}{8}, \frac{1}{2} 。在通信理论中我们的兴趣只在于作为消息编码载体的各种事件。就这个目的而言,香农熵 -\sum p_i \log p_i 是不确定性的合适测度,函数 A\sum p_i \log p_i+B 也是这条信息的价值在给定概率下的合适测度。在我们的天气的例子中,我们不仅关心哪个事件会发生,而且更关心到底是不是晴天,因为不论下雨、下雪,反正是坏天气。在这篇文章中我们证明了一组概率的任意凸函数 都可以作为信息价值的合适测度。并且两个函数在是否合适的意义上是等价的,当且仅当他们相差一个线性函数。

预报员和他的客户

我们介绍一个获得信息的定量测度的情景,一个客户向预报员对未来事件按照如下规则的预测付费:

1)预报员给客户一个各事件概率集合 q_1, q_2, \cdots, q_n ,且 \sum q_i = 1

2)客户根据这些概率采取行动,且给出的事件中定然发生一件。

3)如果第i 个事件发生,客户付费 f_i (q) =: f_i (q_1, q_2, \cdots, q_n)

4)我们假设预报员和客户都无法影响事件的发生,但预报员可以做实验来帮助预测;客户的回报既取决于他采取的行动也取决于发生哪件事;预报员和客户都想最大化他们的期望回报值。

假设对于预报员事件的可能概率集合是 p = (p_1, p_2, \cdots, p_n) ,他告诉客户的是一些 q,那么他的期望回报就是 \sum p_i f_i (q) 。如果无论 p 的值如何取,预报员的期望回报都当且仅当他给出的 p_i = q_i, \forall i 时最大化,则称这是一个“使人诚实”的报酬规则。

定理1:一个报酬规则“使人诚实”,当且仅当 f_i (q) =\frac{\partial}{\partial q_i} f(q) ,其中 f(q)q 的一阶齐次凸函数。一个诚实预报员的期望回报也就是 \sum p_i f_i (p) = f(p)

证明从略,求导要采用适当的一般形式。如果满足定理1的条件,f(q)就称为“报酬函数”。

古德(I. J. Good)考虑了在限制条件 f_i (q) = F (q_i) 下向预报员付费的问题,比如报酬只取决于实际发生的那个事件的概率。他证明了使用 F (x) = A \log x + B 是“使人诚实”的,葛利生(Gleason)证明了这是唯一“使人诚实”的 F (x) 。预报员的期望回报也就是 A\sum p_i \log p_i+B ,例如,付费为一个固定费用减去预报员预测后的事件不确定性的期望。

客户的期望

可以想见根据预报员的预测,客户选择采取他的第 j 个行动,并且第 i 个事件发生了,他的报酬是 a_{ij} 。他的期望回报,如果他能够选择最优的 j 的话就会是 g(p) = \max \sum\limits_{i} a_{ij} p_i。根据凸函数的理论我们就有,

定理2:任何对于 p_1\geqslant 0, p_2\geqslant 0, \cdots, p_n\geqslant 0 定义的一阶齐次凸函数 g(p) 可以被写成 \max\limits_{j} \sum a_{ij} p_i 的形式。除非 g(p) 是分段线性的,否则需要有无限多个“行动 j”。

如果令 f(p) = g(p),客户就被从情境中消除了,因为在这种情况下他将全部所得交给预报员,同时也被补偿全部损失。这不是问题的一个满意解答,所以让我们来考察怎样的报酬 f 在让预报员努力获取信息的效果上是等价的。

预报员的实验

假设预报员对于事件知道一组先验概率 r_1, r_2, \cdots, r_n;并且他可以在 m 个实验流程中选择,带来的成本是 c_1, c_2, \cdots, c_m;并且给定第 i 个事件会发生时的第 h 个实验出现第 k 个结果的条件概率是 s_{khi}。预报员对实验的选择会取决于 c, s, r 和客户选取的报酬函数。如果对于任意的 c, s, r 集合都导致预报员相同的实验选择,我们就称两个报酬规则是等价的。

定理3: f(q) , f^{\ast} (q) 是等价的,当且仅当 f(q) = f^{\ast} (q) + \sum a_i q_i ,例如两个报酬函数相差一个 q 的线性函数。

证明从略。如果 f(q) , f^{\ast} (q) 等价,就有 f(q) = f^{\ast} (q) + a_i ,所以报酬规则就相差一个取决于发生哪个事件,而不取决于预报员预测结果的数额。如果我们令 f(q) = g(q) + \sum a_i q_i,预报员和客户的利益就是共同的。这些 a_i 就是客户和预报员之间谈判的主题,它们既决定了报酬的基础水平也决定了客户和预报员的对赌关系。如果 f 被规范化至 f(1, 0, \cdots, 0) = f(0, 1, \cdots, 0) = \cdots,一个正确预测的费用就是独立于被预测事件的。

结论

上述分析表明对一组概率而言,任意的凸函数在合适的情况下都可以作为信息价值的合适测度,并且作为合适的报酬支付给提供这一组概率的预报员。

对凸性限制的一个直觉解释是,如果一个实验是免费的,那么看看它的结果总是一个好主意。因为假使实验有两个结果 AA^{\ast} ,也就给出了考察的事件的一个概率集合 pp^{\ast}。令 t 为出现 A结果的概率。如果我们决定不观察,我们的期望就是 f(tp+ (1-t)p^{\ast}) ;但如果我们观察,期望就成为 tf(p)+ (1-t) f(p^{\ast})

最后我们指出还有更一般的向预报员付费的方法,例如,客户可能同意支付实验的成本的 \alpha \%,这样支付函数就可以被分数 \alpha \% 削减,同时保持两方利益关系不变。我们希望在另外的场合处理这些问题。

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注