2020-11-18 联合分布 自信息 信息熵 非参数模型 交叉熵 随机变量

是从概率角度出发对信息量的刻画。对概率取对数，是为了满足联合概率的信息的可加性，即两个事件均发生的概率要相乘，但反映在信息量上要相加；再取负值，是因为小概率的事件...