信息熵与不确定性：信息熵的定义、熵的计算公式、熵在信息价值评估中的应用
说实话，我第一次接触信息熵这个概念时，觉得它特别抽象。什么「不确定性度量」？听着就头大。直到我在一个推荐系统项目里，被用户行为数据的「混乱程度」折磨得够呛，才真正理解了——信息熵，说白了就是衡量你「有多不确定」的一把尺子。
你想想看，如果一件事的结果你闭着眼睛都能猜对，那这件事对你来说「信息量」几乎为零。反过来，如果结果完全随机，你猜中的概率跟抛硬币差不多，那这件事就充满了不确定性，也就意味着它携带了巨大的信息量。嗯，这就是信息熵的核心思想。
信息熵的定义
信息熵这个概念，是香农老爷子在1948年提出来的。他当时在研究通信系统，想知道「一条消息到底能传递多少信息」。后来我们发现，这玩意儿在数据分析、策略评估里简直太好用了。
定义其实不复杂：信息熵是衡量一个随机变量不确定性的期望值。变量可能取值的概率分布越均匀，熵就越大；分布越集中，熵就越小。
核心理解：
- 熵 = 0 → 完全确定，没有信息量（比如太阳从东边升起）
- 熵很大 → 非常不确定，信息量丰富（比如明天的股票涨跌）
- 熵居中 → 有一定规律，但也不完全确定（比如用户点击广告的概率）
我在做用户画像项目时，经常用熵来评估一个标签的「纯度」。比如「性别」这个标签，如果男女各占50%，那它的熵就很高，说明这个标签本身没有太多区分度。但如果某个标签下90%都是同一类人，那熵就很小，这个标签就很有价值。
熵的计算公式
公式其实很简洁，别被符号吓到。我习惯先看公式，再拆解它。
H(X) = - Σ P(xi) * log₂ P(xi)其中：
- H(X) 表示随机变量 X 的信息熵
- P(xi) 是第 i 种可能结果发生的概率
- log₂ 是以2为底的对数，结果单位是「比特」
- Σ 是对所有可能结果求和
为什么要用对数？我个人理解是：信息量具有可加性。两个独立事件同时发生，总信息量应该是各自信息量之和。对数恰好满足这个性质——log(a*b) = log(a) + log(b)。
举个具体的例子。假设一个硬币，正面概率0.5，反面概率0.5：
H = - (0.5 * log₂(0.5) + 0.5 * log₂(0.5))
= - (0.5 * (-1) + 0.5 * (-1))
= - (-0.5 - 0.5)
= 1 比特嗯，一枚公平硬币的熵就是1比特。这意味着每次抛硬币，你最多能获得1比特的信息。
再对比一下：如果硬币两面都是正面（概率1和0）：
H = - (1 * log₂(1) + 0 * log₂(0))
= - (0 + 0)
= 0 比特你看，完全确定的事件，熵就是0。这跟直觉完全吻合——你什么信息都得不到。
一个小技巧：我在实际计算时，经常用 Python 的 scipy.stats.entropy 函数。但手动算一遍能帮你建立直觉。建议你拿自己手头的数据集，算算不同特征的熵，感受一下「不确定性」的数值化表达。
熵在信息价值评估中的应用
这部分是我觉得最有意思的。熵不只是个数学概念，它在实际策略评估中能帮我们做很多决策。
1. 特征选择：哪个变量更有用？
我在做风控模型时，经常要判断「哪些用户特征对预测逾期最有帮助」。这时候就会用到信息增益——也就是加入某个特征后，熵减少了多少。
举个例子。假设我们要预测用户是否会点击广告。原始数据中，点击率是50%，熵是1比特。现在加入「用户是否在周末浏览」这个特征：
- 周末浏览的用户中，点击率70%，熵 = - (0.7*log₂0.7 + 0.3*log₂0.3) ≈ 0.88
- 非周末浏览的用户中，点击率30%，熵 ≈ 0.88
- 加权平均熵 = 0.5*0.88 + 0.5*0.88 = 0.88
- 信息增益 = 1 - 0.88 = 0.12 比特
信息增益越大，说明这个特征越能降低不确定性，也就越有价值。我曾经用这个方法，从200多个候选特征中筛选出20个核心特征，模型效果反而提升了15%。
2. 策略收益测算：这个策略值不值得做？
做策略产品经理时，我经常被问到：「这个策略上线后，能带来多少确定性？」
我的做法是：先算当前状态的熵，再估算策略实施后的熵，两者的差值就是策略带来的「信息价值」。虽然不能直接换算成钱，但至少能帮你判断——这个策略是在「消除不确定性」还是在「制造噪音」。
一个真实案例：
我曾经负责一个用户分群策略。原始分群方式下，各群组的购买转化率分布非常均匀（熵很高），说明分群没有意义。调整分群规则后，转化率分布变得集中（熵降低），信息增益达到0.35比特。这个策略最终带来了23%的营收增长。
3. 数据质量评估：你的数据有多「乱」？
嗯，这里要提醒你一点。熵也可以用来评估数据质量。如果某个字段的熵特别高，说明它的取值非常分散，可能意味着：
- 数据录入不规范（比如「北京」「北京市」「BJ」同时存在）
- 字段本身就没有区分度（比如全是唯一值）
- 存在大量异常值
我曾经踩过的坑：有一次我直接用高熵字段做模型训练，结果模型泛化能力极差。后来才发现，那个字段的熵高是因为数据采集时出了bug，大量随机值被录入了。所以，熵高不一定代表信息丰富，也可能是数据质量有问题。一定要先做数据清洗。
知识体系结构图
下面这张图，是我梳理的信息熵知识体系。你可以把它当作一个「思维导图」来看。
这张图把信息熵的三个核心维度串起来了。从左到右看：先理解定义，再掌握计算，最后落地到应用。我个人习惯用这种「定义→公式→应用」的框架来学习任何数学概念，效果不错。
小结一下
信息熵不是什么高深莫测的东西。它就是一把尺子，帮你量化「不确定性」。在数据分析里，它帮我们筛选特征、评估策略、诊断数据质量。说白了，你越能精准地度量不确定性，就越能做出靠谱的决策。
下次你面对一堆数据不知道从哪下手时，不妨先算算熵。你会发现，很多问题一下子就清晰了。
公众号:蓝海资料掘金营，微信deep3321