IG又称information divergence,information gain ,relative entropy 或者KLIC信息增益(Kullback–Leibler divergenc。Ig名词解释?更多详情请大家跟着小编一起来看看吧!

Ig名词解释(1)

Ig名词解释(1)

IG又称information divergence,information gain ,relative entropy 或者KLIC。

信息增益(Kullback–Leibler divergence)又称information divergence,information gain(IG),relative entropy 或者KLIC。

在概率论和信息论中,信息增益是非对称的,用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时,再使用P进行编码的差异。通常P代表样本或观察值的分布,也有可能是精确计算的理论分布。Q代表一种理论,模型,描述或者对P的近似。