苍山县 涞源县 双桥区 洞口县 扎鲁特旗 望江县 上栗县 上高县 遂川县 濉溪县 古交市 民丰县 南投县 华容县 通化县 广南县

土拨鼠_信息论随笔3: 交叉熵与TF-IDF模型

标签:百事通 天天麻将赢话费

接上文:信息论随笔2: 交叉熵、相对熵,及上上文:信息论随笔

在读《数学之美》的时候,相关性那一节对TF-IDF模型有这样一句描述:“其实 IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵(Kullback-Leibler Divergence)”;

当时尚不明白,等我看懂交叉熵与相对熵之后,再看TF-IDF,略有所获,本想与上一篇合写在一起的,但越写越多,于是单独成文;

文档的信息量

一篇文档由m个词组成

( d = (w_{1}, w_{2}, w_{3}, ......, w_{m} ) )

这篇文档d成文的概率是

( p(d) = p(w_{1}, w_{2}, w_{3}, ......, w_{m}) )

这篇文档d的自信息量是

( I(d) = -log_{2}p(d) = -log_{2}p(w_{1}, w_{2}, w_{3}, ......, w_{m}) )

假设1:每个词的出现是独立事件,则有

(p(w_{1}, w_{2}, w_{3}, ......, w_{m}) = p(w_{1})p(w_{2})p(w_{3})......p(w_{m}) )

这篇文档d的自信息量是

( I(d) =-log_{2}p(w_{1}, w_{2}, w_{3}, ......, w_{m}) = -log_{2}p(w_{1})-log_{2}p(w_{2})-log_{2}p(w_{3}) ...... -log_{2}p(w_{m}) )

( = I(w_{1}) + I(w_{2}) + I(w_{3}) + ...... + I(w_{m}) )

至此,得到一个很显而易见的结论,结论1:在假设1条件下,一篇文档的信息量是组成它的所有词的信息量之和

再考虑到词可能出现重复,设m个词中共有k个不重复词,每个词的重复次数是( n_{k} ),则:

这篇文档d的自信息量是

( I(d) = n_{1}I(w_{1}) + n_{2}I(w_{2}) + n_{3}I(w_{3}) + ...... + n_{k}I(w_{k}) )

( = sumlimits_{i=1}^{k}n_{i}I(w_{i}) )

词的概率分布估计

在上面文档信息量公式中,需要计算每个词的自信息量,但事实上这是做不到的,因为一个词在语言中的真实概率分布是不可知的,只能进行估计;

设我们估计得到的词概率分布为q;通常求q的方法可以是统计一个比较大的语料库中各个词的出现概率,为了迎合IDF是KL散度的一说法,我只能再把《数字之美》中的两个假设拉进来;

假设2:每篇文档大小基本相同,都为m个词;

假设3:一个词如果出现在文档中,则在每个文档中出现的次数都相同;(注:我也觉得这个假设太过理想了)

有了以上假设后,我们可以估计每个词的概率分布进而求解其信息量了;

设共有D篇文档,每篇文档有m个词,其中包含词(w_{i})的文档有(D(w_{i}))篇,有:

( q(w_{i}) = frac{n_{i}D(w_{i})}{mD})

设词(w_{I})在文档d中的真实概率分布为p",于是:

( p"(w_{i}) = frac{n_{i}}{m} )

然后把p"、q套进相对熵公式:

( D_{KL}(p" || q) = sumlimits_{i=1}^{k}p"(w_{i})log_{2}frac{p"(w_{i})}{q(w_{i})} )

( =sumlimits_{i=1}^{k}frac{n_{i}}{m}log_{2}frac{n_{i}/m}{ n_{i}D(w_{i})/mD} )

( =sumlimits_{i=1}^{k}frac{n_{i}}{m}log_{2}frac{1}{D(w_{i})/D} )

( =sumlimits_{i=1}^{k} TF(w_{i})IDF(w_{i}) )

由此得到一个结论,结论2:利用假设1、2、3条件下的词概率分布估计一个文档中某个词W的可能性所多产生的不确定性就是d中所有词的TF-IDF之和

这个结论2写得有点拗口,只是尽力让结论成一句话,下面试着多写几句话进行解释:

  1. 首先,这个结论基于特定的条件,即假设1、2、3所设定的条件;
  2. 在这个特定条件下,我们得到了一种关于词概率分布的估计q;
  3. 用q去估计文档d中某个词W的可能性是浪费的,因为q几乎不可能与文档d中的真实词概率分布p"相同,交叉熵大于等于信息熵,即相对熵恒大于0;
  4. 以上相对熵是描述d中的某个词时的相对熵(多出来的不确定度);重要的事情说三遍,某个词、某个词、某个词;
  5. 对文档d中的所有词求TF-IDF之和,就是这个相对熵;
  6. 每个词的TF-IDF,是对这潜行狙击_2018年最新新闻网个相对熵的贡献,其中IDF是对相对熵的关键贡献值,TF是个权重;这应该就是吴军在《数学之美》中所讲的“IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵(Kullback-Leibler Divergence)”,只不过在中英文最后一个道士_2018年最新新闻网对照上出了问题,KL散度应该对应是相对熵,而相对熵与交叉熵在很多时候又分不清楚;
  7. 当这个相对熵(TF-IDF之和)越大,q对文档d的描述越差,说明文档d的内容指向性越强,因为q是对整个语言中所有词的概率分布的估计;当这个相对熵越小(TF-IDF之和)越小,q对文档d的描述越好,说明文档d的内容指向性越差,越可能是随机按q选取词堆砌成文;

词交叉熵与文档估计信息量

上面既然推算出了相对熵,那再来看看交叉熵;

同样将p"、q带入交叉熵公式:

( H(p

( = sumlimits_{i=1}^{k}frac{n_{i}}{m} I"(w_{i}) , 设 I"(w_{i}) = -log_{2}q(w_{i}) )

( = frac{1}{m} sumlimits_{i=1}^{k} n_{i}I"(w_{i}) )

( = frac{闫妮与女儿跳舞_2018年最新新闻网1}{m} I"(d) )

即:

( I"(d) = mH(p", q) )

上面说过了,因为我们无法获知一个词的真实自信息量,所以无法获知文档d的真实自信息量,但我们引入假设2、3条件后,可以用q做估计,从而得到在q概率分布下,文档d的估计信息量,就是这个I"(d);

这个I"(d)为啥是交叉熵的m倍?还记得上面那个说三遍吗,不管是这里的交叉熵还是相对熵,都是与某个词有关的熵;而文档d有m个词,当然信息量会翻m倍了;

例子:

仍然使用上一篇随笔中的例子:

含有4个字母(A,B,C,D)的数据集,组成了一篇文档玛莎拉蒂_2018年最新新闻网d,d的内容只有两个字母“AB”,我们不知道数据集元素的真实分布p,只知在文档d内p‘=(1/2, 1/2, 0, 0);

如果使用p"来编码,H(p") = 1,每个字母使用一位编码,设定"A" = 0, "B" = 1,则d=01,文档d的编码长度为2;

根据假设2、3条件,共有12篇文档,每篇长度是2(假设2),且每个字母在所有包含它的文档中出现次数都相同(假云台山_2018年最新新闻网设3),分别是

AB  AC  AD

BA  BC  BD

CA  CB  CD

DA  DB  DC

得到估计分布q=(1/4, 1/4, 1/4, 1/4),使用q来编码,则得到H(p’,q)=2,每个字母需要2位编码来识别,设定"A" = 00, "B" = 01, "C" = 10, "D" = 11;则d=0001,文档d的编码长度为4;

字母的交叉熵是2,相对熵是1,文档d的估计信息量为4;

IDF(A) = log(12/6) = 1,IDF(B) = log(12/6) = 1;

TF(A)*IDF(A) + TF(B) *IDF(B) = 1/2* 1 + 1/2 * 1 = 1,与相对熵相等;

当前文章:http://8kvliar-zaieyi-com.haehdjk.tw/8gkr1yu/d9953_151348.html

发布时间:2019-08-24 12:30:57

澳门银河官网手机app  银河国际中心游戏厅2018年诺贝尔文学奖取消!历史上曾有7次暂停颁奖  银河优越会下载  银河优越会下载  银河国际中心游戏厅2018年诺贝尔文学奖取消!历史上曾有7次暂停颁奖  www.7163.com澳门银河  澳门银河真人在线娱乐  澳门银河娱乐送彩金网站  银河优越会会员申请  银河娱乐首页yh163am.com中国女留学生在西班牙被辱骂攻击,多次反抗无效  

用手机访问
下载APP
appicon 下载
扫一扫,手机浏览
code
休闲娱乐
综合热点资讯
单机游戏下载

精彩专栏
游民星空联运游戏