互信息是信息論中一種有用的信息測度，可以看作是一個隨機(jī)變量所包含的關(guān)于另一個隨機(jī)變量的信息，或者是知道另一個隨機(jī)變量所減少的不確定性。互信息的定義和交叉熵近似。互信息與多元對數(shù)似然比檢驗和皮爾遜檢驗密切相關(guān)。

互信息是計算語言學(xué)模型分析中常用的方法，它度量兩個對象之間的相互關(guān)系。用于衡量過濾問題中特征對主題的區(qū)分程度。互信息的定義和交叉熵近似。

互信息原本是信息論中的一個概念，用來表示信息之間的關(guān)系 是兩個隨機(jī)變量之間統(tǒng)計相關(guān)性的度量用于特征提取的互信息理論的使用基于以下假設(shè)：在某個類別中出現(xiàn)頻率高而在其他類別中出現(xiàn)頻率低的條目與該類別的互信息更大。

互信息通常被用作特征詞和類別之間的度量如果特征詞屬于這一類，其互信息最大。由于這種方法不需要對特征詞和類別之間關(guān)系的性質(zhì)做任何假設(shè)，因此非常適合文本分類中特征和類別的配準(zhǔn)。

信息是物質(zhì)、能量、信息及其屬性的標(biāo)記。逆維納信息定義了信息是確定性的增加。逆香農(nóng)信息將信息定義為事物現(xiàn)象及其屬性標(biāo)識符的集合。

一般來說，信道中總是存在噪聲和干擾信源發(fā)出一個消息X，經(jīng)過信道后，信宿可能只接收到一些干擾造成的變形Y。接收到Y(jié)后，信宿推斷信源發(fā)送x的概率，這個過程可以通過后驗概率p來確定(x|y)來描述。因此，源發(fā)射x的概率p(x)稱為先驗概率。我們將X的后驗概率與先驗概率之比的對數(shù)定義為Y與X的互信息（簡稱互信息）