資訊熵應用小結

l 1。資訊熵的大小可以表示機率系統的不確定程度。

l PA=(0。5,0。5,0,0,0)

資訊熵應用小結

l PB=(0。5,0。125,0。125,0。125,0。125)

l H(PA)=1(bit)

l H(PB)=2(bit)

l 注意:相同事件數的情況下

l 2。基於相對資訊熵的基礎上,冗餘度表示了傳遞資訊時,不必要的冗長部分的比例。

l h=H/Hmax r=1-h=1-H/Hmax=(N-Nmin)/N

l 3。問題的資訊熵表示了學習者應答選擇的不確定程度,同時也能在一定程度上判斷該問題的困難程度。

l 應答分佈越集中,熵越小,問題越簡單,應答分佈越分散,熵越大,問題越困難。等機率分佈的問題,難度最大。

l 4。對教師、學生教學過程中語言類別的記錄和統計,可計算出教學過程的資訊熵。根據語言行為的類別總數和熵具有一定的相關性,並且根據學科的不同表現出不同的特點和趨勢。

l 5。相對資訊熵可以用來比較不同系統問題的資訊熵的大小。

l 6。基於問題的課件中的資訊熵可以用來評價課件中設定的問題,資訊熵高的問題優於資訊熵低的問題。課件的平均相對熵為課件評價的量化給出了一個很好的量度標準和量度方法。

l 7。資訊熵表示了學習者學習的穩定性。資訊熵越高,表明學習不穩定,當資訊熵逐漸變低時表明學習趨於穩定的狀態。