数学を初めとした理系の学問と哲学について 10
■ このスレッドは過去ログ倉庫に格納されています
コインを単位にする場合は、底のaは2である。また値1、2、3、…を取る
確率変数Xがあった時、X=jであるという事象の自己情報量は
L_j = − log_a Pr [ X = j ]
であるので、L_jの期待値
H_a( X ) := − 倍j}Pr [ X = j ] log_a Pr [ X = j ]
を定義でき、この値をXの底aに対する情報量、もしくは底aに対するシャノンエントロピーという。 ■ このスレッドは過去ログ倉庫に格納されています