コインを単位にする場合は、底のaは2である。また値1、2、3、…を取る
確率変数Xがあった時、X=jであるという事象の自己情報量は

L_j = − log_a Pr [ X = j ]

であるので、L_jの期待値

H_a( X ) := − 倍j}Pr [ X = j ] log_a Pr [ X = j ]

を定義でき、この値をXの底aに対する情報量、もしくは底aに対するシャノンエントロピーという。