bit : 情報量の単位

1 bit (BIinary [2 の] Digit [数字]) 
(等しい確率の)二つ(0/1)の内どちらかを表す情報の持つ情報量
例: コイントスで、表が出た/女の子が生れた[厳密には違う]
1 bit で 「 |{ 0, 1 }| = 2 ( = 2^1 ) 通り」の内の一つを表現できる
2 bit では、「|{ 00, 01, 10, 11}| = 4 = 2^2 通り」の表現が可能
n bit では 2^n の表現が可能 ( 0 〜 2^n-1 に対応 )
10 bit では 2^10 = 1024 '=, 1000 = 10^3 = 1 K の表現が可能
M = 10^6 = (10^3)^2 '=, (2^10)^2 = 2^20 / G = 10^9 / T = 10^12 / P = 10^15 / ..
符号表現
有限集合 (要素が有限 [M] 個の集まり) の要素の整数値表現
0 〜 M-1 の整数値で対応
2 進表現 : M <= 2^N となる N を考え、N bit で表現
例: 曜日(の表現)の情報量 ( 0 〜 6 の 7 通り )
2^2 = 4 < 7 < 8 = 2^3 なので 2 bit より多く 3 bit より少ない情報量 ( log_2(7) '=, 2.8 )
例: キーボード上の文字 ( 英大文字/小文字、数字、記号、etc .. 7bit + 1 bit = 8 bit = 1 byte )