本日読了。
良書。いろいろと雑談が書かれており、概念的理解の助けになる。
エントロピーは、情報の不確かさ具合。情報を得るとエントロピーは下がり、エントロピーの差が情報量になる。相互情報量は、一方を知った時にもう一方を推定できる度合い（独立でない度合い）。
一定の不確かさ具合で情報を発信する機能を情報源と呼ぶ。情報源のエントロピーが定義できる。情報源から出る情報が、時間的前後で相関がある場合、実効のエントロピーは下がる。これを、情報源の冗長度と呼ぶ。冗長な情報源のふるまいは、短時間では予想がつかないが、長時間では実効のエントロピーに近づく。これを、情報源の大数の法則と呼ぶ。
情報源から出る情報を、符号化して通話路を通して復号化して受信する、通信系を考える。通話路の容量を最大限（にいくらでも近く）活用できる符号化方式が存在する（シャノンの雑音のない通話路の基本定理）。また、理想的な符号化方式であれば、雑音のない通話路から冗長度を除去できる。頻出するパターンにより短い符号を与えることで、これが実現できる。
雑音のある通話路では、情報が変換されてしまうが、どの情報が変換されたかも不確かであるため、10%の雑音でも、情報量は半減してしまう。しかしながら、適切な冗長化を行えば、半減した通話路の容量をフル活用できる（シャノンの雑音のある通話路の基本定理）。このための具体的な、誤り訂正用の符号化方式が、さまざまに研究されている。
離散通信系は以上。連続通信系は難しいが、基本は一緒とのこと。
