通信路には通信路容量と呼ばれる（）の限界がある

情報源からの出力系列を効率的に表現することを情報源の

ハフマン符号の平均符号語長が最小であるという定理はなんというか

情報源アルファベットA上の確率分布Aによって定まる（）Xに対する符号Cの平均符号語長L（c）は、定義できる

増分分解によって得られる部分列の個数の関係を示す（）が必要になる

情報通信のモデルは送信するべき情報源を情報源符号化器、情報路符号化器を通して、（2）を通るがここで、（3）が入る場合がある。

推定値なのかと言えば、一連の過程で本来の（5）された情報源が正しく、（6）されず、元の情報源が正しく送信できない場合がある。

通信路符号化定理は、通信路によって定まる固有の量である通信路容量よりも（9）が真に小さい時、符号化における符号長を（10）することで、（9）を小さくしなくても（11）を任意に小さくできること、（11）と（12）の関係にあるのは、（9）にあるのではなく、符号化の（13）あるいは、（14）にある、ことを指している

雑音を含めて通信路の複合器、情報源複合器を通って情報源の出力列の（4）を得る

一般的に符号の包含関係は語頭符号を（9）が包含し、（9）が（0）を包含する

A={0,1｝,n=3とすると、通信路符号CはA^nの（4）で表される

ハフマン符号の構成法 ①生起確率1の記号が1つになった場合、新たに得られた情報源アルファベットの記号を再び生起確率の大きさ順に並び替えて（A）の処理に戻る ②生起確率1の記号が1つになった場合、これまでの手順でできる木の根から内部節点を辿り、伸びる左右の枝にそれぞれ0または1のラベルをつけて符号木をつくる。 ③記号a₁,a₂,....aqを生起確率の大きい順（降順）に並べる ④情報源アルファベットをA={a₁,a₂....,aq｝とする ⑤(B)2つの生起確率の和を新しい記号の生起確率にする ⑥(A)生起確率が小さい方から2つの記号を選び、これらをまとめて新しい記号に置き換える。

通信路符号化の目的は、通信路で生じた（1）の影響を軽減すること、送受信者間で（1）の少ない（2）の通信を行うことである。

通信路容量は相互情報量の（7）によって定義される

1記号あたりの平均符号語長が情報源の（）に近づくような符号を（）という

符号Cに含まれる1の個数が偶数個の時、これらの（5）を2元対称通信路を通じて受信者に送るとした場合、もし、（5）に誤りが生じればその場所で1と0が反転するため、受信者は受信した（6）に含まれる1の個数が（7）個となり、誤りを（8）することが出来る。

どの符号語も他の符号語の先頭部分と一致しない符号のことを（）または語頭符号と呼ぶ

一意に複合可能な符号の符号化長は()を満たさなければならない

通信路符号化の目的は送信情報に（3）を付加するために通信路符号を用いている

入力される（）が長くなるにつれて1記号あたりの平均符号長がエントロサピーに（）するような符号化を（）と呼ぶ。

ハフマン符号は最小の平均符号語長を与えるものの、予め（）の従う確率分布を知っておく必要がある

ユニバーサル符号の中でも（）は与えられた文字列を部分列に（）して、得られた部分列を（）に対応させる（）という方法を用いる

l(x)は記号xの（）である

情報アルファベットAの異なる記号はそれぞれ異なる符号に対応することを（）という

2つの生起確率の和を新しい記号の生起確率にするの結果得られる新しい情報源アルファベットは記号数がどう変化しているか