Перевірка оптимальності коду

Перевірка оптимальності коду здійснюється шляхом порівняння ентропії

кодованого (первинного) алфавіту з середньою довжиною кодового слова у вторинному алфавіті.

Ентропія джерела повідомлень дорівнює

(4.1)

Середня довжина кодового слова у вторинному алфавіті

, (4.2)

де l(i)  довжина i-й кодовой комбінації;

p_i  ймовірність появи і-го символу комбінації довжиною l(i).

Оптимальності коду дорівнює

(4.3)

Приклад 4.2. Проведемо кодування методом Шеннона-Фано і розрахуємо характеристики коду. Нехай первинний алфавіт складається з восьми букв і задані їх ймовірності. Проведемо розбиття по алгоритму Шеннона-Фано і складемо кодові комбінації.

Літера	Ймовірність появи літери	Кодові комбінації
A₁	0.25	1 1
A₂	0.20	1 0
A₃	0.15	0 1 1
A₄	0.10	0 1 0
A₅	0.10	0 0 1 1
A₆	0.10	0 0 1 0
A₇	0.06	0 0 0 1
A	0.04	0 0 0 0

Обчислимо ентропію за формулою 4.1.

H =  0.25 ∙ log₂0.25  0.20 ∙ log₂0.20  0.15 ∙ log₂0.15  3 ∙ 0.10 ∙ log₂0.10 

 0.06 ∙ log₂0.06  0.04 ∙ log₂0.04 = 2.79 (біт)

Обчислимо середню довжину кодової комбинації за формулою 4.2.

L_ср = 0.25 ∙ 2 + 0.20 ∙ 2.0 + 0.15 ∙ 3 + 0.10 ∙ 4 + 0.10 ∙ 4 + 0.06 ∙ 4 +

+ 0.04 ∙ 4 = 2.85 (біт)

Оптимальність (ефективність) коду (за формулою 4.3) дорівнює

Читайте також:

<== попередня сторінка	\|	наступна сторінка ==>
Код Шеннона-Фано	\|	Порядок виконання роботи

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

Генерація сторінки за: 0.02 сек.