Новини освіти і науки:

G+

Задача 6.2.5

Маємо три дискретних немарковських джерела з алфавітами Ймовірності сумісної появи символів мають такі значення:

p(x₁,y₁,z₁) = 0,048;

p(x₁,y₁,z₂) = 0,012;

p(x₁,y₂,z₁) = 0,072;

p(x₁,y₂,z₂) = 0,162;

p(x₂,y₁,z₁) = 0,272;

p(x₂,y₁,z₂) = 0,068;

p(x₂,y₂,z₁) = 0,300;

p(x₂,y₂,z₂) = 0,060.

Знайти ентропії кожного з джерел, системи трьох джерел, а також повну взаємну інформацію для кожної пари джерел.

Розв’язання. Щоб знайти ентропію кожного з джерел, розрахуємо ймовірності появи символів на виході джерел згідно з виразами:

Маємо такі значення:

p(x₁) = 0,3; p(x₂) = 0,7; p(y₁) = 0,4;

p(y₂) = 0,6; p(z₁) = 0,692; p(z₂) = 0,308.

Знаходимо ентропії джерел:

H(X) = 1,8813 біт ; H(Y) = 0,971 біт ; H(Z) = 0,8909 біт .

Щоб обчислити повну взаємну інформацію, знайдемо ентропії для чого розрахуємо ймовірності сумісної появи пар символів, користуючись виразами типу:

Маємо

За виразом (1.11) обчислюємо ентропії кожної із систем двох джерел:

H(X,Y) = 1,7975 біт ; H(X,Z) = 1,653 біт ; H(Y,Z) = 1,8345 біт .

Тепер знаходимо значення повної взаємної інформації для всіх пар джерел:

Аналогічно

Для обчислення ентропії системи трьох джерел скористуємось виразом (6.20), коли

Із виразу (1.16) отримаємо

Щоб знайти H(Z/Y,X), необхідно розрахувати умовні ймовірності типу . Для цього скористаємось виразами:

Отримаємо

Далі знаходимо частинні умовні ентропії

аналогічно

Тепер обчислимо повну умовну ентропію:

Нарешті

Читайте також:

<== попередня сторінка	\|	наступна сторінка ==>
Задача 6.2.4	\|	Задача 6.2.6

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

Генерація сторінки за: 0.004 сек.