• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Розв'язання

Побудуємо розподіл ймовірностей д. в. в. X₁(або X₂) (табл. 1):

Таблиця 1

Звідси знаходимо ентропію д. в. в X₁, що у даному випадку буде максимальною, оскільки значення рівноймовірні:

HX₁=HX₂=log₂6=1+log₂3»1+1,585»2,585 (біт/сим).

Оскільки X₁ та X₂ незалежні д. в. в., то їх сумісна ймовірність визначається так:

P(X₁=i, X₂=j)=P(X₁=i)×P(X₂=j)=1/36; i=1...6, j=1...6.

Побудуємо допоміжною таблицю значень д. в. в. Y =X₁+X₂ (табл.2):

Таблиця 2

Обчислимо ймовірності P(Y=j) (j=2, 3, …, 12):

P(Y=2)=1/36; P(Y=3)=2×1/36=1/18; P(Y =4)=3×1/36=1/12;

P(Y=5)=4×1/36=1/9; P(Y=6)=5×1/36=5/36; P(Y=7)=6×1/36=1/6; P(Y=8)=5×1/36=5/36;P(Y=9)=4×1/36=1/9; P(Y=10)=3×1/36=1/12; P(Y=11)=2×1/36=1/18; P(Y=12)=1/36;

Скориставшись допоміжною таблицею (табл.2), запишемо безумовний закон розподілу д. в. в. Y (табл. 3):

Таблиця 3

Звідси знаходимо ентропію д. в. в. Yтак:

(біт/сим)

Побудуємо таблицю розподілу ймовірностей системи д. в. в. (X₁, Y) p_ij=P(X₁=i, Y=j) (табл. 4).

Таблиця 4

Тоді взаємна ентропія д. в. в. X₁, Y

=log₂36=2log₂6=2(1+log₂3)»2+

+2×1,585»5,17 (біт/сим).

Кількість інформації, що містить д. в. в. Y стосовно д. в. в. X₁, обчислимо за формулою . Отже,

(біт/сим).

Кількість інформаціїI(Y, X₁) здебільшого зручніше знайти, скориставшись властивістю 4 кількості інформації і ентропії:

.

Оскільки Y=X₁+X₂, де X₁ та X₂ – незалежні д. в. в., то

.

(біт/сим).

Відповідь: (біт/сим);

(біт/сим);

(біт/сим).

Приклад 2Знайти ентропії дискретних випадкових величин (д. в. в.) X, Y, Z та кількість інформації, що містить д. в. в. стосовно X та Y. X, Y – незалежні д. в. в., які задаються такими розподілами (табл. 1, табл. 2):

Таблиця 1 Таблиця 2

Переглядів: 713