• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Властивості умовної ентропії

1. Для статистично незалежних джерел повідомлень А та В умовна ентропія Н(А/В) джерела А відносно джерела В дорівнює безумовній Н(А) ентропії джерела А і навпаки:

Н(А/В) = Н(А); Н(В/А) = Н(В).

2. Для джерела повідомлень А та В статистично взаємозв'язаних так, що виникнення одного з повідомлень спричинює безумовну появу іншого, умовні ентропії дорівнюють нулю:

Н(А/В) = Н(В/А) = 0.

3. Умовна ентропія (ентропія джерела взаємозалежних повідомлень) завжди менша від безумовної ентропії (ентропії джерела незалежних повідомлень).

4. Максимальну ентропію мають джерела взаємонезалежних рівноймовірних повідомлень, умовна ентропія яких дорівнює нулю, а ймовірність р появи символів алфавіту дорівнює р = 1/k, де k — кількість повідомлень в алфавіті.

Загальна умовна ентропія — це питома (середньостатична) кількість інформації, що припадає на будь-яке повідомлення джерела А, якщо відома його статистична взаємозалежність із джерелом В.

Загальна умовна ентропія H(А/В) джерела А відносно джерела В обчислюється як середнє по j значення часткової ентропії Н(А/b_j) за всіма j:

. (12)

Загальна умовна ентропія Н(В/А) джерела В відносно джерела:

. (13)

Загальна умовна ентропія Н(В/А) визначає (середню) кількістю інформації, яка припадає на будь-яке повідомлення джерела В, статистично залежного від джерела А.

Завдання на лабораторну роботу

1. Джерело А та В мають розподіли ймовірностей повідомлень:

і Ентропія якого джерела більша? Яка максимальна ентропія цього джерела та за якої умови?

2. Задано таку матрицю сумісних ймовірностей появи повідомлень двох джерел А та В з алфавітами та , де та

Обчислити:

– безумовні ймовірності джерела В, P(a_i) джерела A;

– безумовну ентропію джерел А і В;

– часткову умовну ентропію джерел А і В;

– загальну умовну ентропію джерела А відносно В;

– загальну умовну ентропію джерела В відносно А;

– максимальну ентропію джерел.

Виконати перевірку закону нормування: p(a_i/b_j), p(b_j/a_i).

3. Задано таку матрицю сумісних ймовірностей появи повідомлень двох джерел А та В з алфавітами та , де та

Визначити часткову та загальну умовну ентропію.

Контрольні запитання

1. Що таке джерело і ансамбль повідомлень?

2. Що таке ентропія та які її властивості?

3. Що таке безумовна та умовна ентропія?

4. Які основні властивості безумовної ентропії?

5. Які є різновиди умовної ентропії?

6. Які основні властивості умовної ентропії?

10. Як визначається часткова умовна ентропія?

11. Як визначається загальна умовна ентропія?

12. Як визначається ентропія об'єднання двох джерел?

13. Які основні властивості ентропії об'єднання двох джерел?

14. За яких умов ентропія джерела стає максимальною?

Лабораторна робота № 4

Читайте також:

1. OПТИЧНІ ВЛАСТИВОСТІ КОЛОЇДНИХ СИСТЕМ
2. А) Товар і його властивості.
3. Аеродинамічні властивості колісної машини
4. Алкани (насичені вуглеводні). Хімічні властивості алканів
5. Алкани, їх хімічні властивості.
6. Алкени. Хімічні властивості
7. Алкіни. Хімічні властивості
8. Аміни. Фізичні та хімічні властивості аліфатичних амінів.
9. Аналізатори людини та їхні властивості.
10. Аналізатори людини та їхні властивості.
11. АНТИДЕТОНАЦІЙНІ ВЛАСТИВОСТІ
12. Арифметичні дії над дійсними невід’ємними числами. Їхні властивості

Переглядів: 2622