• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Основні властивості ентропії

Розглянемо вироджене дискретне джерело з єдиним повідомленням а А з р(а) = 1. Тоді Н(А) = 0 згідно з (1).

Якщо р(а) = 0, то Н(А) теж дорівнюватиме нулю. Таким чином, ентропія завжди додатна або дорівнює нулю,тобто невід'ємна — це перша властивість.

Друга властивість ентропії випливає з виразу (1), згідно з яким вона є величиною адитивною. Якщо N-вимірні послідовності повідомлень а₁, а₂, ..., a_N розглядати як збільшені повідомлення нового джерела, то його ентропія буде в N разів більшою від початкової.

Якщо алфавіт А = { а₁, а₂, ..., a_k } має k різних повідомлень, то Н(А) ≤ log k. Тут рівність стосується тільки рівноймовірних і статистично незалежних повідомлень а_і А. Число k називається обсягом алфавіту повідомлень.

Безумовна ентропія — це кількість інформації, яка припадає на одне повідомлення джерела із статистично незалежними повідомленнями.

Якщо є дискретне джерело статистично незалежних повідомлень з ансамблем А = {а₁, а₂, ..., a_і, ..., a_k} та р = {p_l, p₂, ..., p_і,..., р_к},то кількість інформації (середня), що припадає на одне повідомлення a_і А й визначається формулою Шеннона

, (3)

є характеристикою цього джерела в цілому.

Наприклад, джерело з k = 8 незалежними та рівноймовірними повідомленнями має ентропію

біт/повідомлення.

Якщо р = 1 або 0, то до ансамблю А не може входити більш як одне повідомлення. Таким чином,

або (4)

,

де невизначеність 0 · ∞, якщо її розкрити за правилом Лопіталя через граничний перехід, дає

Н₀(А) = 0.(5)

Безумовна ентропія K рівноймовірних повідомлень завжди максимальна і обчислюється за формулою Хартлі:

. (6)

Основні властивості безумовної ентропії дискретних повідомлень:

– ентропія — величина дійсна, обмежена та невід'ємна;

– ентропія вірогідних повідомлень дорівнює нулю;

– ентропія максимальна, якщо повідомлення рівно ймовірні та статистично незалежні;

– ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

– ентропія складеного джерела, повідомлення якого складаються з часткових повідомлень кількох статистично незалежних джерел, дорівнює сумі ентропії цих джерел.

Читайте також:

1. II. Основні закономірності ходу і розгалуження судин великого і малого кіл кровообігу
2. II. Основні засоби
3. II.3. Основні способи і прийоми досягнення адекватності
4. OПТИЧНІ ВЛАСТИВОСТІ КОЛОЇДНИХ СИСТЕМ
5. VII. ОСНОВНІ ЕТАПИ РОЗВИТКУ УКРАЇНСЬКОЇ КУЛЬТУРИ У ХХ ст.
6. А) Товар і його властивості.
7. Адвокатура в Україні: основні завдання і функції
8. Аеродинамічні властивості колісної машини
9. Алкани (насичені вуглеводні). Хімічні властивості алканів
10. Алкани, їх хімічні властивості.
11. Алкени. Хімічні властивості
12. Алкіни. Хімічні властивості

Переглядів: 4353