Основні властивості ентропії

Розглянемо вироджене дискретне джерело з єдиним повідомленням а А з р(а) = 1. Тоді Н(А) = 0 згідно з (1).

Якщо р(а) = 0, то Н(А) теж дорівнюватиме нулю. Таким чином, ентропія завжди додатна або дорівнює нулю,тобто невід'ємна — це перша властивість.

Друга властивість ентропії випливає з виразу (1), згідно з яким вона є величиною адитивною. Якщо N-вимірні послідовності повідомлень а₁, а₂, ..., a_N розглядати як збільшені повідомлення нового джерела, то його ентропія буде в N разів більшою від початкової.

Якщо алфавіт А = { а₁, а₂, ..., a_k } має k різних повідомлень, то Н(А) ≤ log k. Тут рівність стосується тільки рівноймовірних і статистично незалежних повідомлень а_і А. Число k називається обсягом алфавіту повідомлень.

Безумовна ентропія — це кількість інформації, яка припадає на одне повідомлення джерела із статистично незалежними повідомленнями.

Якщо є дискретне джерело статистично незалежних повідомлень з ансамблем А = {а₁, а₂, ..., a_і, ..., a_k} та р = {p_l, p₂, ..., p_і,..., р_к},то кількість інформації (середня), що припадає на одне повідомлення a_і А й визначається формулою Шеннона

, (3)

є характеристикою цього джерела в цілому.

Наприклад, джерело з k = 8 незалежними та рівноймовірними повідомленнями має ентропію

біт/повідомлення.

Якщо р = 1 або 0, то до ансамблю А не може входити більш як одне повідомлення. Таким чином,

або (4)

де невизначеність 0 · ∞, якщо її розкрити за правилом Лопіталя через граничний перехід, дає

Н₀(А) = 0.(5)

Безумовна ентропія K рівноймовірних повідомлень завжди максимальна і обчислюється за формулою Хартлі:

. (6)

Основні властивості безумовної ентропії дискретних повідомлень:

– ентропія — величина дійсна, обмежена та невід'ємна;

– ентропія вірогідних повідомлень дорівнює нулю;

– ентропія максимальна, якщо повідомлення рівно ймовірні та статистично незалежні;

– ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

– ентропія складеного джерела, повідомлення якого складаються з часткових повідомлень кількох статистично незалежних джерел, дорівнює сумі ентропії цих джерел.

Читайте також:

<== попередня сторінка	\|	наступна сторінка ==>
Теоретичні відомості	\|	Умовна ентропія

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

Генерація сторінки за: 0.004 сек.