Мера информации источника непрерывных сообщений

Задача 2 Колода міститьп = 32 карти. З неї випадковим чином вилучається одна. Яка кількість інформації міститься у відповіді на запитання: “Чи є вилучена карта тузом?” Чому дорівнює середня ентропія закритої карти? За яке мінімальне число запитань, на які дається відповідь “так” чи “ні” можна гарантовано встановити карту? Як потрібно ставити питання, щоб їх кількість була мінімальною?

Розв‘язання Кількість інформації, що міститься у відповіді на запитання: “Чи є вилучена карта тузом?” становить I= – log(4/n) = 3 біт , якщо карта дійсно є тузом таI= – log(1–4/n) = 0.193 біт інакше. Ентропія закритої карти, або інформація яка дається відкриттям карти, дорівнюєН(Х) = logn =.5 біт. Максимальна інформація, що гарантовано дається відповіддю з двома наслідками “так” чи “ні” складає I₀ = log2 =1 біт, тобто гарантовано встановити карту можна за q = Н(Х)/I₀ = logn/log2 = 5. Щоб кількість запитань була мінімальною і кожна відповідь гарантовано несла інформацію ровно в 1 біт, необхідно, щоб кожне питання відносилося до однієї з двох підгруп однакового об’єму, наприклад: “Чи є карта червоною?”

Задача 3 Ймовірність того, що випадково обраний мешканець міста є студентом, складає Р(А), ймовірність того, що випадково обраний мешканець є юнаком – Р(В). Ймовірність того, що мешканець – юнак при умові, що він студент – Р(В/А).Скількі інформації несе повідомлення, що випадково обраний юнак є студентом?

Розв‘язання Визначимо ймовірність того, випадково обраний мешканець міста є студентом при умові, що він юнак Р(А/В). Ймовірність того, випадково обраний мешканець міста є одночасно студентом і юнаком

Р(АВ) = Р(А/В) Р(В) = Р(B/A) Р(А)

Тоді Р(А/В) =Р(B/A) Р(А)/Р(В). Повідомлення, що випадково обраний юнак є студентом несе інформацію

I= – logР(A/B)= – log[Р(B/A)P(A)/P(B)]

Задача 4 Знайти диференціальну ентропію експоненціального розподілу.

Розв‘язання

Ентропія складного дискретного повідомлення

Теоретичні положення Найпростіше складне повідомлення {х_i у_j}_{i=1,…,п; y=1,..,m} складається з двох простих повідомлень {х_i}_i=1,…,пта {у_j} _y=1,..,m . Ентропія джерела такого повідомлення визначається як

Властивості складної ентропії:

- H(X,Y)=H(Y,X);

- H(X,Y)£ H(X)+H(Y), при чому H(X,Y)= H(X)+H(Y), якщо прості повідомлення, що входять до складного статистично незалежні, тобто Р(х_i у_j)= Р(х_i)Р(y_j).

Задача Привести таблицю двовимірного ймовірностного розподілу наслідків кидання двох монетР(х_i у_j). Знайти ентропію джерела інформації, що характеризується таким розподілом.

Розв‘язання Наслідки кидання першої монети {х_i}_i=1,…,2={Г,Р} та другої