Кількість інформації і надмірність.

Кількість інформації тільки тоді рівна ентропії, коли невизначеність в результаті досвіду знімається повністю:

У разі неповного дозволу має місце часткова інформація, що представляє різницю початкової Н\ і кінцевої Я2 ентропії:

(1.12)

Абсолютна надмірність Da інформації представляє різницю між максимально можливою кількістю інформації і ентропією:

(1.13)

Відносна надмірність

(1.14)

Визначимо відносну надмірність для двох джерел.

Приклад 1. Повна шкала вимірюванні містить 7/щах = 1000 елементарних одиниць (квантів), але припускається похибки ±1 % повної шкали. Тоді Н ™ 50, оскільки при погрішності ±10 квантів достатньо всю шкалу розділити на 50 квантів:

Приклад 2. Випадкова величина x(t) змінюється згідно із законом, зображеному на рис. 1.3. На відрізку tt—1\ x(t) може змінюватися тільки від Х2 до jti; Xi = 4, хг -11; Do ~ 1 —4/11 — 0,64. Ця надмірність пояснюється тим, що постійна складова Х\Хд не несе інформації.

Рис. 1.3. Зміна безперервної величини в часі

Як випливає з виразів (1.10) і (1.11), кількість інформації залежить від числа можливих станів системи. Для випадку систем зв'язку інформація залежить від числа можливих станів сигналу на виході передавача і приймача. Х2 Якщо події на вході каналу xt (i = 1, 2, ..., т), а на виході — у, (/= 1, 2, ..., т), то вірогідність виникнення подій xh у, позначаються P(xi), P(yj). Вірогідність по- Хо явища на виході j) за наявності на вході Xi позначається P(yj/xi). Bepoятность P(xi/yj) означає, що передавався символ xt при появі сигналу на виході у, -:

(1.15)

(1.16)

Кількість інформації, що міститься в події %? щодо події Xt

(1.17)

Умовна власна інформація події у, при відомому xt

(1.18)

Власна інформація сумісної події

(1.19)

Середня кількість взаємної інформації про систему X, содер жащейся В У),

(1.20)

Середня кількість взаємної інформації про систему X, що міститься в множині У

(1.21)

Середня власна інформація рівна ентропії:

(1.22)

Якщо система У знаходиться в стані у^, то ступінь невизначеності стану системи X

(1.23)

Ступінь невизначеності стану системи X після того, як стан системи Y повністю визначився, характеризується умовною ентропією

(1.24)

Ступінь невизначеності стану складної системи характеризується ентропією об'єднаної системи

(1.25)

Якщо X і У незалежні, то

(1.26)

Для залежних X і У

(1.27)

Оскільки Я(Х)= 1(Х), то середня взаємна ентропія

(1.28)

Для того, щоб інформацію можна було доставляти, зберігати, обробляти і використовувати, вона повинна бути представлена у вигляді повідомлення, тобто повідомлення є формою представлення інформації. Одна і та ж інформація може бути представлена в різній формі. Наприклад, зведення про годину приїзду приятеля може бути передано по телефону або у вигляді телеграми. У першому випадку справу маємо з безперервним повідомленням — що змінюється безперервно значенням напруги на виході мікрофону. У другому випадку повідомлення складається з окремих букв, тому називається дискретним.

Безперервне повідомлення характеризується нескінченним числом значень на кінцевому інтервалі часу: число рівнів напруги на виході мікрофону росте із зменшенням порогу відмінності.

Дискретне повідомлення характеризується кінцевим числом значень на нескінченному інтервалі часу: скільки телеграм не передаватимемо — число букв кінцеве.

Безперервні повідомлення легко перетворити в дискретні. Тому доцільно розглядати тільки дискретні повідомлення.

Читайте також:

<== попередня сторінка	\|	наступна сторінка ==>
Статистичні заходи інформації.	\|	ПОНЯТТЯ ПРО КОДУВАННЯ. ОПТИМАЛЬНИЙ КОД. КЛАСИФІКАЦІЯ КОДІВ І ЇХ ПАРАМЕТРИ. ШВИДКІСТЬ МОДУЛЯЦІЇ І ПЕРЕДАЧІ ІНФОРМАЦІЇ

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

Генерація сторінки за: 0.003 сек.