Вимірювання інформації в теорії інформації (інформація, як знята невизначеність). Кількість інформації по Хартлі

Довжина повідомлення.

Вимірювання інформації в техніці

Вимірювання інформації в побуті

Отже, з погляду на інформацію, як на новизну, ми не можемо оцінити кількість інформації, що міститься в науковому відкритті, новій теорії суспільного розвитку.

У обчислювальній техніці застосовуються дві стандартні одиниці вимірювання: біт (двійковий знак двійкового алфавіту {0,1}) - мінімальна одиниця вимірювання інформації і байт - (який дорівнює восьми бітам, є одним символом, наприклад, при введенні цього символу з клавіатури ПЕОМ передається 1 байт інформації).

Інформаційний об’єм повідомлення (інформаційна місткість повідомлення) - кількість інформації в повідомленні, зміряне в бітах, байтах або похідних величинах.

У простому випадку вибір одного з двох повідомлень (“так” чи “ні”, 0 або 1) приймають за одиницю інформації. Вона названа “біт” або двійкова цифра (скорочення від англ. binary digit – двійковий розряд). Питання цінності цієї інформації для одержувача - це вже з іншої області.

У теорії інформації під кількістю інформації розуміють міру зменшення невизначеності знання.

У теорії інформації кількістю інформації називають також числову характеристику сигналу, яка не залежить від його форми і змісту і характеризує невизначеність, яка зникає після отримання повідомлення у вигляді даного сигналу. В цьому випадку кількість інформації залежить від імовірності отримання повідомлення про ту або іншу подію.

Якщо використовуються дискретні сигнали, що характеризуються довжиною повідомлення n і основою системи числення К (як правило, К = 2), то повинна виконуватися умова: , де M – кількість повідомлень.

Можна дійти висновку, що – кількість інформації.

Хай є два джерела сигналу:

Тоді

Але для сумарної дожини двох повідомлень

кількість повідомлень складе

Потрібно вибрати таку міру, яка була б пропорційна числу елементарних сигналів в повідомленні, тобто приріст кількості інформації складав би dІ = Kdn.

По Хартлі:

де M – кількість рівноімовірних повідомлень; n – кількість елементарних сигналів в повідомленні. Тоді М = Кⁿ.

З формули виходить, що невизначеність (а, отже і кількість інформації) в системі тим вище, чим більше M – кількість повідомлень.

Найчастіше зустрічаються наступні випадки:

1. а = 2, , [I] = 1 біт (скорочення від англ. binary digit – двійковий розряд);

2. а = 10, І = lgM = nlgK, [I] = 1 Хартлі, чи більш розповсюджено – діт (така одиниця дорівнює 3,32193 біта);

3. а = е, І = lnM = nlnK, [I] = 1 ніт (натуральна), така одиниця дорівнює 1,44269 біта.

Звернемо увагу на те, що окрім основних одиниць вимірювання кількості інформації часто використовуються і їх похідні такі, наприклад, як байт (8 біт) кілобіт, кілобайт, мегабіт, мегабайт та інші.

Причому на відміну від похідних одиниць, які застосовуються в обчислювальній техніці для виміру, наприклад ємності запам’ятовуючих пристроїв де “кіло” означає 2¹⁰, “мега” – 2²⁰та т. ін.,
в теорії інформації та кодування, в тому числі і при передачі інформації “кіло” означає 10³, “мега” – 10⁶ та т. ін.

Формула Хартлі одержана при наступних обмеженнях:

1. Відсутність смислової цінності інформації.

2. M можливих станів є рівноімовірними, тоді із попереднього витікає, що кількість інформації при появі одного повідомлення:

де р = 1/M – імовірність появи одного повідомлення.

3. Між елементарними сигналами відсутня кореляція, і всі значення рівноімовірні. Це обмеження виходить з того, що для передачі повідомлень використовуються всі можливі сигнали. Рівна імовірність всіх К значень сигналів виходить з формули

де p = 1/K – імовірність появи будь-якого значення сигналу з К можливих.

Наприклад, при киданні двох гральних кісток є наборів (повідомлень) результатів експерименту з середнюю імовірністю кожне (по кількості граней). Тому кількість інформації біта. Такий же результат можна отримати, якщо розглядати 36 рівно імовірних результатів кидання двох кісток при : біта.

Читайте також:

<== попередня сторінка	\|	наступна сторінка ==>
Вимірювання інформації та швидкість її передачі	\|	Кількість інформації по Шенону. Ентропія, як міра невизначеності інформації, та її властивості

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

Генерація сторінки за: 0.016 сек.