• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Вимірювання інформації в теорії інформації (інформація, як знята невизначеність). Кількість інформації по Хартлі

Довжина повідомлення.

Вимірювання інформації в техніці

Вимірювання інформації в побуті

Отже, з погляду на інформацію, як на новизну, ми не можемо оцінити кількість інформації, що міститься в науковому відкритті, новій теорії суспільного розвитку.

У обчислювальній техніці застосовуються дві стандартні одиниці вимірювання: біт (двійковий знак двійкового алфавіту {0,1}) - мінімальна одиниця вимірювання інформації і байт - (який дорівнює восьми бітам, є одним символом, наприклад, при введенні цього символу з клавіатури ПЕОМ передається 1 байт інформації).

Інформаційний об’єм повідомлення (інформаційна місткість повідомлення) - кількість інформації в повідомленні, зміряне в бітах, байтах або похідних величинах.

У простому випадку вибір одного з двох повідомлень (“так” чи “ні”, 0 або 1) приймають за одиницю інформації. Вона названа “біт” або двійкова цифра (скорочення від англ. binary digit – двійковий розряд). Питання цінності цієї інформації для одержувача - це вже з іншої області.

У теорії інформації під кількістю інформації розуміють міру зменшення невизначеності знання.

У теорії інформації кількістю інформації називають також числову характеристику сигналу, яка не залежить від його форми і змісту і характеризує невизначеність, яка зникає після отримання повідомлення у вигляді даного сигналу. В цьому випадку кількість інформації залежить від імовірності отримання повідомлення про ту або іншу подію.

Якщо використовуються дискретні сигнали, що характеризуються довжиною повідомлення n і основою системи числення К (як правило, К = 2), то повинна виконуватися умова: , де M – кількість повідомлень.

Можна дійти висновку, що – кількість інформації.

Хай є два джерела сигналу:

Тоді

Але для сумарної дожини двох повідомлень

кількість повідомлень складе

.

Потрібно вибрати таку міру, яка була б пропорційна числу елементарних сигналів в повідомленні, тобто приріст кількості інформації складав би dІ = Kdn.

По Хартлі:

,

де M – кількість рівноімовірних повідомлень; n – кількість елементарних сигналів в повідомленні. Тоді М = Кⁿ.

З формули виходить, що невизначеність (а, отже і кількість інформації) в системі тим вище, чим більше M – кількість повідомлень.

Найчастіше зустрічаються наступні випадки:

1. а = 2, , [I] = 1 біт (скорочення від англ. binary digit – двійковий розряд);

2. а = 10, І = lgM = nlgK, [I] = 1 Хартлі, чи більш розповсюджено – діт (така одиниця дорівнює 3,32193 біта);

3. а = е, І = lnM = nlnK, [I] = 1 ніт (натуральна), така одиниця дорівнює 1,44269 біта.

Звернемо увагу на те, що окрім основних одиниць вимірювання кількості інформації часто використовуються і їх похідні такі, наприклад, як байт (8 біт) кілобіт, кілобайт, мегабіт, мегабайт та інші.

Причому на відміну від похідних одиниць, які застосовуються в обчислювальній техніці для виміру, наприклад ємності запам’ятовуючих пристроїв де “кіло” означає 2¹⁰, “мега” – 2²⁰ та т. ін.,
в теорії інформації та кодування, в тому числі і при передачі інформації “кіло” означає 10³, “мега” – 10⁶ та т. ін.

Формула Хартлі одержана при наступних обмеженнях:

1. Відсутність смислової цінності інформації.

2. M можливих станів є рівноімовірними, тоді із попереднього витікає, що кількість інформації при появі одного повідомлення:

де р = 1/M – імовірність появи одного повідомлення.

3. Між елементарними сигналами відсутня кореляція, і всі значення рівноімовірні. Це обмеження виходить з того, що для передачі повідомлень використовуються всі можливі сигнали. Рівна імовірність всіх К значень сигналів виходить з формули

,

де p = 1/K – імовірність появи будь-якого значення сигналу з К можливих.

Наприклад, при киданні двох граль­них кісток є наборів (повідомлень) результатів експерименту з серед­нюю імовірністю кожне (по кількості граней). Тому кількість інформації біта. Такий же результат можна отримати, якщо роз­глядати 36 рівно імовірних результатів кидання двох кісток при : біта.

Читайте також:

1. Ni - загальна кількість періодів, протягом яких діє процентна ставка ri.
2. А .Маршалл - основоположник неокласичної теорії.
3. Автоматизація водорозподілу на відкритих зрошувальних системах. Методи керування водорозподілом. Вимірювання рівня води. Вимірювання витрати.
4. Аксіоматичний метод у математиці та суть аксіоматичної побудови теорії.
5. Алфавітний підхід до вимірювання кількості інформації.
6. Альтернативні теорії вартості
7. Альтернативні теорії капіталу
8. Альтернативні теорії макроекономічного регулювання
9. Альтернативні теорії максимізації
10. Альтернативні уявлення щодо макроекономічного регулювання: теорії раціональних сподівань та економіка пропозиції. Крива Лафера.
11. Аналіз зовнішньої інформації
12. Аналіз інформації та постановка задачі дослідження

Переглядів: 2844