• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Імовірнісний підхід до вимірювання кількості інформації.

Як нам вже відомо, інформація є складним поняттям, до тлумачення якого існує багато різних підходів. Цілком зрозуміло, що це зумовлює наявність різних підходів і до вимірювання інформації. Перша спроба кількісного оцінювання інформації відноситься до кінця 50-х років минулого сторіччя, коли з’явилася робота американського інженера Р. Хартлі стосовно вимірювання інформації, яка передається по каналах зв'язку. З цієї роботи ведеться відлік історії існування інформатики (іноді кажуть “інформології”, підкреслюючи її теоретичний аспект) як науки, тому що наявність міри основної категорії є неодмінним атрибутом науки.

Щоб ознайомитися з мірою Р. Хартлі, розглянемо просту ігрову ситуацію. Людина підкидує монету. До одержання повідомлення про те, як саме впала монета – орлом чи решкою, людина знаходиться у стані невизначеності щодо результату кидка. Повідомлення партнера дає інформацію, яка знімає цю невизначеність. Зауважимо, що число можливих виходів в описаній ситуації дорівнює двом (орел або решка), обидва вони рівноймовірні, і передана інформація цілком знімає невизначеність. Р. Хартлі прийняв «кількість інформації», яка передана по каналу зв'язку щодо двох рівноправних виходів і знімає невизначеність шляхом вказівки на один із них, за одиницю інформації. Ця одиниця одержала назву «біт».

Так, один біт ми отримуємо у відповіді на запитання, яке передбачає можливість тільки двох рівноймовірних варіантів відповіді: “так” або”ні”, “чорне” або “біле” , “холодне” або “гаряче” тощо.

На випадок наявності декількох (N) рівноймовірних виходів Р. Хартлі запропонував таку формулу для визначення кількості інформації (і) у повідомленні про реалізацію певної ситуації (однієї з N):

і = log₂N

Для N=2 наведена формула дає, цілком істотно, І=1 біт.

Приклади:

Приклад 1. Ми маємо у кишені 8 фішок, які розрізняються лише за кольором, і навмання дістаємо одну з них він. Повідомлення про те, що витягнута фішка є червоною, за мірою Р. Хартлі містить 3 біти інформації:

і = log₂8 = log₂2³ =3 * log₂2=3

Приклад 2. Ми кидаємо гральний кубик. Повідомлення, що ми “викинули” 5 очок, містить

і = log₂ 5 = 2,32193 бітів інформації. Як бачимо, кількість інформації не обов’язково є цілим числом.

Приклад 3. Серед 27 монет є одна фальшива, яка відрізняється від справжніх тільки за вагою – вона легша за справжню. Для знаходження фальшивої монети маємо терези без важелів. За яку найменшу кількість виважень ми зможемо знайти фальшиву монету?

Зазначимо, що фальшивою може бути будь-яка з монет, тому за формулою Р. Хартлі кількість інформації, необхідна для виявлення фальшивої монети, дорівнює

і = log₂27

Якщо ми на терезах порівнюємо вагу двох монет (або двох груп монет з однаковою кількістю), то в результаті виваження маємо одну з трьох рівноймовірних ситуацій: “терези у рівновазі”, “ліва чаша переважує” або “права чаша переважує”. Таким чином, з одного виваження отримуємо і = log₂3 бітів інформації. Звідси знаходимо рівняння для визначення потрібної кількості виважень k:

log₂ 27 = k log₂3,

3 log₂3 = k log₂3,

k = 3

Дійсно, для знаходження фальшивої монети розділимо 27 монет на три групи по 9 монет і дві будь-які групи покладемо на терези. Перше виваження дозволяє встановити групу, у якій знаходиться фальшива (більш легка) монета. Монети цієї групи розділимо, у свою чергу, на три групи по 3 монети і другим виваженням знайдемо групу, яка містить фальшиву монету. Для знаходження фальшивої монети серед 3-х залишається третім виваженням порівняти ваги будь-яких двох монет з останньої групи.

Існує безліч ситуацій, коли можливі події мають різні ймовірності реалізації.

Наприклад:

1. Коли повідомляють прогноз погоди, то відомості про те, що буде дощ, більш імовірно влітку, а повідомлення про сніг – узимку.

2. Якщо ви – кращий студент, то ймовірність повідомлення про те, що за контрольну роботу ви одержали 5, більше, ніж імовірність одержання двійки.

3. Якщо на озері живе 500 качок й 100 гусей, то ймовірність підстрелити на полюванні качку більше, ніж імовірність підстрелити гусака.

4. Якщо в мішку лежать 10 білих куль та 3 чорних, то ймовірність дістати чорну кулю менше, ніж імовірність витаскування білого.

5. Якщо монета несиметрична (одна сторона важче іншої), то при її киданні ймовірності випадання "орла" або "решки" будуть різнитися.

Творець статистичної теорії інформації К. Шеннон узагальнив результат Р. Хартлі. Його роботи з’явилися відповіддю на бурхливий розвиток у середині ХІХ століття засобів телезв'язку: радіо, телефону, телеграфу, телебачення. Теорія інформації К. Шеннона дозволяла ставити і вирішувати задачі про оптимальне кодування сигналів із метою підвищення пропускної потужності каналів зв'язку, підказувала шляхи боротьби з пошкодженнями на лініях тощо.

Американський інженер і математик Клод Элвуд Шеннон у 1948 р. запропонував формулу для обчислення кількості інформації у випадку різних імовірностей подій: К. Шеннон, на відміну від Р. Хартлі, розглянув випадок, коли стани системи розрізняються за ймовірністю їх реалізації, тобто система з однією ймовірністю може перебувати у стані 1, з іншою – у стані 2 і т.д. Якщо система характеризується N станами (i = 1, 2,…, N), ймовірність яких, відповідно, p₁, p₂, …, p_N, то за К. Шенноном кількість інформації, яка міститься в системі, визначається за формулою:

Кожна складова цієї суми відбиває внесок від реалізації певного (i-го, де i = 1, 2,…N) стану системи:

де І – кількість інформації;

N – кількість можливих подій;

p_і – імовірність і-ї події. Імовірність події виражається в частках одиниці й обчислюється по формулі:

де k – кількість конкретних подій, тобто величина, що показує, скільки разів відбулося подія, яка задовольняє заданій умові.

Знак мінус у формулі Шеннона не означає, що кількість інформації в повідомленні – від’ємна величина. Пояснюється це тим, що ймовірність р, відповідно до визначення, менше одиниці, але більше нуля. Тому що логарифм числа, з одиниці, тобто log p_і – величина від’ємна, то добуток імовірності на логарифм числа буде додатнім.

Приклад

Нехай при киданні несиметричної 4-х гранної пірамідки ймовірності окремих подій будуть рівні:

Тоді

Цей підхід до визначення кількості інформації називається імовірнісним.

У роботах Р. Хартлі і К. Шеннона інформація постає перед нами лише у своїй зовнішній оболонці, яка подана відношеннями сигналів, знаків, повідомлень друг до друга – синтаксичними відношеннями. Кількісна міра Хартлі – Шеннона не претендує на оцінювання змістовної (семантичної) або ціннісної, корисної (прагматичної) сторін переданого повідомлення.

Якщо кількість можливих варіантів інформації не є цілим степенем числа 2, тобто якщо кількість інформації число дійсне, то необхідно скористатися калькулятором або наступною таблицею:

Таблиця імовірностей:

Читайте також:

1. III етап. Системний підхід
2. IV етап. Ситуаційний підхід
3. Автоматизація водорозподілу на відкритих зрошувальних системах. Методи керування водорозподілом. Вимірювання рівня води. Вимірювання витрати.
4. Аксіологічний підхід до вивчення педагогічних явищ.
5. Алфавітний підхід до вимірювання кількості інформації.
6. Аналіз та узагальнення отриманої інформації.
7. Асимптотичний підхід до порівняння оцінок
8. Багатоаспектний підхід до прийняття управлінськихрішень
9. Багаторівневий підхід. Протокол. Інтерфейс. Стек протоколів.
10. Баланс підприємства як джерело інформації.
11. В якості критеріїв для оцінки або вимірювання предмета завдання з надання впевненості не можуть використовуватись очікування, судження або власний досвід аудитора.
12. Важливо також правильно обрати: цінні папери яких підприємств, якого виду і в якій кількості слід купувати для поповнення своїх активів. Зупинимося на цьому більш детально.

Переглядів: 4465