МАРК РЕГНЕРУС ДОСЛІДЖЕННЯ: Наскільки відрізняються діти, які виросли в одностатевих союзах
РЕЗОЛЮЦІЯ: Громадського обговорення навчальної програми статевого виховання ЧОМУ ФОНД ОЛЕНИ ПІНЧУК І МОЗ УКРАЇНИ ПРОПАГУЮТЬ "СЕКСУАЛЬНІ УРОКИ" ЕКЗИСТЕНЦІЙНО-ПСИХОЛОГІЧНІ ОСНОВИ ПОРУШЕННЯ СТАТЕВОЇ ІДЕНТИЧНОСТІ ПІДЛІТКІВ Батьківський, громадянський рух в Україні закликає МОН зупинити тотальну сексуалізацію дітей і підлітків Відкрите звернення Міністру освіти й науки України - Гриневич Лілії Михайлівні Представництво українського жіноцтва в ООН: низький рівень культури спілкування в соціальних мережах Гендерна антидискримінаційна експертиза може зробити нас моральними рабами ЛІВИЙ МАРКСИЗМ У НОВИХ ПІДРУЧНИКАХ ДЛЯ ШКОЛЯРІВ ВІДКРИТА ЗАЯВА на підтримку позиції Ганни Турчинової та права кожної людини на свободу думки, світогляду та вираження поглядів Контакти
Тлумачний словник |
|
|||||||
Кількість інформації по Шенону. Ентропія, як міра невизначеності інформації, та її властивості
Хай заданий деякий ансамбль подій, тобто перелік подій з вказівкою імовірності появи кожної з них. Верхній рядок містить номери подій, що поступають, нижня – імовірність їх появи. Якщо застосувати формулу Хартлі щодо кількості інформації, яка одержується при реалізації і-оїподії, то вона дорівнює
Кількість інформації, яку несе в середньому одна подія можна розглядати як математичне очікування Одержаний вираз називається ентропією чи ентропією джерела: Букви алфавіту О, Е, А зустрічаються в тексті порівняно частіше, ніж букви Щ, И, ‘.
В цьому випадку середня кількість інформації, що доводиться на одне повідомлення джерела, визначається як математичне очікування: сума добутків імовірності повідомлень на “статистичну” кількість інформації в них: (1)
У теорії інформації ентропія характеризує невизначеність ситуації до передачі повідомлення, оскільки заздалегідь невідомо, яке з повідомлень джерела буде передано.
Ентропія має наступні властивості: 1) вона завжди позитивна, оскільки ; 2) при рівноімовірних повідомленнях ентропія є максимальною і дорівнює , коли ; 3) вона дорівнює нулю лише у тому випадку, коли всі імовірності дорівнюють нулю, за винятком однієї, яка дорівнює одиниці; 4) ентропія декількох незалежних джерел дорівнює сумі ентропії цих джерел; 5) ентропія збільшується при збільшенні числа подій (кидок гральної кістки має ентропію більше, ніж кидок монети); 6) кількість переданої інформації можна збільшити не лише за рахунок збільшення числа повідомлень, але і шляхом підвищення ентропії джерела, тобто інформаційній ємності його повідомлень.
Розглянуті джерела незалежних дискретних повідомлень є простим типом джерел (їх також називають джерелами без пам’яті). У реальних умовах картина значно ускладнюється із-за наявності статистичних зв’язків між повідомленнями (випадок джерел залежних повідомлень (джерел з пам’яттю)). Прикладом може бути звичайний текст, де поява тієї і іншої букви залежить від попередніх буквених поєднань. Так, наприклад, після поєднання ШТ імовірність дотримання явних букв А, Е, І більше, ніж приголосних.
Статистичний зв’язок очікуваного повідомлення з попереднім кількісно оцінюється спільною імовірністю або умовною імовірністю , яка виражає імовірність появи повідомлення , за умови, що до цього було передано повідомлення . Кількість інформації, що міститься в повідомленні за умови, що відоме попереднє повідомлення , буде дорівнювати: . Середня кількість інформації при цьому визначається умовною ентропією, яка обчислюється як математичне очікування інформації по всіх можливих повідомленнях і : (2)
Якщо джерело створює послідовність повідомлень, що мають статистичний зв’язок, і характер цього зв’язку відомий, то частина повідомлень є надмірною, оскільки вона може бути відновлена по відомих статистичних зв’язках.
, де: , – ентропії джерел з надмірністю і без надмірності відповідно; відношення називається коефіцієнтом стиснення.
Для української мови , для окремих букв знаходиться в межах від 4,05 до 2 біт, тобто надмірність складає близько 50%.
Читайте також:
|
||||||||
|