• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Статистичні заходи інформації.

При імовірнісному підході інформація розглядається як повідомлення про результат випадкових величин і функцій, а кількість інформації ставиться в залежність від апріорної вірогідності цих подій.

Коли йдеться про подію, яка завжди відбувається (вірогідність якого прагне до одиниці), те повідомлення про нього малоїнформатівно (інформація в словах "після ночі буде день" рівна 0). Так же малоїнформатівно повідомлення про події (антиподіях), вірогідність яких прагне до 0.

Подія і антиподія складають одну двійкову однонаочну подію. Більшість видів інформації можна звести до двійкових явищ "так — немає" або до пари "подія — антиподія". Ця пара і є простим і неподільним елементом (квантом) інформації. Подія може характеризуватися декількома станами, і тоді вони утворюють повну групу подій

(1.8)

де Л, Рг, Р',, Рк — вірогідність подій.

Якщо подія може приймати декілька станів, то перед появою його є невизначеність результату. Ця невизначеність називається ентропією.

У статистичній теорії інформації ентропія кількісно виражається як середня функція безлічі вірогідності кожного із станів:

(1.9)

де N = 51 ti — частота появи кожної з i подій

(1.10)

/, — кількість інформації в кожному i-м результаті. Оскільки

то

Середню величину інформації Шеннон назвав ентропією і позначив буквою Я:

(1.11)

Підстава логарифма визначає одиницю вимірювання ентропії і кількості інформації. Якщо підстава рівна 2, інформація вимірюється в бітах; якщо підстава е = 2,718, — в нітах (1 нит= = 1,4426 біт); якщо підстава рівна 10, то за одиницю інформації прийнятий 1 діт = 3,32193 біт.

Зміна Я залежно від вірогідності однонаочної події показане на рис. 1.2.

Рис. 1.2. Залежність ентропії від вірогідності появи події

Читайте також:

1. II. Загально-шкільні заходи
2. А. Заходи, які направлені на охорону навколишнього середовища та здоров’я населення.
3. Абсолютні і відносні статистичні величини
4. Адміністративно-запобіжні заходи
5. Алфавітний підхід до вимірювання кількості інформації.
6. Аналіз та узагальнення отриманої інформації.
7. Антиінфляційні заходи у постсоціалістичних країнах
8. Архітектурно- планувальні заходи по поліпшенню стану міського середовища .Аналіз циклу життя споруди
9. Баланс підприємства як джерело інформації.
10. Бар’єри стратегічного планування та заходи щодо їх подолання
11. Види та властивості економічної інформації.
12. Види та функції засобів масової інформації.

Переглядів: 415