При імовірнісному підході інформація розглядається як повідомлення про результат випадкових величин і функцій, а кількість інформації ставиться в залежність від апріорної вірогідності цих подій.
Коли йдеться про подію, яка завжди відбувається (вірогідність якого прагне до одиниці), те повідомлення про нього малоїнформатівно (інформація в словах "після ночі буде день" рівна 0). Так же малоїнформатівно повідомлення про події (антиподіях), вірогідність яких прагне до 0.
Подія і антиподія складають одну двійкову однонаочну подію. Більшість видів інформації можна звести до двійкових явищ "так — немає" або до пари "подія — антиподія". Ця пара і є простим і неподільним елементом (квантом) інформації. Подія може характеризуватися декількома станами, і тоді вони утворюють повну групу подій
(1.8)
де Л, Рг, Р',, Рк — вірогідність подій.
Якщо подія може приймати декілька станів, то перед появою його є невизначеність результату. Ця невизначеність називається ентропією.
У статистичній теорії інформації ентропія кількісно виражається як середня функція безлічі вірогідності кожного із станів:
(1.9)
де N = 51 ti — частота появи кожної з i подій
(1.10)
/, — кількість інформації в кожному i-м результаті. Оскільки
то
Середню величину інформації Шеннон назвав ентропією і позначив буквою Я:
(1.11)
Підстава логарифма визначає одиницю вимірювання ентропії і кількості інформації. Якщо підстава рівна 2, інформація вимірюється в бітах; якщо підстава е = 2,718, — в нітах (1 нит= = 1,4426 біт); якщо підстава рівна 10, то за одиницю інформації прийнятий 1 діт = 3,32193 біт.
Зміна Я залежно від вірогідності однонаочної події показане на рис. 1.2.
Рис. 1.2. Залежність ентропії від вірогідності появи події