Лекція 3. Ентропія вимірюваної величини. Кількість інформації при вимірюванні
До проведення вимірювання вимірювана величина має певну невизначеність її можливих розмірів і може вважатися як випадкова. Ступінь невизначеності залежить від виду та параметрів розподілу ймовірностей можливих розмірів величини, а також від точності, з якою ці розміри треба оцінити. Мірою ступеня невизначеності служить ентропія.
Нехай дискретна вимірювана величина Х може набувати n незалежних і несумісних значеньx1,x2,...,xn, з ймовірностями Р1, Р2, ...,Рn,. Тоді ентропія величини Х визначається виразом
(3.1)
В (3.1) основою логарифма може бути довільнечисло a>1. Вибором a визначається розмір одиниці ентропії. Якщоа=2,0; а= 2,718..., а=10, то відповідно маємо двійкову біт (bit)- від binary digit, натуральну ніт і десяткову діт одиниці ентропії.
Здійснюючи перехід від логарифма з основою a, до логарифма з основою b за формулою logbx= logax×logba, значення ентропії, що виражене в одних одиницях, можна виразити в інших одиницях. Оскільки
log210=3,32 і ln10 = 2,3025, то 1 діт = 3,32 біт = 2,3019 ніт.