Ентропія дискретної величини

Лекція 3. Ентропія вимірюваної величини. Кількість інформації при вимірюванні

До проведення вимірювання вимірювана величина має певну невизначеність її можливих розмірів і може вважатися як випадкова. Ступінь невизначеності залежить від виду та параметрів розподілу ймовірностей можливих розмірів величини, а також від точності, з якою ці розміри треба оцінити. Мірою ступеня невизначеності служить ентропія.

Нехай дискретна вимірювана величина Х може набувати n незалежних і несумісних значеньx₁,x₂,...,x_n, з ймовірностями Р₁, Р₂, ...,Р_n,. Тоді ентропія величини Х визначається виразом

(3.1)

В (3.1) основою логарифма може бути довільнечисло a>1. Вибором a визначається розмір одиниці ентропії. Якщоа=2,0; а= 2,718..., а=10, то відповідно маємо двійкову біт (bit)- від binary digit, натуральну ніт і десяткову діт одиниці ентропії.

Здійснюючи перехід від логарифма з основою a, до логарифма з основою b за формулою log_bx= log_ax×log_ba, значення ентропії, що виражене в одних одиницях, можна виразити в інших одиницях. Оскільки

log₂10=3,32 і ln10 = 2,3025, то 1 діт = 3,32 біт = 2,3019 ніт.

Читайте також:

<== попередня сторінка	\|	наступна сторінка ==>
Статистичне вивчення взаємозв'язків обіговості короткострокового кредиту	\|	Кількість інформації, яка отримується при вимірюванні

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

Генерація сторінки за: 0.004 сек.