• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Ентропія дискретної величини

Лекція 3. Ентропія вимірюваної величини. Кількість інформації при вимірюванні

До проведення вимірювання вимірювана величина має певну невизна­ченість її можливих розмірів і може вважатися як випадкова. Ступінь невизначеності залежить від виду та параметрів розподілу ймовірностей можливих розмірів ве­личини, а також від точності, з якою ці розміри треба оцінити. Мірою ступеня невизначеності служить ентропія.

Нехай дискретна вимірювана величина Х може набувати n незалежних і несумісних значеньx₁,x₂,...,x_n, з ймовірностями Р₁, Р₂, ...,Р_n,. Тоді ентропія величини Х визначається виразом

(3.1)

В (3.1) основою логарифма може бути довільнечисло a>1. Вибором a визна­чається розмір одиниці ентропії. Якщоа=2,0; а= 2,718..., а=10, то відповідно маємо двійкову біт (bit)- від binary digit, натуральну ніт і десяткову діт одиниці ентропії.

Здійснюючи перехід від логарифма з основою a, до логарифма з основою b за форму­лою log_bx= log_ax×log_ba, значення ентропії, що виражене в одних одиницях, можна виразити в інших одиницях. Оскільки

log₂10=3,32 і ln10 = 2,3025, то 1 діт = 3,32 біт = 2,3019 ніт.

Читайте також:

1. Абсолютна ентропія
2. Абсолютні і відносні величини
3. Абсолютні і відносні статистичні величини
4. Абсолютні, відносні та середні величини.
5. Багатовимірні випадкові величини. Система двох випадкових величин
6. Векторні і скалярні величини
7. Векторні і скалярні величини
8. Величини ліміту каси підприємства за три місяці
9. Величини.
10. Ве­личи­ни та її вла­с­ти­во­с­ті. Дискретні випадкові величини та їх розподіли
11. Видатки та заощадження як функції доходу. Автономні величини та їх чинники. Крива планових видатків.
12. Визначення величини зносу направляючих.

Переглядів: 1242