Студопедия
Новини освіти і науки:
МАРК РЕГНЕРУС ДОСЛІДЖЕННЯ: Наскільки відрізняються діти, які виросли в одностатевих союзах


РЕЗОЛЮЦІЯ: Громадського обговорення навчальної програми статевого виховання


ЧОМУ ФОНД ОЛЕНИ ПІНЧУК І МОЗ УКРАЇНИ ПРОПАГУЮТЬ "СЕКСУАЛЬНІ УРОКИ"


ЕКЗИСТЕНЦІЙНО-ПСИХОЛОГІЧНІ ОСНОВИ ПОРУШЕННЯ СТАТЕВОЇ ІДЕНТИЧНОСТІ ПІДЛІТКІВ


Батьківський, громадянський рух в Україні закликає МОН зупинити тотальну сексуалізацію дітей і підлітків


Відкрите звернення Міністру освіти й науки України - Гриневич Лілії Михайлівні


Представництво українського жіноцтва в ООН: низький рівень культури спілкування в соціальних мережах


Гендерна антидискримінаційна експертиза може зробити нас моральними рабами


ЛІВИЙ МАРКСИЗМ У НОВИХ ПІДРУЧНИКАХ ДЛЯ ШКОЛЯРІВ


ВІДКРИТА ЗАЯВА на підтримку позиції Ганни Турчинової та права кожної людини на свободу думки, світогляду та вираження поглядів



Ентропія дискретної величини

Лекція 3. Ентропія вимірюваної величини. Кількість інформації при вимірюванні

 

До проведення вимірювання вимірювана величина має певну невизна­ченість її можливих розмірів і може вважатися як випадкова. Ступінь невизначеності залежить від виду та параметрів розподілу ймовірностей можливих розмірів ве­личини, а також від точності, з якою ці розміри треба оцінити. Мірою ступеня невизначеності служить ентропія.

Нехай дискретна вимірювана величина Х може набувати n незалежних і несумісних значеньx1,x2,...,xn, з ймовірностями Р1, Р2, ...,Рn,. Тоді ентропія величини Х визначається виразом

(3.1)

 

В (3.1) основою логарифма може бути довільнечисло a>1. Вибором a визна­чається розмір одиниці ентропії. Якщоа=2,0; а= 2,718..., а=10, то відповідно маємо двійкову біт (bit)- від binary digit, натуральну ніт і десяткову діт одиниці ентропії.

Здійснюючи перехід від логарифма з основою a, до логарифма з основою b за форму­лою logbx= logalogba, значення ентропії, що виражене в одних одиницях, можна виразити в інших одиницях. Оскільки

log210=3,32 і ln10 = 2,3025, то 1 діт = 3,32 біт = 2,3019 ніт.


Читайте також:

  1. Абсолютна ентропія
  2. Абсолютні і відносні величини
  3. Абсолютні і відносні статистичні величини
  4. Абсолютні, відносні та середні величини.
  5. Багатовимірні випадкові величини. Система двох випадкових величин
  6. Векторні і скалярні величини
  7. Векторні і скалярні величини
  8. Величини ліміту каси підприємства за три місяці
  9. Величини.
  10. Ве­личи­ни та її вла­с­ти­во­с­ті. Дискретні випадкові величини та їх розподіли
  11. Видатки та заощадження як функції доходу. Автономні величини та їх чинники. Крива планових видатків.
  12. Визначення величини зносу направляючих.




Переглядів: 1233

<== попередня сторінка | наступна сторінка ==>
Статистичне вивчення взаємозв'язків обіговості короткострокового кредиту | Кількість інформації, яка отримується при вимірюванні

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

  

© studopedia.com.ua При використанні або копіюванні матеріалів пряме посилання на сайт обов'язкове.


Генерація сторінки за: 0.001 сек.