МАРК РЕГНЕРУС ДОСЛІДЖЕННЯ: Наскільки відрізняються діти, які виросли в одностатевих союзах
РЕЗОЛЮЦІЯ: Громадського обговорення навчальної програми статевого виховання ЧОМУ ФОНД ОЛЕНИ ПІНЧУК І МОЗ УКРАЇНИ ПРОПАГУЮТЬ "СЕКСУАЛЬНІ УРОКИ" ЕКЗИСТЕНЦІЙНО-ПСИХОЛОГІЧНІ ОСНОВИ ПОРУШЕННЯ СТАТЕВОЇ ІДЕНТИЧНОСТІ ПІДЛІТКІВ Батьківський, громадянський рух в Україні закликає МОН зупинити тотальну сексуалізацію дітей і підлітків Відкрите звернення Міністру освіти й науки України - Гриневич Лілії Михайлівні Представництво українського жіноцтва в ООН: низький рівень культури спілкування в соціальних мережах Гендерна антидискримінаційна експертиза може зробити нас моральними рабами ЛІВИЙ МАРКСИЗМ У НОВИХ ПІДРУЧНИКАХ ДЛЯ ШКОЛЯРІВ ВІДКРИТА ЗАЯВА на підтримку позиції Ганни Турчинової та права кожної людини на свободу думки, світогляду та вираження поглядів Контакти
Тлумачний словник |
|
|||||||
Джерело дискретних повідомлень і його ентропіяЛогарифмічна міра добре відображає адитивність інформації. Припустимо, що складне повідомлення складається з елементів . Відомі імовірності . Імовірність складного повідомлення
.
У теорії інформації використовують логарифм із підставами е й 2. , . Покладемо, що є два повідомлення та й відомі їхні апріорні ймовірності тоді . , , . Якщо , . За одиницю кількості інформації приймається кількість інформації, що втримується в повідомленні про одному із двох рівноможливих подій. Вона називається двійковою одиницею або біт.
Покладемо, що ми маємо джерело дискретних повідомлень ng w:val="UK"/></w:rPr><m:t>.</m:t></m:r></m:oMath></m:oMathPara></w:p><w:sectPr wsp:rsidR="00000000"><w:pgSz w:w="12240" w:h="15840"/><w:pgMar w:top="1134" w:right="850" w:bottom="1134" w:left="1701" w:header="720" w:footer="720" w:gutter="0"/><w:cols w:space="720"/></w:sectPr></w:body></w:wordDocument>"> Задано набір апріорних імовірностей передачі повідомлень . Будемо вважати, що повідомлення джерела статистично незалежні, тобто ймовірності їхньої появи описуються одномірними безумовними ймовірностями . При цьому . Можемо визначити кількість інформації, що втримується в кожному повідомленні джерела
. Середня кількість інформації в одному повідомлені
Воно обчислюється виходячи з апріорних знань про ймовірність появи окремих повідомлень. Ця величина характеризує невизначеність стану джерела, тобто невизначеність того, яке з повідомлень з'явиться на його виході в розглянутий момент часу. Назвемо цю величину ентропією . Покладемо, що є двійкове джерело повідомлень із апріорними ймовірностями .
. Побудуємо графік ентропії у функції від .
Видно, що величина завжди позитивно й досягає максимуму при Покладемо, що кількість повідомлень m. Тоді . З порівняння останніх двох виражень видно, що зі збільшенням кількості повідомлень джерела його ентропія зростає пропорційно . Звідси видно, що кількість інформації, що втримується в одному повідомленні джерела, росте зі збільшенням розміру алфавіту. - ентропія нульового порядку, що`1 характеризує джерело статистичних незалежних рівномірних повідомлень. Якщо , . Обчислимо ентропію джерела не рівноімовірних незалежних повідомлень Коли, . Ентропію джерела не рівноімовірних попарно залежних повідомлень, позначимо , дамо розрахункову формулу . - характеризує джерело, у якого простежується зв'язок між ℓ – повідомленнями. Можна довести що . Таким чином, зі збільшенням статичних зв'язків між повідомленнями середня кількість інформації, що втримується в одному повідомленні, зменшується. Надмірність повідомлень джерела повідомлень можна обчислити таким чином . Обчислимо надмірність джерела російської мови. Кількість символів алфавіту m=32, тобто у випадку рівноімовірніх символів
У російській мові простежуються статистичні зв'язку між 8 буквами, тобто при ℓ=8 . Тоді надмірність . Тобто при відповідному кодуванні блоками можна на 60% скоротити російські тексти, але цей шлях дуже складній, бо потребує введення спеціальних конструкцій (умовних скорочень) і має обмежені можливості. То того ж надмірність дає змогу корегувати помилки в каналах з завадами.
Читайте також:
|
||||||||
|