Студопедия
Новини освіти і науки:
МАРК РЕГНЕРУС ДОСЛІДЖЕННЯ: Наскільки відрізняються діти, які виросли в одностатевих союзах


РЕЗОЛЮЦІЯ: Громадського обговорення навчальної програми статевого виховання


ЧОМУ ФОНД ОЛЕНИ ПІНЧУК І МОЗ УКРАЇНИ ПРОПАГУЮТЬ "СЕКСУАЛЬНІ УРОКИ"


ЕКЗИСТЕНЦІЙНО-ПСИХОЛОГІЧНІ ОСНОВИ ПОРУШЕННЯ СТАТЕВОЇ ІДЕНТИЧНОСТІ ПІДЛІТКІВ


Батьківський, громадянський рух в Україні закликає МОН зупинити тотальну сексуалізацію дітей і підлітків


Відкрите звернення Міністру освіти й науки України - Гриневич Лілії Михайлівні


Представництво українського жіноцтва в ООН: низький рівень культури спілкування в соціальних мережах


Гендерна антидискримінаційна експертиза може зробити нас моральними рабами


ЛІВИЙ МАРКСИЗМ У НОВИХ ПІДРУЧНИКАХ ДЛЯ ШКОЛЯРІВ


ВІДКРИТА ЗАЯВА на підтримку позиції Ганни Турчинової та права кожної людини на свободу думки, світогляду та вираження поглядів



Контакти
 


Тлумачний словник






Джерело дискретних повідомлень і його ентропія

Логарифмічна міра добре відображає адитивність інформації.

Припустимо, що складне повідомлення складається з елементів .

Відомі імовірності .

Імовірність складного повідомлення

 

.

 

У теорії інформації використовують логарифм із підставами е й 2.

, .

Покладемо, що є два повідомлення та й відомі їхні апріорні ймовірності

тоді .

,

,

.

Якщо ,

.

За одиницю кількості інформації приймається кількість інформації, що втримується в повідомленні про одному із двох рівноможливих подій. Вона називається двійковою одиницею або біт.

 

Покладемо, що ми маємо джерело дискретних повідомлень

ng w:val="UK"/></w:rPr><m:t>.</m:t></m:r></m:oMath></m:oMathPara></w:p><w:sectPr wsp:rsidR="00000000"><w:pgSz w:w="12240" w:h="15840"/><w:pgMar w:top="1134" w:right="850" w:bottom="1134" w:left="1701" w:header="720" w:footer="720" w:gutter="0"/><w:cols w:space="720"/></w:sectPr></w:body></w:wordDocument>">

Задано набір апріорних імовірностей передачі повідомлень .

Будемо вважати, що повідомлення джерела статистично незалежні, тобто ймовірності їхньої появи описуються одномірними безумовними ймовірностями . При цьому .

Можемо визначити кількість інформації, що втримується в кожному повідомленні джерела

 

.

Середня кількість інформації в одному повідомлені

 

Воно обчислюється виходячи з апріорних знань про ймовірність появи окремих повідомлень. Ця величина характеризує невизначеність стану джерела, тобто невизначеність того, яке з повідомлень з'явиться на його виході в розглянутий момент часу. Назвемо цю величину ентропією .

Покладемо, що є двійкове джерело повідомлень із апріорними ймовірностями .

 

.

Побудуємо графік ентропії у функції від .

 

 


 

 

 

 

Видно, що величина завжди позитивно й досягає максимуму при

Покладемо, що кількість повідомлень m. Тоді

.

З порівняння останніх двох виражень видно, що зі збільшенням кількості повідомлень джерела його ентропія зростає пропорційно . Звідси видно, що кількість інформації, що втримується в одному повідомленні джерела, росте зі збільшенням розміру алфавіту.

- ентропія нульового порядку, що`1 характеризує джерело статистичних незалежних рівномірних повідомлень.

Якщо , .

Обчислимо ентропію джерела не рівноімовірних незалежних повідомлень Коли, .

Ентропію джерела не рівноімовірних попарно залежних повідомлень, позначимо , дамо розрахункову формулу

.

- характеризує джерело, у якого простежується зв'язок між – повідомленнями. Можна довести що

.

Таким чином, зі збільшенням статичних зв'язків між повідомленнями середня кількість інформації, що втримується в одному повідомленні, зменшується.

Надмірність повідомлень джерела повідомлень можна обчислити таким чином

.

Обчислимо надмірність джерела російської мови. Кількість символів алфавіту m=32, тобто у випадку рівноімовірніх символів

 

У російській мові простежуються статистичні зв'язку між 8 буквами, тобто при ℓ=8 .

Тоді надмірність .

Тобто при відповідному кодуванні блоками можна на 60% скоротити російські тексти, але цей шлях дуже складній, бо потребує введення спеціальних конструкцій (умовних скорочень) і має обмежені можливості. То того ж надмірність дає змогу корегувати помилки в каналах з завадами.

 


Читайте також:

  1. MOV приймач, джерело
  2. Абсолютна ентропія
  3. Амортизація як джерело фінансових ресурсів підприємств
  4. Баланс підприємства як джерело інформації.
  5. Бухгалтерський облік як інформаційне джерело системи управління суб’єктом господарювання
  6. ВІДОМОСТІ ПРО ІНФОРМАЦІЮ, КІЛЬКІСНА МІРА ЇЇ. ВИДИ ПОВІДОМЛЕНЬ
  7. Внутрішнє законодавство як джерело міжнародного приватного права.
  8. Внутрішнє законодавство як джерело МПрП.
  9. Внутрішнім джерелом фінансування є накопичені нетто-грошові потоки, що виникають при здійсненні міжнародних операцій.
  10. Д25.Рішекння Європейського суду з прав людини як джерело конст права в ЗК.
  11. Дезінформація як джерело небезпек.
  12. Демодуляція дискретних сигналів.




Переглядів: 1495

<== попередня сторінка | наступна сторінка ==>
Кількість інформації в повідомленні | Практичне заняття №1

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

 

© studopedia.com.ua При використанні або копіюванні матеріалів пряме посилання на сайт обов'язкове.


Генерація сторінки за: 0.002 сек.