Студопедия
Новини освіти і науки:
МАРК РЕГНЕРУС ДОСЛІДЖЕННЯ: Наскільки відрізняються діти, які виросли в одностатевих союзах


РЕЗОЛЮЦІЯ: Громадського обговорення навчальної програми статевого виховання


ЧОМУ ФОНД ОЛЕНИ ПІНЧУК І МОЗ УКРАЇНИ ПРОПАГУЮТЬ "СЕКСУАЛЬНІ УРОКИ"


ЕКЗИСТЕНЦІЙНО-ПСИХОЛОГІЧНІ ОСНОВИ ПОРУШЕННЯ СТАТЕВОЇ ІДЕНТИЧНОСТІ ПІДЛІТКІВ


Батьківський, громадянський рух в Україні закликає МОН зупинити тотальну сексуалізацію дітей і підлітків


Відкрите звернення Міністру освіти й науки України - Гриневич Лілії Михайлівні


Представництво українського жіноцтва в ООН: низький рівень культури спілкування в соціальних мережах


Гендерна антидискримінаційна експертиза може зробити нас моральними рабами


ЛІВИЙ МАРКСИЗМ У НОВИХ ПІДРУЧНИКАХ ДЛЯ ШКОЛЯРІВ


ВІДКРИТА ЗАЯВА на підтримку позиції Ганни Турчинової та права кожної людини на свободу думки, світогляду та вираження поглядів



Статистичні заходи інформації.

При імовірнісному підході інформація розглядається як повідомлення про результат випадкових величин і функцій, а кількість інформації ставиться в залежність від апріорної вірогідності цих подій.

Коли йдеться про подію, яка завжди відбувається (вірогідність якого прагне до одиниці), те повідомлення про нього малоїнформатівно (інформація в словах "після ночі буде день" рівна 0). Так же малоїнформатівно повідомлення про події (антиподіях), вірогідність яких прагне до 0.

Подія і антиподія складають одну двійкову однонаочну подію. Більшість видів інформації можна звести до двійкових явищ "так — немає" або до пари "подія — антиподія". Ця пара і є простим і неподільним елементом (квантом) інформації. Подія може характеризуватися декількома станами, і тоді вони утворюють повну групу подій

(1.8)

де Л, Рг, Р',, Рк — вірогідність подій.

Якщо подія може приймати декілька станів, то перед появою його є невизначеність результату. Ця невизначеність називається ентропією.

У статистичній теорії інформації ентропія кількісно виражається як середня функція безлічі вірогідності кожного із станів:

(1.9)

де N = 51 ti — частота появи кожної з i подій

(1.10)

/, — кількість інформації в кожному i-м результаті. Оскільки

то

Середню величину інформації Шеннон назвав ентропією і позначив буквою Я:

(1.11)

Підстава логарифма визначає одиницю вимірювання ентропії і кількості інформації. Якщо підстава рівна 2, інформація вимірюється в бітах; якщо підстава е = 2,718, — в нітах (1 нит= = 1,4426 біт); якщо підстава рівна 10, то за одиницю інформації прийнятий 1 діт = 3,32193 біт.

Зміна Я залежно від вірогідності однонаочної події показане на рис. 1.2.

Рис. 1.2. Залежність ентропії від вірогідності появи події


Читайте також:

  1. II. Загально-шкільні заходи
  2. А. Заходи, які направлені на охорону навколишнього середовища та здоров’я населення.
  3. Абсолютні і відносні статистичні величини
  4. Адміністративно-запобіжні заходи
  5. Алфавітний підхід до вимірювання кількості інформації.
  6. Аналіз та узагальнення отриманої інформації.
  7. Антиінфляційні заходи у постсоціалістичних країнах
  8. Архітектурно- планувальні заходи по поліпшенню стану міського середовища .Аналіз циклу життя споруди
  9. Баланс підприємства як джерело інформації.
  10. Бар’єри стратегічного планування та заходи щодо їх подолання
  11. Види та властивості економічної інформації.
  12. Види та функції засобів масової інформації.




Переглядів: 404

<== попередня сторінка | наступна сторінка ==>
Структурні заходи інформації. | Кількість інформації і надмірність.

Не знайшли потрібну інформацію? Скористайтесь пошуком google:

  

© studopedia.com.ua При використанні або копіюванні матеріалів пряме посилання на сайт обов'язкове.


Генерація сторінки за: 0.003 сек.