• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Теоретичні відомості

Здобуття інформації від джерела знімає певною мірою невизначеність стану спостережуваного об'єкта. Формуючи модель джерела повідомлень (його ансамбль), треба заздалегідь передбачити всі необхідні повідомлення. Кожне таке повідомлення може бути відображене певною кількістю символів, знаків тощо, переносячи певну кількість інформації. При цьому множина повідомлень А є алфавітом повідомлень (первинним),а множина символів, знаків тощо, за допомогою яких спостерігач подає кожне повідомлення у формі, зручній для одержувача, — алфавітом джерела (вторинним). Немає ніякого значення, в якому алфавіті подаються повідомлення. Модель джерела (ансамбль) враховує лише склад їх і розподіл ймовірностей (йдеться про статистично незалежні повідомлення).

Кількість інформації, яка припадає на одне повідомлення джерела, не залежить від складу послідовностей і довжини послідовностей. Інше джерело з іншим ансамблем повідомлень матиме зовсім іншу питому кількість інформації. Ця загальна характеристика джерела повідомлень називається його ентропією Н(А).

Ентропією джерела повідомлень називається питома кількість інформації, яка припадає на одне повідомлення джерела із статистично незалежними повідомленнями. Вона має фізичний зміст середньостатистичної міри невизначеності відомостей спостерігача А відносно стану спостережуваного об'єкта. Точно ентропію можна визначити як математичне сподівання питомої кількості інформації

. (1)

З цього виразу випливає, що чим вища ентропія, тим більшу кількість інформації в середньому закладено в кожне повідомлення цього джерела, тим важче запам'ятати (записати) або передати таке повідомлення по каналу зв'язку.

Необхідні витрати енергії на передачу повідомлення пропорційні його ентропії (середній кількості інформації на одне повідомлення). Виходить, що кількість інформації в послідовностях визначається кількістю повідомлень N у послідовності та ентропією Н(А) джерела, тобто

i(N) = N·H(A). (2)

Читайте також:

1. II.ТЕОРЕТИЧНІ ПИТАННЯ КУРСОВОЇ РОБОТИ
2. IX. Відомості про військовий облік
3. IX. Відомості про військовий облік
4. Q Конституція України від 28 червня 1996 р. // Відомості Верховної Ради України – 1996 - № 30 – Ст. 141
5. V Практично всі психічні процеси роблять свій внесок в специфіку організації свідомості та самосвідомості.
6. Активне управління інвестиційним портфелем - теоретичні основи.
7. Білковий обмін: загальні відомості
8. Біографічні відомості
9. Боротьба з проявами національної самосвідомості
10. Вальниці ковзання. Загальні відомості
11. Види правосвідомості
12. Виникнення і розвиток свідомості у людини.

Переглядів: 443