• Гідрологія і Гідрометрія
• Господарське право
• Економіка будівництва
• Економіка природокористування
• Економічна теорія
• Земельне право
• Історія України
• Кримінально виконавче право
• Медична радіологія
• Методи аналізу
• Міжнародне приватне право
• Міжнародний маркетинг
• Основи екології
• Предмет Політологія
• Соціальне страхування
• Технічні засоби організації дорожнього руху
• Товарознавство продовольчих товарів

Практичне заняття №1

Тестові запитання

Висновки

Джерело неперервних повідомлень

Покладемо, що ми маємо джерело безперервних повідомлень , що описується щільністю ймовірності w(x).

Оскільки всі повідомлення описуються функцією з обмеженим спектром, вони можуть бути дискретизовані за часом відповідно до теореми Котельникова й ми можемо передавати не самі повідомлення, а їхнього значення в крапках відліку

Для однозначного відтворення необхідно дотримуватись умови

,

Де верхня частота спектра повідомлення,

- частота дискретизації.

В реальних системах зв'язку .

Доцільно передавати не всю шкалу значень рівнів сигналів . Для цього крім дискретизації за часом здійснюється квантування за рівнями m:

,

.

Імовірність влучення значення в інтервал

.

Тоді ентропія одного відліку квантованого повідомлення

При

Якщо , .

- диференціальна ентропія, що залежить від статистичних властивостей джерела,

- залежить від кількості рівнів квантування і визначає технічну похибку цифрових систем передавання повідомлень, яка не залежить від статистичних властивостей повідомлень.

В лекції розглянутий сенс терміну «інформація», обґрунтовано введення логарифмічної міри кількості інформації, як міри невизначеності джерела (середньої кількості інформації на одне повідомлення джерела), виведені формули для обчислення ентропії джерел незалежних і залежних дискретних і неперервних повідомлень.

1. Якою з формул визначається кількість інформації в дискретному повідомленні?

1)

2)

3)

4)

2. Повідомлення з якою імовірністю передачі містить одну двійкову одиницю інформації (біт)?

1)

2)

3)

4)

3. Якою з формул визначається середня кількість інформації в повідомленні джерела дискретних незалежних повідомлень?

1)

2)

3)

4)

4. Якою з формул визначається ентропія джерела дискретних незалежних повідомлень?

1)

2)

3)

4)

5. Якою з формул визначається ентропія джерела попарно залежних повідомлень?

1)

2)

3)

4)

6. Якою з формул визначається надмірність джерела дискретних повідомлень?

1)

2)

3)

4)

7. Якою з формул визначається ентропія джерела неперервних повідомлень?

8. Якою з формул визначається диференціальна ентропія джерела неперервних повідомлень?

9. Чому дорівнює ентропія джерела дискретних рівно імовірних незалежних повідомлень, якщо ємність алфавіту m = 64?

1) біт

2) біт

3) біт

4) біт

10. Джерело дискретних незалежних повідомлень формує 4 повідомлення з апріорними ймовірностями ; ; . Чому дорівнює ентропія джерела ?

1) Н=1,5 біт

2) Н=1,75 біт

3) Н=2,0 біт

4) Н=2,25 біт

«Інформаційні характеристики дискретних і когерентних повідомлень»

Мета - з використанням вивченого теоретичного матеріалу навчитися обчислювати кількість інформації, містяться в повідомленнях різної фізичної природи, оцінити ентропію джерел різних дискретних і безперервних повідомлень. Спочатку приводяться приклади рішення різних практичних завдань, потім формуєте умови задач для сасостоятельного рішення, причому числові значення рішеня завдань дано в 10 варіантах.

Приклад 1. Визначити ентропію повідомлення із 6 літер, якщо загальна кількість букв в алфавіті дорівнює 32 і всі повідомлення рівноімовірні.

Розв’язання. Загальна кількість шестилітерних повідомлень .

Використовуючи формулу для визначення ентропії рівноімовірних повідомлень, отримаємо

Приклад 2. Вимірювана величина x змінюється в межах від до і розподілена по закону рівної імовірності. Знайти диференціальну ентропію величини , якщо дорівнює 32 нормованим одиницям.

Розв’язання. Закон рівної імовірності можна аналітично подати у вигляді

Ентропія дорівнює

Приклад 3. Закодувати оптимальним статистичним кодом за схемою Шеннона-Фано ансамбль повідомлень джерела {x_i}, якщо повідомлення статистично незалежні та задані апріорні імовірності їх появи на виході джерела p(х_і).

p (х₁)= 0,1 ;p (х₂) = 0,2; p (х₃ ) = 0,05; p (х₄) = 0,25; p (х₅) = 0,1; p(х₆) = 0,05; p(х₇) = 0,15; p (х₈) = 0,1.

Розв’язання. Кодування за методом Шеннона-Фано здійснюється у такий спосіб. Всі повідомлення записуються в таблицю в порядку зменшення їх імовірності. Потім вся сукупність повідомлень розбивається на дві приблизно рівні групи. Всім повідомленням верхньої групи приписується перший кодовий символ “1”, а повідомленням нижньої групи – символ “0”. Потім кожна група аналогічно розбивається на підгрупи за можливістю з однаковими імовірностями, при цьому верхнім підгрупам в обох групах приписується символ “1” (другий символ кодової комбінації), а нижнім – символ “0”. Ця процедура здійснюється доти, доки в кожній підгрупі не залишиться по одному повідомленню. Процес кодування наведений нижче.

Жодна коротка кодова комбінація не має бути початком більш довгої. Середня довжина кодової комбінації обчислюється за формулою

При оптимальному двійковому кодуванні ентропія

При розв’язанні задачі завжди повинна виконуватись умова

.

Приклад 4. Джерелом інформації є вимірювальний датчик випадкового процесу , рівномірно розподіленого в межах від 0 до 256 нормованих одиниць. Визначити кількість інформації, яку отримують в результаті одного заміру значення цього випадкового процесу, якщо похибка вимірювання розподілена по нормальному закону і середнє квадратичне значення похибки

Розв’язання. Диференціальна ентропія випадкової величини

біт.

Диференціальна ентропія похибки вимірювання

біт.

Кількість інформації, яку отримують в результаті одного виміру, визначається різницею між ентропією самої величини і ентропією похибки

біт.

Приклад 5. Повідомлення складені із рівноімовірного алфавіту, який містить якісних ознак (тобто можливих елементарних символів). Визначити, чому дорівнює кількість символів в прийнятому повідомленні, якщо відомо, що воно містить 42 біта інформації, та чому дорівнює ентропія цього повідомлення.

Розв’язання. Кількість символів n в складному повідомленні визначається з формули

біт.

Тобто .

Ентропія повідомлення дорівнює ентропії джерела

біт/символ.

Приклад 6. В повідомленнях, які складаються із п’яти різних символів, відомі імовірності їх появи: , ; ; ; . Всього в повідомленні прийнято 40 символів. Визначити кількість інформації в цьому повідомленні. Визначити кількість інформації в повідомленні з такою ж кількістю знаків, якщо символи рівномірні.

Розв’язання. Кількість інформації в повідомленні визначається за формулою

біт.

У випадку, коли символи рівномірні, кількість інформації в повідомленні

біт.

Приклад 7. Визначити обсяг і кількість інформації у тексті «Ще не вмерла України і слава і доля.», переданому стандартним 7-значним телеграфним кодом. Імовірності букв українського алфавіту наведені у додатку 4.

Розв’язання. Кількість прийнятих символів, включаючи пробіл, .

Обсяг інформації

символів.

Кількість інформації:

а) для рівноімовірного алфавіту, який складається із 32 букв (включаючи пробіл і апостроф)

біт;

б) для нерівномірного алфавіту (не враховуючи статистичні зв’язки між буквами і пробіл)

біт.

Приклад 8. Відомо, що одне із М можливих повідомлень, які передаються рівномірним двійковим кодом, містить 3 біти інформації. Визначити, чому дорівнює М.

Розв’язання. Відомо, що кількість біт інформації в повідомленні визначається формулою:

.

Звідси .

Приклад 9. Алфавіт джерела складається з трьох букв А, В, С. Скласти максимальну кількість повідомлень, комбінуючи по три букви в повідомленні. Яка кількість інформації міститься в одному такому повідомленні?

Розв’язання. Загальна кількість можливих повідомлень дорівнює

,

де m – кількість первинних символів алфавіту;

n – кількість символів в повідомленні;

.

Можливі повідомлення:

AAA BAA CAA

AAB BAB CAB

AAC BAC CAC

ABA BBA CBA

ABB BBB CBB

ABC BBC CBC

ACA BCA CCA

ACB BCB CCB

ACC BCC CCC

Кількість інформації в повідомленні у випадку їх передавання з рівними ймовірностями

біт.

Читайте також:

1. II. Основна частина ЗАНЯТТЯ
2. IV ПІДСУМОК ЗАНЯТТЯ.
3. VІ. План та організаційна структура заняття
4. Алергія та анафілаксія, їх практичне значення .
5. Бактеріофаг, його природа і практичне застосування. Вплив бактеріофага на мінливість мікроорганізмів.
6. Вид заняття: лекція
7. Вид заняття: лекція
8. Вид заняття: лекція
9. Вид заняття: лекція
10. Вид заняття: лекція
11. Відповідь на практичне завдання.
12. Вступне заняття

Переглядів: 1162