№2 Кількість інформації та ентропія - polpoz.ru o_O
Главная
Поиск по ключевым словам:
страница 1
Похожие работы
Название работы Кол-во страниц Размер
Загальна кількість годин – 240; аудиторні години – 96; в т ч. 1 13.83kb.
Законом України від 13. 01. 2011 року №2939-vi „Про доступ до публічної... 1 34.82kb.
Інформації Метою Закону України «Про доступ до публічної інформації»... 1 8.62kb.
1. Правовий статус інформації 8 2166.8kb.
Код модуля ХІ 6032 С01 Тип модуля обов’язковий Семестри, в яких викладається... 1 15.1kb.
Код модуля: ох 6006 С01 Тип модуля: вибірковий Семестр 1 14.26kb.
Розпорядження голови районної державної адміністрації від 04 липня... 1 111.57kb.
Підтверджую ідентичність електронної та паперової форм інформації... 8 2030.19kb.
Повідомлення про виникнення особливої інформації про емітента 1 20.65kb.
Підтверджую ідентичність електронної та паперової форм інформації... 4 773.81kb.
Підтверджую ідентичність електронної та паперової форм інформації... 5 1064.15kb.
Харківська обласна державна адміністрація 1 22.66kb.
1. На доске выписаны n последовательных натуральных чисел 1 46.11kb.

№2 Кількість інформації та ентропія - страница №1/1

Тема №2 Кількість інформації та ентропія.

Квантування сигналів за часом.

Вважається, що повідомлення передаються за допомогою деякого числа символів n, які надсилаються послідовно. Якщо кожен із символів може приймати m різних значень, то це m складає алфавіт , а n – довжина повідомлення. Тоді кількість повідомлень визначається як



- експоненціальний закон.

При m=2 (“0” або “1”) та n=3, M = 23 = 8 (тобто, 000,001,010,011,100,101,110,111).

Із збільшеням m росте і М. Між m та n є експоненційний зв’зок.

Властивості закону кількості повідомлень (інформації).


  • повідомлення будуються із алфавіту m символів з однаковою ймовірністю;

  • поява будь-якого символа на будь-якій позиції повідомлення має однакову ймовірність;

  • передача повідомлень проводиться по каналу зв’зку без завад, які можуть порушити умову формування повідомлень.

Адитивна міра кількості інформації. Закон Хартлі.

В 1927 році в Англії Р.Хартлі запропонував і обгрунтував “кількісну міру інформації, яка дозволяє порівнювати можливості різних систем передавати інформацію”. Оскільки між m та n є степенева залежність, то він запропонував


Лорифмічну міру інформації, яка відповідає умові адитивності (ємність суми комірок рівна ємності однієї, помноженої на кількість останніх).

;

Інформаційна ємність системи .


Кількість інформації Ì є логарифмічною мірою числа повідомлення


За одиницю вимірювань приймають двійкову одиницю або біт (binary digit) – ємність однієї комірки з двома можливими сталими. Тоді основа логарифму а=2. і .

Одна двійкова одиниця – інформація елементарного випадкового повідомлення, коли є дві ситуації з однаковими ймовірностями (“ТАК”,”НІ”).

Закон Хартлі справедливий, якщо мають місце всі зауваження, які сформульовані для експоненціального закону кількості інформації.

(8біт = 1байт).



Інформація та ймовірності.

Якщо є набір М повідомлень, сформульованих у відповідності з експоненційним законом, тобто із рівномірних рівноправних символів, то всі ці повідомлення володіють однаковою ймовірністю. Тобто сума ймовірністей по цьому набору повідомлень рівна 1; тоді ймовірність одного повідомлення



; або

і тоді ; тобто

Знак “-“ поставлений щоб зробити значення від логарифму додатнім log числа меншого 1, відємний. Таким чином ще одне формування закону Хартлі таке:

Кількість інформації рівна логарифму ймовірності повідомлення з протилежним знаком.


Статистистична міра інформації, Формула Шенона


Якщо ймовірності повідомлень Р не є рівним, тобто при формуванні повідомлень враховуються їх певна статистична структура, тоді кожний символ у повідомленні володіє ймовірністю Рі.

Шенон вводить поняття про середню інформацію на одне повідомлення:



,

де Р(с) деяка середня ймовірність одного повідомлення.

При дуже великій кількості n символів в повідомленні вступає в силу закон великих чисел, згідно якого ймовірності символів можуть визначатися як їх частота появи в розгледуваному повідомленні.

,

де Pi – відносна частота появи сигналу зі значенням I ;

ni – число символів зі значенням і ;

n – загальна довжина повідомлення.



Приклад: повідомлення 011010001100, n=12, n0=7, n1=5

, .

Ймовірність повідомлення рівна добутку ймовірностей символів на відповідних позиціях.

Р(с)123 . . . Рn

Або

Оскільки ni=npi , тоді




Тоді середня кількість інформації у повідомленні знаходиться як




Це формула Шенона для сигналів з нерівноймовірнісною появою символів в повідомленні.



Приклад: є два повідомлення про те що “1 липня буде сніг” та “1 липня буде дощ”:

  1. перший випадок – Р1=1/100 (буде сніг один раз в сто років)

Р0=99/100 (не буде снігу).

дв.од.

Це середнея кількість на одне повідомлення за 100 років

  1. другий випадок Р10=1/2 (або буде, або ні).

дв. од.

Ентропія

Ентропія – це кількість інформації, яка в середньому приходиться на один символ в повідомленні.

“Эн-mpone” (від грецького) – звертання. Ентропія – міра змістовності повідомлення.

Ентропія – це міра невизначеності. Дійсно, найбільше значення Н приймає при найбільшій невизначеності (див. Графік),

Коли розглядаються повідомлення з однаковою ймовірністю Р10=0,5;

При прийомі сигналу невизначеність зрозуміло пропадає (при умові, що сигнал не був спотворений в результаті дії завади).



Надлишковість.

Надлишковість в повідомленнях виникає тоді, коли не всі символи в повідомленні несуть повне інформаційне навантаження, та визначається ентропією Н´.



Перетворення сигналів. Теорема Котельникова.

В 1933 році академік В.А. Котельников довів наступну теорему:

Якщо функція F(t) неперервна і частотний спектр її не містить складових з частото, яка більша Fm(Гц),тоді вона повністю визначається сукупністю ординат, які розміщенні одна від іншої на відстань (сек).

На рисунку показана послідовність реалізації окремих відліків функції F(t) тобто її ординат у вигляді “функцій відліку”, Тоді F(t), неперервна,представляє собою суму в часі ряду Котельникова:


де n-номер вибір;

або

де ;


На приймальній стороні припускається використання так званого “ідеального приймача Котельникова”, який повинен кожний короткий імпульс з амплітудою f(ti) перетворювати в функцію відліку зі значенням f(ti). Таким приймачем має бути ФНЧ (фільтр низьких частот ) з ідеальною характеристикою і частотою зрізу , рівною найвищій частоті в спектрі розглядуваної функції f(ti).




Вивід теореми Котельникова.

Згідно теореми сигнал S(t) представляється у вигляді нескінченної суми ряду



де - найвища частота в спектрі сигналу,



- інтервал між двома відліками на осі часу,

- вибірка сигналу (його значення) в точках відліку.

Властивості




  1. Вточці t=nt , а в точках Кt при Кn (де К-будь-яке додатнє чи відємне число). ;

  2. Спектральна густина функції рівномірна у смузі частот < і рівна.

  3. Оскільки функція відрізняеться від функції тільки зсувом на осі часу на величину nt, то спектральна густина функції


при -<


0 при <- та >m

Тощо ряд Котельникова точно відтвонюэ вхідний S(t) чках відліку не вимагає доведення. Важливо довести, що він складає S(t) в будь – який момент часу.



  1. Функції - ортогональні. Причому інтервал ортогональності рівний , а норма функції |||| визначається у відповідності з:



  1. Визначимо коефіцієнти ряду Фур’є розкладу S(t) на ортогональні :

Прицьому виходимо з умови, що S(t) є малою функцією, що квадратично інтегрується (енергія S(t)) скінченна. Обчислюючи Сn скористаємось формулою спектру двох сигналів:

Границі інтегрування приведені у відповідність заданою граничною частотою m в спектрі сигналу, а також в спектрі .

Інтеграл в правій частині є не що інше, як зворотне перетворення фур’є для сигналу S(t) в момент часу t=nt.

Тобто

Підставивши це значення у вираз для Cn, отримуємо

Значення коефіцієнтів ряду є вибірками функції S(t) в точках t=nt.

Оскільки обмеження спектру S(t) скінченною частотою забезпечує неперервність функції S(t), то ряд сходиться і функція S(t) при будь-якому значенні t.

Зменшення інтервалів між вибірками в порівнянні з величиною допустимо, але немає змісту. Збільшення цих інтервалів понад величину недопустимо.



Теорема Котельникова у застосуванні до сигналу скінченної довжини Тс.
Сигнал скінченної тривалості Тс може мати теоритично незкінченний спектр. І обмеження останнього найбільшою частотою fm можливе при припущенні того, що гармоніки з частотою f>fm складають “хвостик” сигналу.

Тоді число значень S(nt), необхідне для повного заданнясигналезгідно до теореми, рівне, тобто

Число N деколи називають числом степенів свободи сигналу, чи базою сигналу.

Енергія сигналу S(t)

Середня потужність сигналу:


де Нентропія повідомлення.

, тому що при максимально можливій ентропії визначається менше число символів для даного повідомлення.

І тоді Надлишковість збільшує довжину повідомлень, але підвищує їх завадостійкість, що видно на прикладі людської мови, яка є розбірливою навіть при сильному шумі.



Квантування сигналів за часом.

Не перервна функція X(t) квантується з кроком квантування t=const.

Якщо крок квантування вибирати згідно Котельникова тобто , де Fm –максимальна частота, яка зберігіється в спектрі розглядуваної функції, то в результаті реального відновлення функції по окремим відліках в приймачі буде виникати достатньо велика похибка.

При визначенні кроку квантування по часу виходять із співвідношення , де  - поправочнтй коефіцієнт, який залежить від типу приймача.

При лінійній інтерполяції , де  - допустима відносна похибка

При ступінчастій інтерполяції ,



До визначення похибок квантування повернимось в наступних темах.