Информации теория

Информации теория (information theory) (мат.), теория, изучающая передачу информации с помощью сигналов. Решаемые ею задачи касаются емкости каналов связи, искажений при передаче сообщений (шумы или помехи), а также обнаружения и исправления ошибок. И.т. находит широкое применение в электронных ср-вах связи. Простой пример применения И.т. - проверка кода на четность и нечетность для обнаружения ошибки. Предположим, что каждая буква в сообщении закодирована двоичным числом. Напр., числом 1000 закодировано А, а числом 1001 - В. Тогда код для А содержит нечетное число единиц (отриц. четность), а код для В - четное (полож. четность). Чтобы сделать четность одинаковой, к каждому коду необходимо приписать пятую цифру. Тогда кодом для А будет 10001, а для В - 10010. В случае одной ошибки при передаче этих кодов (вследствие превращения единицы в нуль или наоборот) произойдет изменение четности на обратную. Приемник сообщения способен обнаружить неправильную четность и затребовать повторение сообщения. В случае более сложной системы кодирования приемник может исправлять ошибки (если их не очень много). При поиске и исправлении ошибок используется св-во избыточности информации. Оно состоит в том, что в код включается больше информации, чем это необходимо для сообщения (напр., включение доп. цифр в рассмотренном примере). Обычные человеческие языки имеют высокую степень избыточности, как это ясно видно из след. испорченного сообщения: блшнств стднтв прчтт тт ткет (большинство студентов прочтет этот текст). Основополагающие исследования по И.т. были выполнены Клодом Шенноном в 40-х гг. в США. Практич. применения И.т. разнообразны: от индекса ISBN (Междунар. стандарт нумерации книг), проставляемого на всех книгах и содержащего контрольную цифру, до приема сообщений с искусств, спутников.