Вопросы на зачет по дисциплине 'Теория информации'

для курсантов 3 курса факультета автоматики

  1. Предмет изучения теории информации. Виды и структура сигналов. Передача непрерывных сообщений при помощи дискретных сигналов. Дискретные посылки. Качественные признаки, их описание. Первичный и вторичный алфавит. Кодовое слово. Основная задача ТИ.

  2. Модель системы передачи информации. Многоканальная система передачи информации. Отличие каналов связи от линий связи. Уплотнение. Виды сред для передачи данных.

  3. Количественная оценка информации. Условие аддитивности. Количество и ценность информации. Зависимость длины сообщений, количества информации и числа сообщений. Количество информации на букву алфавита и на равновероятный сигнал.

  4. Формулы Шеннона и Хартли для определения среднего количества информации. Энтропия. Средняя энтропия сообщения. Частная энтропия. Количество и объем информации.

  5. Выборочное пространство. Ансамбль сообщений. Ансамбли и энтропии источника и приемника сообщений. Применение формул Шеннона и Хартли для вычисления энтропии. Энтропия нулевого порядка.

  6. Условная энтропия. Условная энтропия 2-го, N-го порядка. Информационные потери при передаче информации. Канальная матрица. Канальная матрица при отсутствии помех.

  7. Взаимная энтропия. Свойство симметрии. Полный набор информационных характеристик канала связи. Теорема об информационной полноте.

  8. Вычисление количества информации при передаче сообщений по дискретному каналу связи с шумами.

  9. Коды. Представление кодов. Понятие о кодировании. Декодирование. Код Бодо. Виды разделения импульсов. Качественные и временные коды.

  10. Способы представления кодов. Сменнопосылочный и сменнокачественный код. Полные и неполные сменнопосылочные коды. Способы представления кодов.

  11. Избыточность информации. Естественная(семантическая, статистическая) и искусственная избыточность. Коэффициент сжатия. Устранение избыточности.

  12. Основная теорема кодирования для канала связи без шумов. Требования к кодам.

  13. Оптимальное кодирование. Оптимальные коды. Принципы оптимального кодирования. Построение оптимального кода по методу Шеннона - Фано.

  14. Оптимальные неравномерные коды. Коэффициенты статистического сжатия и относительной эффективности.

  15. Помехоустойчивость, эффективность и надежность систем передачи информации. Виды помех.

  16. Эффективность информационной системы. Коэффициенты использования канала связи и передачи информации. Надежность передачи.

  17. Пропускная способность дискретного канала связи с шумами. Эффективность системы кодирования. Емкость канала связи.

  18. Первая и вторая теоремы Шеннона о кодировании в присутствии шумов.

  19. Методы повышения надежности передачи информации.

    20.  

  20. Коды с обнаружением и исправлением ошибок.

  21. Классификация кодов.

  22. Теорема Котельникова и ее физическая интерпретация. Преодоление ограничений.