20-10-2023
| Математическая теория связи | |
| A Mathematical Theory of Communication | |
| Жанр: |
Научная статья |
|---|---|
| Автор: | |
| Язык оригинала: | |
| Публикация: | |
| Перевод: |
С. Карпов |
«Математическая теория связи» (англ. A Mathematical Theory of Communication) — статья, опубликованная Клодом Шенноном в 1948 году и сделавшая его всемирно известным. Содержа в себе большое количество инновационных и плодотворных идей, эта работа инициировала многие научные исследования по всему миру, продолжающиеся по сей день, положив начало развитию методов обработки передачи и хранения информации.
Содержание |
Клод Э́лвуд Ше́ннон (англ. Claude Elwood Shannon) — американский математик и инженер, основатель теории информации, автор многих книг и статей по кибернетике.
Шеннон обобщил идеи Хартли, введя понятие «информации», содержащейся в передаваемых по каналу связи сообщениях. Его обобщение заключалось в статистическом рассмотрении структуры как шумов в канале связи, так и передаваемых сообщений. Также он начал рассматривать непрерывные множества сообщений, а не только конечные. Его работа позволила решить основные задачи теории информации: кодирование, передача сообщений и устранение избыточности, также исследовалась помехоустойчивость.
Устранение избыточности позволяет повысить эффективность использования канала (к примеру, таким образом современные методы позволяют разместить до шести цифровых телевизионных каналов в полосе частот, рассчитанной на один аналоговый телевизионный канал). Решение задачи передачи информации позволяет при помощи использования помехоустойчивых кодов минимизировать вероятность ошибки приема при постоянном отношении сигнал/шум. Это отношение определяет пропускную способность канала.
На данный момент все системы передачи информации основываются на работах Шеннона и разрабатываются с учетом фундаментальных законов, сформулированных им. В соответствии с фундаментальными положениями теории, в сообщениях перед передачей устраняется избыточность, а затем происходит кодирование на основе помехоустойчивых кодов. Разработаны различные алгоритмы, сокращающие избыточность голосовых, телевизионных и других сообщений.
Вводится логарифмическая функция как мера информации, и показывается её удобство:
| 1. Она удобна практически. Параметры, важные в инженерных приложениях — такие, как время, пропускная способность, число переключателей и так далее — обычно меняются линейно при логарифмическом изменении числа возможных вариантов. К примеру, добавление одного переключателя удваивает число возможных состояний их группы, увеличивая на единицу его логарифм по основанию 2. Увеличение в два раза времени приводит к квадратичному росту числа сообщений, или удвоению их логарифма, и так далее.
2. Она близка к нашему интуитивному представлению о такой мере. Это тесно связано с предыдущим пунктом, так как мы интуитивно измеряем величины, линейно сравнивая их со стандартами. Так, нам кажется, что на двух перфокартах можно разместить в два раза больше информации, а по двум одинаковым каналам — передать её в два раза больше. 3. Она удобна математически. Многие предельные переходы просты в логарифмах, в то время как в терминах числа вариантов они достаточно нетривиальны. |
Так же вводятся понятие обобщённой системы связи, состоящей из источника информации, передатчика, канала, приемника и пункта назначения. Шеннон разделяет все системы на дискретные, непрерывные и смешанные.
Математическая теория связи (статья).