«Математическая теория связи» (A Mathematical Theory of Communication) — статья, опубликованная Клодом Шенноном в 1948 году в реферативном журнале американской телефонной компании «Bell System»1948 и сделавшая его всемирно известным. Содержа в себе большое количество инновационных и плодотворных идей, эта работа инициировала многие научные исследования по всему миру, продолжающиеся по сей день, положив начало развитию методов обработки передачи и хранения информации.

Об авторе

Клод Э́лвуд Ше́ннон (Claude Elwood Shannon) — американский математик и инженер, основатель теории информации, автор многих книг и статей по кибернетике.

История

Само понятие теории информации появилось задолго до публикации этой статьи. Множество авторов своими работами закладывали фундамент новой теории. Например том же журнале компании «Bell System» в 1924 году была публикация Найквиста, содержащая в себе некоторые положения, лежащие в основе данной статьи.

Шеннон при публикации не считал, что делает открытие. Он во многом опирался на опыт предшественников; в самом начале статьи он написал, что «Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли. В настоящей статье мы расширим теорию с тем, чтобы включить некоторое число новых факторов, в частности, влияние шума в канале».

Содержание

Шеннон обобщил идеи Хартли, используя понятие «информации», содержащейся в передаваемых по каналу связи сообщениях. Само понятие он не разъясняет, только упоминает, что сообщения могут иметь некое «значение», то есть относиться к системе, имеющей свою физическую или умозрительную сущность. Также он начал рассматривать непрерывные множества сообщений, а не только конечные. Его работа позволила решить основные задачи теории информации: кодирование, передачу сообщений и устранение избыточности; также исследовалась помехоустойчивость.

В книге вводится логарифмическая функция как мера информации, и показывается её удобство:

Также вводится понятие обобщённой системы связи, состоящей из источника информации, передатчика, канала, приемника и пункта назначения. Шеннон разделяет все системы на дискретные, непрерывные и смешанные.

Влияние на различные направления науки

Много времени спустя после своего появления, вопреки распространенному мнению, эта работа Шеннона была почти безвестной. Вот что пишет, например, по этому поводу академик А. Н. Колмогоров:

Но постепенно ученые из различных областей науки стали проявлять к статье все больший интерес. Сейчас трудно назвать область человеческих знаний, в которой замечательную формулу не пытались бы так или иначе применить. Количество публикаций росло, что не могло не вызвать ответной реакции со стороны самого Шеннона, так как изначально эта мера предназначалась только для сугубо прикладных задач техники связи. В 1956 году он опубликовал коротенькую статью «Бандвагон», в которой горячо призывал писать скромнее о теории информации, не считать эту теорию всемогущей и универсальной, не преувеличивать её значения: