Изобретение телеграфа
Количественной оценкой информации занимается теория информации, которая по существу является теорией передачи сигналов по каналам связи. Под каналом связи в кибернетике подразумевается связь между элементами системы или связь между системой и внешним источником информации.
Появление и развитие теории информации обусловлено научно-техническим прогрессом. Процессы передачи информации развивались вместе с человеческим обществом.
Членораздельная речь как средство обмена информацией в значительной мере способствовала укреплению связей между людьми. В прежние эпохи передача информации осуществлялась медленно, так же как медленно совершался процесс совершенствования технических средств ее передачи.
Промышленная революция конца XVIII столетия, связанная с широким применением машин, вызвала бурное нарастание темпов общественного прогресса.
Начался резкий рост средств общения, средств связи.
Изобретение телеграфа (1837) и радио (1895) сделало необходимыми исследования в области передачи информации. Общие представления об информации встречаются еще в трудах Лейбница, но только в начале XX века появились работы, в которых рассматривалась сущность этого понятия.
Р. Фишер (1921) впервые связал информацию с вероятностью.
Л. Сцилард (1929) указал на возможность применения идей статистической физики, в частности термодинамики к оценке информационных процессов.
Первой работой, в которой предлагался метод количественной оценки информации, была работа Р. Хартли Передача информации (1928).
Р. Хартли сформулировал очень важное положение о том, что количество информации пропорционально числу выборов. В 1933 г. В. А. Котельников в работе О пропускной способности эфира и проволоки в электросвязи показал, что непрерывный сигнал можно передавать в виде серий дискретных сигналов.
Теорема В. А. Котельникова открыла путь к дальнейшему прогрессу в области создания методов количественной оценки информации.