Информация, неопределенность
и возможность выбора
Количеством информации называют числовую характеристику сигнала, характеризующую степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией. Если в результате получения сообщения достигается полная ясность в каком-то вопросе, говорят, что была получена полная или исчерпывающая, информация и необходимости в получении дополнительных сведений нет. И наоборот, если после получения сообщения неопределенность осталась прежней, значит, информации получено не было (нулевая информация).
Приведенные рассуждения показывают, что между понятиями «информация», «неопределенность» и «возможность выбора» существует тесная связь. Чем больше неопределенность, тем больше выбор. Чем меньше неопределенность из-за наличия информации, тем меньше возможностей выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределенность.
Представим себе ситуацию, в которой человек бросает монету и наблюдает, какой стороной она упадет. Обе стороны монеты равноправны, поэтому одинаково вероятно, что выпадет одна или другая сторона. Такой ситуации приписывается начальная неопределенность, характеризуемая двумя возможностями. После того как монета упадет, достигается полная ясность и неопределенность исчезает (становится равной нулю).
Приведенный пример относится к группе событий, применительно к которым может быть поставлен вопрос типа «да – нет». Количество информации, которое можно получить при ответе на вопрос типа «да – нет», называется битом (англ. bit – сокращенное от binary digit – двоичная единица). Это количество и принимают за единицу информации. Бит —минимальная единица количества информации, и поэтому получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое подбрасывание монеты дает нам информацию в 1 бит.
