На железнодорожном вокзале 8 путей отправления поездов. вам сообщили, что ваш поезд прибывает на 4 путь. сколько информации вы получили?

В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита. Сколько белых карандашей было в коробке?

1. После получения сообщения о номере пути был сделан выбор 1 из 8, т. е. неопределенность информации о номере пути уменьшилась в 8 раз. Логарифм по основанию 2 от 8 равен 3, следовательно мы получили 3 бита информации.

2. Если сообщение несет 4 бита информации, то неопределенность наших знаний о предмете сообщения уменьшилась в 2^4=16 раз. Если бы в коробке были одноцветные карандаши, неопределенность уменьшилась бы в 2^6=64 раза и мы бы получили 0 байт информации (если все карандаши белые, сообщение о вынутом белом карандаше не несет ничего нового). В нашем случае получено на 2 байта больше, следовательно белых карандашей 2^2=4 штуки.