Чтобы понять, сколько информации несет сообщение о том, что достали красный или черный кубик, нужно использовать понятие энтропии информации, которое ввел Клод Шеннон. Оно измеряется в битах.
Энтропия (H) для дискретного источника информации, который может принимать (n) различных значений, рассчитывается по формуле:
[ H = - \sum_{i=1}^n P_i \log_2 P_i ]
где (P_i) — вероятность каждого отдельного события.
В нашем случае есть два возможных события:
- Достать красный кубик.
- Достать черный кубик.
Для начала, найдем вероятности этих событий:
Вероятность достать красный кубик ((P{\text{красный}})):
[ P{\text{красный}} = \frac{\text{Количество красных кубиков}}{\text{Общее количество кубиков}} = \frac{4}{4 + 8} = \frac{4}{12} = \frac{1}{3} ]
Вероятность достать черный кубик ((P{\text{черный}})):
[ P{\text{черный}} = \frac{\text{Количество черных кубиков}}{\text{Общее количество кубиков}} = \frac{8}{4 + 8} = \frac{8}{12} = \frac{2}{3} ]
Теперь подставим эти вероятности в формулу энтропии:
[ H = - \left( P_{\text{красный}} \log2 P{\text{красный}} + P_{\text{черный}} \log2 P{\text{черный}} \right) ]
Подставим численные значения:
[ H = - \left( \frac{1}{3} \log_2 \frac{1}{3} + \frac{2}{3} \log_2 \frac{2}{3} \right) ]
Рассчитаем значения логарифмов (используя приблизительные значения):
[ \log_2 \frac{1}{3} \approx -1.585 ]
[ \log_2 \frac{2}{3} \approx -0.585 ]
Теперь подставим и умножим на вероятности:
[ H = - \left( \frac{1}{3} \cdot -1.585 + \frac{2}{3} \cdot -0.585 \right) ]
[ H = - \left( -0.528 + -0.390 \right) ]
[ H = - (-0.918) ]
[ H \approx 0.918 \text{ бит} ]
Таким образом, сообщение о том, что достали красный или черный кубик, несет примерно 0.918 бит информации.