21-10-2023
Собственная информация — статистическая функция дискретной случайной величины.
Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.
Для случайной величины , имеющей конечное число значений:
собственная информация определяется как
Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.
| Основание логарифма | Единица измерения | Количество информации о падении монеты «орлом» вверх |
|---|---|---|
| 2 | бит | бит |
| e | нат | ната |
| 10 | хартли | хартли |
Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.
1) Неотрицательность: . при , т.е. предопределенный факт никакой информации не несет.
2) Монотонность: , если .
3) Аддитивность: для независимых справедливо
| Это заготовка статьи по математике. Вы можете помочь проекту, исправив и дополнив её. |
Собственная информация.
