14-10-2023
Теоремы Шеннона для источника без памяти связывают энтропию источника и возможность сжатия кодированием с потерями и последующим неоднозначным декодированием.
Прямая теорема показывает, что с помощью кодирования с потерями возможно достичь степени сжатия
сколь угодно близкой к энтропии источника, но всё же больше последней. Обратная показывает, что лучший результат не достижим.
Пусть заданы:
Для источника без памяти с энтропией и любого существует последовательность множеств однозначного декодирования мощности такая, что вероятность множества неоднозначного декодирования стремится к нулю при увеличении длины блока . Другими словами, сжатие возможно.
Пусть задан источник без памяти с энтропией и любой . Для любой последовательности множеств однозначного декодирования мощности вероятность множества неоднозначного декодирования стремится к единице: при увеличении длины блока . Другими словами, сжатие невозможно.
Теоремы Шеннона для источника без памяти.