В теории информации, энтропия Реньи, обобщение энтропии Шеннона, является одним из семейства функционалов для количественного разнообразия неопределенности или случайности системы. Она названа в честь Альфреда Реньи.

Энтропия Реньи порядка α, где α 0, α 1 определяется как

где p_i - появление вероятностей событий {x₁, x₂ ... x_n} и по основанию 2. Если все вероятности одинаковые, тогда все распределения энтропии Реньи равны, H_α(X)=log n. В противном случае, энтропии слабо уменьшаются как функция от α.

Более высокие значения α, стремясь к бесконечности, дают энтропию Реньи, которая в большей степени определена через рассмотрение только самых высоких вероятностей событий. Более низкие значения α, стремящиеся к нулю, дают энтропию Реньи, которая в большей степени взвешивает все возможные события более равномерно, независимо от их вероятностей. Промежуточный случай α=1 дает энтропию Шеннона, которая обладает особыми свойствами. При α=0 максимально возможная энтропия Шеннона, log(N).

Энтропии Реньи играют важную роль в экологии и статистике как индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от α. Они также приводят к спектру показателей фрактальной размерности.

H_α для некоторых конкретных значений α

Некоторые частные случаи:

где логарифм мощности множества X, иногда называют энтропией Хартли множества X.

В пределе при стремящимся к 1, можно показать, используя правило Лопиталя, что сходится к

является энтропией Шеннона.

Столкновение энтропии, иногда называют "энтропией Реньи", относится к случаю ,

где Y является случайной величиной и не зависит от X, но одинаковое распределение на множестве X. При , существует предел

и называется Min-энтропия, потому что это наименьшее значение .

Неравенство между различными значениями α

Два последних случая связанны . С другой стороны, энтропия Шеннона может быть сколь угодно высокой для случайной величины X с фиксированной min-энтропией.

потому что .

потому что .

в соответствии с неравенством Иенсена .

Расходимости Реньи

Как и абсолютные энтропии Реньи, Реньи определил спектр мер расхождений, обобщающих расхождения Кульбака-Лейблера. Расхождение Реньи порядка α, где α > 0, из распределения P в распределение Q определяется:

Как расхождение Кульбака-Лейблера, расхождение Реньи не является отрицательным для α>0. Это расхождение также известно как alpha-расхождение (-дивергенция).

Некоторые частные случаи:

 : отрицательный логарифм от Q, p_i>0;

 : двойной отрицательный логарифм от коэффициента Бхаттачариа;

 : расхождение Кульбака-Лейблера;

 : логарифм от ожидаемого отношения вероятностей;

 : логарифм от максимального соотношения вероятностей.

Почему α = 1 особенный случай

Значение α = 1, что дает энтропия Шеннона и расхождение Кульбака-Лейблера, является особенным, потому что только тогда, когда α=1 можно выделить переменные A и X из совместного распределения вероятностей, и написать:

для абсолютной энтропии, и

для относительной энтропии.

Последнее означает, что если мы будем искать распределение p(x,a),которое сводит к минимуму расхождения некоторых основополагающих мер m(x,a), и мы получаем новую информацию, которая влияет только на распределение a, то распределение p(x|a) остается без изменений m(x|a).

Другие расхождения Реньи удовлетворяют критериям: быть положительными и непрерывными, инварианты относительно один-в-один координировать преобразования и объединение аддитивно, когда A и X независимы, следовательно, если p(A,X) = p(A)p(X), то

и

Наиболее сильные свойства величины α = 1, которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях, или совершенно неважны, в зависимости от требований этих приложений.

Литература

• A. Rényi (1961). "On measures of information and entropy". Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960: 547–561. 
• A. O. Hero, O.Michael and J. Gorman (2002). «Alpha-divergences for Classification, Indexing and Retrieval».
• F. Nielsen and S. Boltz (2010). «The Burbea-Rao and Bhattacharyya centroids».
• O.A. Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163–182
• Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, A. R. Its, V. E. Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]