f-дивергенция

f-дивергенцией (f-расхождением) называется класс функционалов $D_{f}(P\parallel Q)$, определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей $P$ и $Q$. Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией $f(t)$, удовлетворяющей определённым условиям.

Данный класс дивергенций был введён и изучался независимо друг от друга учёными Чисара, Моримото, а также Али и Силви. Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви.

Определение

Пусть $P$ и $Q$ — распределения вероятностей, заданные на множестве $\Omega$, такие что $P$ абсолютно непрерывно по отношению к $Q$. Пусть функция $f(t)$ выпукла при $t\geq 0$ и $f(1)=0$. Тогда функция $f$ задаёт f-дивергенцию $P$ относительно $Q$ следующим образом:

$D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {dP}{dQ}}\right)dQ=\operatorname {E} _{Q}f\left({\frac {dP}{dQ}}\right).$

Если $\mu$ — любая мера на $\Omega$, и оба распределения $P$ и $Q$ непрерывны относительно $\mu$, т.е. существуют функции $p={\frac {dP}{d\mu }}$ и $q={\frac {dQ}{d\mu }}$, тогда f-дивергенция может быть записана как

$D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p}{q}}\right)q\,d\mu .$

В случае лебеговой меры $\mu =x$ распределения имеют плотности $p(x)$ и $q(x)$, тогда f-дивергенция принимает вид

$D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p(x)}{q(x)}}\right)q(x)\,dx.$

Для дискретных распределений $P=\{p_{i}\}$ и $Q=\{q_{i}\}$, где $i=1,...,N$,

$D_{f}(P\parallel Q)=\sum _{i=1}^{N}f\left({\frac {p_{i}}{q_{i}}}\right)q_{i}.$

Функция $f(t)$ определена с точностью до слагаемого $c(t-1)$, где $c$ — произвольная константа. Действительно, вид f-дивергенции не зависит от выбора $c$, поскольку слагаемое $c(t-1)$ функции $f(t)$ даёт нулевой вклад в значение интеграла. Кроме того, функция $f(t)$ может содержать положительную мультипликативную константу $k$, которая определяет единицу измерения дивергенции. В связи с этим некоторые авторы (например, Бассевиль) указывают дополнительные ограничения, налагаемые на функцию $f(t)$:

$f'(1)=0,$

$f''(1)=1.$

Первое из этих ограничений фиксирует константу $c$, второе — константу $k$. Условие $f'(1)=0$ может быть полезно тем, что в этом случае $f(t)\geq 0$ с минимумом в точке $t=1$ (см. Лизе и Вайда), и выражение для f-дивергенции интуитивно проще воспринимается. Однако такой способ конкретизировать функцию $f(t)$ не всегда удобен: например, для существования непрерывной версии f-энтропии, связанной с данной f-дивергенцией, может потребоваться другое значение константы $c$.

f-дивергенция может быть разложена в ряд Тейлора и записана в виде взвешенной суммы расстояний χ-типа (см. Нильсен и Нок).

Частные случаи f-дивергенции

Многие известные дивергенции, такие как дивергенция Кульбака—Лейблера, квадрат расстояния Хеллингера, расстояние хи-квадрат и ряд других, являются частными случаями f-дивергенции, которым соответствует определённый выбор функции $f(t)$. В следующей таблице приведены некоторые распространённые виды дивергенций между распределениями вероятностей и соответствующая им функция $f(t)$ (см. Лизе и Вайда).

Дивергенция	Порождающая функция $f(t)$
Дивергенция Кульбака—Лейблера	$t\ln t$
Обратная Дивергенция Кульбака—Лейблера	$-\ln t$
Квадрат расстояния Хеллингера	${\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}},\,t-{\sqrt {t}}$
Расстояние полной вариации	${\frac {1}{2}}|t-1|\,$
Расстояние $\chi ^{2}$ Пирсона	$(t-1)^{2},\,t^{2}-1,\,t^{2}-t$
Расстояние $\chi ^{2}$ Неймана	${\frac {1}{t}}-1,\,{\frac {1}{t}}-t$
Альфа-дивергенция	${\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}t-t^{(1+\alpha )/2}{\big )},&{\text{если}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{если}}\ \alpha =1,\\-\ln t,&{\text{если}}\ \alpha =-1\end{cases}}$
Альфа-дивергенция (другие обозначения)	${\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1)}},&{\text{если}}\ \alpha \neq 0,\,\alpha \neq 1,\\t\ln t,&{\text{если}}\ \alpha =1,\\-\ln t,&{\text{если}}\ \alpha =0\end{cases}}$

Свойства

• Неотрицательность: ƒ-дивергенция всегда неотрицательна, и равна нулю, только если распределения $P$ и $Q$ совпадают. Это непосредственно следует из неравенства Йенсена:

  $D_{f}(P\!\parallel \!Q)=\int _{\Omega }\!f{\bigg (}{\frac {dP}{dQ}}{\bigg )}dQ\geq f{\bigg (}\int _{\Omega }{\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.$

• Монотонность: если $\kappa$ — произвольная переходная вероятность, которая переводит меры $P$ и $Q$ соответственно в $P_{\kappa }$ и $Q_{\kappa }$, тогда
  $D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).$
  Равенство здесь имеет место тогда и только тогда, когда переход порождается достаточной статистикой по отношению к $\{P,Q\}$.
• Совместная выпуклость: для любого $0\leq \lambda \leq 1$

  $D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2}{\Big )}\leq \lambda D_{f}(P_{1}\!\parallel \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\parallel \!Q_{2}).$

  Это следует из выпуклости отображения $(p,q)\mapsto qf(p/q)$ на $\mathbb {R} _{+}^{2}$.
• Самодвойственность: если $D(P\parallel Q)$ является f-дивергенцией, то $D(Q\parallel P)$ тоже является f-дивергенцией, т.е. класс f-дивергенций содержит как прямые, так и обратные (двойственные) дивергенции. Действительно,

  ${D^{*}}_{f}(P\parallel Q){\stackrel {\mathrm {df} }{\;=\;}}D_{f}(Q\parallel P)=\int _{\Omega }f\left({\frac {dQ}{dP}}\right)dP=\int _{\Omega }f^{*}\left({\frac {dP}{dQ}}\right)dQ=D_{f^{*}}(P\parallel Q),$

  где $f^{*}(t)=tf(1/t)$ — двойственная порождающая функция. Нетрудно видеть, что $f^{*}(1)=f(1)=0$, $f^{*}(t)$ непрерывна (кроме, быть может, точки $t=0$) и ${f^{*}}''(t)={\frac {1}{t^{3}}}f''(1/t)\geq 0$ почти всюду на $t\geq 0$ в силу выпуклости $f$, т.е. функция $f^{*}(t)$ удовлетворяет условиям порождающей функции f-дивергенции.

С учётом последнего свойства класс f-дивергенций можно было бы эквивалентным образом определить как ${D^{*}}_{f}(P\parallel Q)=\operatorname {E} _{P}f\left({\frac {dQ}{dP}}\right)$. Подобное определение встречается, например, у Чжана. Таким образом, интерпретация распределения $Q$ как истинного, которая следует из определения f-дивергенции, не является её фундаментальным свойством, а является лишь следствием соглашения о порядке следования аргументов в определении. Иными словами, аргументы $P$ и $Q$ концептуально равноправны.

f-дивергенция является безразмерной величиной независимо от размерности множества $\Omega$.

Связанные понятия

Кроме f-дивергенции, И. Чисар определил связанное с ней понятие f-энтропии (Чисар).

Литература

• Csiszár, I. Eine informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von Markoffschen Ketten (нем.) // Magyar. Tud. Akad. Mat. Kutato Int. Kozl : magazin. — 1963. — Bd. 8. — S. 85—108.
• Morimoto, T. Markov processes and the H-theorem (англ.) // J. Phys. Soc. Jpn. : journal. — 1963. — Vol. 18, no. 3. — P. 328—331. — doi:10.1143/JPSJ.18.328. — .
• Ali, S. M.; Silvey, S. D. A general class of coefficients of divergence of one distribution from another (англ.) // Journal of the Royal Statistical Society, Series B : journal. — 1966. — Vol. 28, no. 1. — P. 131—142. — .
• Liese, F.; Vajda, I. On divergences and informations in statistics and information theory (англ.) // IEEE Transactions on Information Theory : journal. — 2006. — Vol. 52, no. 10. — P. 4394—4412. — doi:10.1109/TIT.2006.881731.
• Nielsen, F.; Nock, R. On the Chi square and higher-order Chi distances for approximating f-divergences (англ.) // IEEE Signal Processing Letters : journal. — 2013. — Vol. 21. — P. 10—13. — doi:10.1109/LSP.2013.2288355. — . — arXiv:1309.3029.
• Basseville, M. Divergence measures for statistical data processing (англ.) // Publications Internes de l’IRISA : journal. — 2010. — Vol. 11. — P. 1—23.
• Zhang, J. Divergence Function, Duality, and Convex Analysis (англ.) // Neural Computation. — 2004. — Vol. 16. — P. 159—195.
• Csiszár, I. A class of measures of informativity of observation channels (англ.) // Periodica Math. Hungar : journal. — 1972. — Vol. 2. — P. 191—213.