М-оценки

Оценки максимального правдоподобия (ОМП) определяются одним из следующих условий:

$\sum _{i}\ln P_{i}\to \max _{\theta \in \Theta },\qquad \sum _{i}{\frac {\partial \ln P_{i}}{\partial \theta }}=0,\qquad \sum _{i}{\frac {P_{i}'}{P_{i}}}=0$

где в случае негруппированной выборки $P_{i}=f(x_{i},\theta )$, а в случае группированной — $P_{i}=\left(\int \limits _{x_{i-1}}^{x_{i}}f(x,\theta )\,\mathrm {d} x\right)^{n_{i}}$

М-оценки — есть некое обобщение ОМП. Они определяются аналогично одним из соотношений:

$\sum _{i=1}^{N}\rho (x_{i},\theta )\to \max _{\theta \in \Theta },\qquad \sum _{i=1}^{N}\phi (x_{i},\theta )=0$

Если наложить условие регулярности в подстановке $F_{t,x}=(1-t)F+t\Delta _{x}$ и продифференцировать его по $t$ в 0:

$0={\frac {\partial }{\partial {t}}}\int \phi (x,T(F_{t,x}))\,\mathrm {d} F_{t,x}$

$0=\int {\frac {\partial \phi (x,T(F_{t,x}))}{\partial \theta }}IF\,\mathrm {d} F_{t,x}+\int \phi (x,T(F_{t,x}))\,\mathrm {d} {\frac {\partial ((1-t)F+t\Delta _{x})}{\partial t}}$

$0=IF\int {\frac {\partial \phi (x,T(F_{t,x}))}{\partial \theta }}\,\mathrm {d} F_{t,x}+\phi (x,T(F_{t,x}))$

то не представляет большого труда получить выражение функции влияния для M-оценок: $IF={\frac {-\phi (x)}{\int \phi '_{\theta }(x)\,\mathrm {d} F}}$

Указанное выражение позволяет сделать вывод о том, что M-оценки эквивалентны с точностью до ненулевого множителя-константы.

Пример функций влияния для усечённых ОМП параметров сдвига (син.) и параметра масштаба (красн.) стандартного нормального закона распределения.

Несложно проверить, что для ОМП стандартного нормального закона распределения ${\mathcal {N}}(0,1)$ функции влияния $IF$ параметра сдвига и параметра масштаба выглядят соответственно:

$IF=x,\quad IF={\frac {1}{2}}\;x^{2}-{\frac {1}{2}}$

Эти функции неограничены, а это значит, что ОМП не является робастной в терминах B-робастности.

Для того, чтобы это исправить, M-оценки искусственно ограничивают, а значит и ограничивают её $IF$ (см. выражение $IF$ для M-оценок), устанавливая верхний барьер на влияние резко выделяющихся (далеко отстоящих от предполагаемых значений параметров) наблюдений. Делается это введением так называемых усечённых M-оценок, определяемых выражением:

$\phi _{b}(z)=\left\{{\begin{array}{lr}\phi (b),&b<z\\\phi (z),&-b<z\leqslant b\\\phi (-b),&z\leqslant -b\end{array}}\right.$

где $z={\frac {x-\theta }{S}}$, $\theta$ и $S$ — оценки параметров сдвига и масштаба соответственно.

Среди усечённых M-оценок оптимальными с точки зрения B-робастности являются усечённые ОМП.

См. также

Робастность в статистике

Источники

• Robert G. Staudte: Robust estimation and testing. Wiley, New York 1990. ISBN 0-471-85547-2
• Rand R. Wilcox: Introduction to robust estimation and hypothesis testing. Academic Press, San Diego Cal 1997. ISBN 0-12-751545-3