Тест отношения правдоподобия

Тест отноше́ния правдоподо́бия (англ. likelihood ratio test, LR) — статистический тест, используемый для проверки ограничений на параметры статистических моделей, оценённых на основе выборочных данных. Является одним из трёх базовых тестов проверки ограничений наряду с тестом множителей Лагранжа и тестом Вальда.

Сущность и процедура теста

Пусть имеется эконометрическая модель с вектором параметров $b$. Необходимо проверить по выборочным данным гипотезу $H_{0}\colon ~g(b)=0$, где $g$ — совокупность (вектор) некоторых функций параметров. Идея теста основана на сравнении функций правдоподобия для длинной модели (без ограничений) и короткой модели (с ограничениями). Оказывается, что следующая простая статистика отношения правдоподобия

$LR=2(l_{L}-l_{S})=2\ln {\frac {L_{L}}{L_{S}}},$

где $l_{L},~l_{S}$ — значения логарифмической функции правдоподобия длинной и короткой моделей, соответственно, при нулевой гипотезе имеет (возможно асимптотически) распределение $\chi ^{2}(q)$ — распределение хи-квадрат с $q$ степенями свободы, где $q$ — это количество ограничений. Поэтому, если значение статистики больше критического значения этого распределения при заданном уровне значимости, то ограничения отвергаются, и предпочтение отдаётся длинной модели. В противном случае предпочтение отдаётся короткой модели.

Частный случай

В случае, если случайные ошибки модели являются $iid\;N(0,\sigma ^{2})$, то можно показать, что

$LR=n\ln {\frac {ESS_{S}}{ESS_{L}}}.$

В частности, при проверке значимости регрессии $ESS_{S}=TSS$, следовательно

$LR=n\ln {\frac {TSS}{ESS}}=n\ln {\frac {1}{1-R^{2}}}=-n\ln(1-R^{2}).$

Взаимосвязь с другими тестами

Доказано, что тест Вальда (W), тест отношения правдоподобия (LR) и тест множителей Лагранжа (LM) — асимптотически эквивалентные тесты (LM = LR = W). Тем не менее, для конечных выборок значения статистик не совпадают. Для линейных ограничений доказано неравенство $LM\leqslant LR\leqslant W$. Тем самым тест отношения правдоподобия занимает некоторое среднее положение по частоте отвержения нулевой гипотезы по сравнению с тестами множителей Лагранжа и тестом Вальда. В случае нелинейных ограничений первая часть неравенства выполняется, а вторая — вообще говоря, нет.

Вместо LR-теста можно проводить асимптотический F-тест, статистика которого выражается через LR-статистику следующим образом $F={\frac {n-k}{q}}(e^{LR/n}-1)$.

Литература

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. — М.: Дело, 2004. — 576 с.
• William H. Greene. Econometric analysis. — New York: Pearson Education, Inc., 2003. — 1026 с.