Обобщённый метод наименьших квадратов

Обобщённый метод наименьших квадратов (ОМНК, GLS — англ. Generalized Least Squares) — метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщённый метод наименьших квадратов сводится к минимизации «обобщённой суммы квадратов» остатков регрессии — $e^{T}We$, где $e$ — вектор остатков, $W$ — симметрическая положительно определенная весовая матрица. Обычный МНК является частным случаем обобщённого, когда весовая матрица пропорциональна единичной.

Необходимо отметить, что обычно обобщённым методом наименьших квадратов называют частный случай, когда в качестве весовой матрицы используется матрица, обратная ковариационной матрице случайных ошибок модели.

Сущность обобщённого МНК

Известно, что симметрическую положительно определенную матрицу можно разложить как $W=P^{T}P$, где P- некоторая невырожденная квадратная матрица. Тогда обобщённая сумма квадратов может быть представлена как сумма квадратов преобразованных (с помощью P) остатков $(Pe)^{T}Pe$. Для линейной регрессии $y=Xb+\varepsilon$ это означает, что минимизируется величина:

$[P(y-Xb)]^{T}[P(y-Xb)]=(Py-PXb)^{T}(Py-PXb)=(y^{*}-X^{*}b)^{T}(y^{*}-X^{*}b)~,$

где $y^{*}=Py~,~X^{*}=PX$, то есть фактически суть обобщённого МНК сводится к линейному преобразованию данных и применению к этим данным обычного МНК. Если в качестве весовой матрицы $W$ используется обратная ковариационная матрица $V$ случайных ошибок $\varepsilon$ (то есть $W=V^{-1}$), преобразование P приводит к тому, что преобразованная модель удовлетворяет классическим предположениям (Гаусса-Маркова), следовательно оценки параметров с помощью обычного МНК будут наиболее эффективными в классе линейных несмещенных оценок. А поскольку параметры исходной и преобразованной модели одинаковы, то отсюда следует утверждение — оценки ОМНК являются наиболее эффективными в классе линейных несмещенных оценок (теорема Айткена). Формула обобщённого МНК имеет вид:

${\hat {b}}_{GLS}=(X^{T}V^{-1}X)^{-1}X^{T}V^{-1}y$

Ковариационная матрица этих оценок равна:

$V({\hat {b}}_{GLS})=(X^{T}V^{-1}X)^{-1}$

Доступный ОМНК (FGLS, Feasible GLS)

Проблема применения обобщённого МНК заключается в неизвестности ковариационной матрицы случайных ошибок. Поэтому на практике используют доступный вариант ОМНК, когда вместо V используется её некоторая оценка. Однако, и в этом случае возникает проблема: количество независимых элементов коварационной матрицы равно $n(n+1)/2$, где $n$-количество наблюдений (для примера — при 100 наблюдениях нужно оценить 5050 параметров!). Следовательно, такой вариант не позволит получить качественные оценки параметров. На практике делаются дополнительные предположения о структуре ковариационной матрицы, то есть предполагается, что элементы ковариационной матрицы зависят от небольшого числа неизвестных параметров $\theta$. Их количество должно быть намного меньше числа наблюдений. Сначала применяется обычный МНК, получают остатки, затем на их основе оцениваются указанные параметры $\theta$. С помощью полученных оценок оценивают ковариационную матрицу ошибок и применяют обобщённый МНК с этой матрицей. В этом суть доступного ОМНК. Доказано, что при некоторых достаточно общих условиях, если оценки $\theta$ состоятельны, то и оценки доступного ОМНК будут состоятельны.

Взвешенный МНК

Если ковариационная матрица ошибок диагональная (имеется гетероскедастичность ошибок, но нет автокорреляции), то обобщённая сумма квадратов является фактически взвешенной суммой квадратов, где веса обратно пропорциональны дисперсиям ошибок. В этом случае говорят о взвешенном МНК (ВМНК, WLS, Weighted LS). Преобразование P в данном случае заключается в делении данных на среднеквадратическое отклонение случайных ошибок. К взвешенным таким образом данным применяется обычный МНК.

Как и в общем случае, дисперсии ошибок неизвестны и их необходимо оценить из тех же данных. Поэтому делают некоторые упрощающие предположения о структуре гетероскедастичности.

Дисперсия ошибки пропорциональна квадрату некоторой переменной

В этом случае собственно диагональными элементами являются величины, пропорциональные этой переменной (обозначим её Z) . Причем коэффициент пропорциональности не нужен для оценки. Поэтому фактически процедура в данном случае следующая: разделить все переменные на Z (включая константу, то есть появится новая переменная 1/Z). Причем Z может быть одной из переменных самой исходной модели (в этом случае в преобразованной будет константа). К преобразованным данным применяется обычный МНК для получения оценок параметров:

Однородные группы наблюдений

Пусть имеется n наблюдений разбитых на m однородных групп, внутри каждой из которых предполагается одинаковая дисперсия. В этом случае сначала модель оценивают обычным МНК и находят остатки. По остаткам внутри каждой группы оценивают дисперсии $\sigma _{j}^{2}~,~j=1..m$ ошибок групп как отношение сумм квадратов остатков к количеству наблюдений в группе. Далее данные каждой j-й группы наблюдений делятся на $\sigma _{j}$ и к преобразованным подобным образом данным применяется обычный МНК для оценки параметров.

ОМНК в случае автокорреляции

Если случайные ошибки подчиняются AR(1) модели $\varepsilon _{t}=r\varepsilon _{t-1}+u_{t}$, то без учета первого наблюдения преобразование P будет заключаться в следующем: из текущего значения переменных отнимаются предыдущие, умноженные на $r$:

${\begin{cases}y_{t}^{*}=y_{t}-ry_{t-1}\\x_{t}^{*}=x_{t}-rx_{t-1}\\b_{i}^{*}=b_{i},i>0\\b_{0}^{*}=b_{0}(1-r)\end{cases}}$

Данное преобразование называется авторегрессионным преобразованием. Для первого наблюдения применяется поправка Прайса — Уинстена — данные первого наблюдения умножаются на ${\sqrt {1-r^{2}}}$. Случайная ошибка преобразованной модели равна $u_{t}$, которая по предположению есть белый шум. Следовательно применение обычного МНК позволит получить качественные оценки такой модели.

Поскольку коэффициент авторегрессии неизвестен, то применяются различные процедуры доступного ОМНК.

Процедура Кохрейна-Оркатта

Шаг 1. Оценка исходной модели методом наименьших квадратов и получение остатков модели.

Шаг 2. Оценка коэффициента автокорреляции остатков модели (формально её можно получить также как МНК-оценку параметра авторегрессии во вспомогательной регрессии остатков $e_{t}=re_{t-1}+u_{t}$)

Шаг 3. Авторегрессионное преобразование данных (с помощью оцененного на втором шаге коэффициента автокорреляции) и оценка параметров преобразованной модели обычным МНК.

Оценки параметров преобразованной модели и являются оценками параметров исходной модели, за исключением константы, которая восстанавливается делением константы преобразованной модели на 1-r. Процедура может повторяться со второго шага до достижения требуемой точности.

Процедура Хилдрета — Лу

В данной процедуре производится прямой поиск значения коэффициента автокорреляции, которое минимизирует сумму квадратов остатков преобразованной модели. А именно задаются значения r из возможного интервала (-1;1) с некоторым шагом. Для каждого из них производится авторегрессионное преобразование, оценивается модель обычным МНК и находится сумма квадратов остатков. Выбирается тот коэффициент автокорреляции, для которого эта сумма квадратов минимальна. Далее в окрестности найденной точки строится сетка с более мелким шагом и процедура повторяется заново.

Процедура Дарбина

Преобразованная модель имеет вид:

$y_{t}-ry_{t-1}=b_{0}(1-r)+\sum _{i=1}^{k}b_{j}(x_{tj}-rx_{t-1j})+\varepsilon _{t}-r\varepsilon _{t-1}$

Раскрыв скобки и перенеся лаговую зависимую переменную вправо получаем

$y_{t}=b_{0}(1-r)+ry_{t-1}+\sum _{j=1}^{k}b_{j}x_{tj}-\sum _{j=1}^{k}b_{j}rx_{t-1j}+\varepsilon _{t}-r\varepsilon _{t-1}$

Введем обозначения $b_{0}(1-r)=a_{0},~-rb_{j}=a_{j},~u_{t}=\varepsilon _{t}-r\varepsilon _{t-1}$. Тогда имеем следующую модель

$y_{t}=a_{0}+ry_{t-1}+\sum _{j=1}^{k}b_{j}x_{tj}+\sum _{j=1}^{k}a_{j}x_{t-1j}+u_{t}$

Данную модель необходимо оценить с помощью обычного МНК. Тогда коэффициенты исходной модели восстанавливаются как ${\hat {b}}_{0}={\hat {a}}_{0}/(1-{\hat {r}}),~{\hat {b}}_{j}=-{\hat {a}}_{j}/{\hat {r}}$.

При этом полученная оценка коэффициента автокорреляции может быть использована для авторегрессионного преобразования и применения МНК для этой преобразованной модели для получения более точных оценок параметров.

См. также

• Метод наименьших квадратов

Литература

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс . — 2004.