Гессиан функции

Гессиан функции — симметрическая квадратичная форма, описывающая поведение функции во втором порядке.

Для функции $f$, дважды дифференцируемой в точке $x\in \mathbb {R} ^{n}$

$H(x)=\sum _{i=1}^{n}\sum _{j=1}^{n}a_{ij}x_{i}x_{j}$

или

$H(z)=\sum _{i=1}^{n}\sum _{j=1}^{n}a_{ij}z_{i}{\overline {z}}_{j}$

где $a_{ij}=\partial ^{2}f/\partial x_{i}\partial x_{j}$ (или $a_{ij}=\partial ^{2}f/\partial z_{i}\partial {\overline {z}}_{j}$) и функция $f$ задана на $n$-мерном вещественном пространстве $\mathbb {R} ^{n}$ (или комплексном пространстве $\mathbb {C} ^{n}$) с координатами $x_{1},\ldots ,x_{n}$ (или $z_{1},\ldots ,z_{n}$). В обоих случаях гессиан — квадратичная форма, заданная на касательном пространстве, не меняющаяся при линейных преобразованиях переменных. Гессианом также часто называют и определитель матрицы $(a_{ij}),$ см. ниже.

Матрица Гессе

Матрица этой квадратичной формы образована вторыми частными производными функции. Если все производные существуют, то

$H(f)={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\\\{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}$

Определитель этой матрицы называется определителем Гессе, или просто гессианом.

Матрицы Гессе используются в задачах оптимизации методом Ньютона. Полное вычисление матрицы Гессе может быть затруднительно, поэтому были разработаны квазиньютоновские алгоритмы, основанные на приближённых выражениях для матрицы Гессе. Наиболее известный из них — алгоритм Бройдена — Флетчера — Гольдфарба — Шанно.

Симметрия матрицы Гессе

Смешанные производные функции f — это элементы матрицы Гессе, стоящие не на главной диагонали. Если они непрерывны, то порядок дифференцирования не важен:

${\frac {\partial }{\partial x_{i}}}\left({\frac {\partial f}{\partial x_{j}}}\right)={\frac {\partial }{\partial x_{j}}}\left({\frac {\partial f}{\partial x_{i}}}\right)$

Это можно также записать как

$f_{x_{i}x_{j}}=f_{x_{j}x_{i}},\quad \forall i,j\in \{1,\ldots ,n\}.$

В этом случае матрица Гессе симметрична.

Критические точки функции

Если градиент $f$ (её векторная производная) равен нулю в некоторой точке $x_{0}$, то эта точка называется критической. Достаточным условием существования экстремума в этой точке является знакоопределённость гессиана f (понимаемого в данном случае как квадратичная форма), а именно:

• если гессиан положительно определён, то $x_{0}$ — точка локального минимума функции $f(x)$,
• если гессиан отрицательно определён, то $x_{0}$ — точка локального максимума функции $f(x)$,
• если гессиан не является знакоопределённым (принимает как положительные, так и отрицательные значения) и невырожден $(\det H(f)\neq 0)$, то $x_{0}$ — седловая точка функции $f(x)$.

Вариации и обобщения

Вектор-функции

Если $f$ — вектор-функция, то есть

$f=(f_{1},f_{2},\dots ,f_{n}),$

то её вторые частные производные образуют не матрицу, а тензор ранга 3, который можно рассматривать как массив из $n$ матриц Гессе:

$H(f)=\left(H(f_{1}),\ldots ,H(f_{n})\right).$

При $n=1$ данный тензор вырождается в обычную матрицу Гессе.

Окаймлённый гессиан

При решении задачи нахождения условного экстремума функции $f:\mathbb {R} ^{n}\rightarrow \mathbb {R}$ с ограничениями

$\left\{{\begin{array}{c}g_{1}(x)=0,\\\vdots \\g_{m}(x)=0,\end{array}}\right.$

где $x\in \mathbb {R} ^{n}$, $m<n$, для проверки достаточных условий экстремума можно использовать так называемый окаймлённый гессиан функции Лагранжа $L(x,\lambda )$, который будет иметь вид

$\left({\begin{array}{cc}{\dfrac {\partial ^{2}L}{\partial x^{2}}}&{\dfrac {\partial ^{2}L}{\partial x\partial \lambda }}\\\left({\dfrac {\partial ^{2}L}{\partial x\partial \lambda }}\right)^{\mathrm {T} }&{\dfrac {\partial ^{2}L}{\partial \lambda ^{2}}}\end{array}}\right)=\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{n}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{n}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{n}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{n}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{n}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{n}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{n}}}&0&\ldots &0\end{array}}\right).$

Проверка достаточных условий экстремума заключается в вычислении знаков детерминантов определённого набора подматриц окаймлённого гессиана. Именно, если существуют $x^{*}\in \mathbb {R} ^{n}$ и $\lambda ^{*}\in \mathbb {R} ^{m}$ такие, что $\nabla L(x^{*},\lambda ^{*})=0$ и

$(-1)^{m}{\mbox{det}}\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{p}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{p}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{p}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{p}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{p}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}&0&\ldots &0\end{array}}\right)>0$

для $p=m+1,\ldots ,n$, то в точке $x^{*}$ функция $f$ имеет строгий условный минимум. Если же

$(-1)^{p}{\mbox{det}}\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{p}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{p}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{p}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{p}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{p}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}&0&\ldots &0\end{array}}\right)>0$

для $p=m+1,\ldots ,n$, то в точке $x^{*}$ функция $f$ имеет строгий условный максимум.

История

Понятие введено Людвигом Отто Гессе (1844), который использовал другое название. Термин «гессиан» был введён Джеймсом Джозефом Сильвестром.

См. также

• Якобиан
• Критическая точка (математика)
• Лемма Морса
• Критерий Сильвестра — критерий положительной или отрицательной определённости квадратной матрицы

Ссылки

• Камынин Л.И. Математический анализ. Т. 1, 2. - 2001.
• Кудрявцев Л.Д «Краткий курс математического анализа. Т.2. Дифференциальное и интегральное исчисления функций многих переменных. Гармонический анализ», ФИЗМАТЛИТ, 2002, — 424 с. — ISBN 5-9221-0185-4. Или любое другое издание.
• Голубицкий М., Гийемин В. Устойчивые отображения и их особенности, — М.: Мир, 1977.