Априорная вероятность

В байесовском статистическом выводе априорное распределение вероятностей (англ. prior probability distribution, или просто prior) неопределённой величины $p$ — распределение вероятностей, которое выражает предположения о $p$ до учёта экспериментальных данных. Например, если $p$ — доля избирателей, готовых голосовать за определённого кандидата, то априорным распределением будет предположение о $p$ до учёта результатов опросов или выборов. Противопоставляется апостериорной вероятности.

Согласно теореме Байеса, нормализованное произведение априорного распределения на функцию правдоподобия является условным распределением неопределённой величины согласно учтённым данным.

Априорное распределение часто задается субъективно опытным экспертом. При возможности используют сопряжённое априорное распределение, что упрощает вычисления.

Параметры априорного распределения называют гиперпараметрами, чтобы отличить их от параметров модели данных. Например, если используется бета-распределение для моделирования распределения параметра $p$ распределения Бернулли, то:

$p$ — параметр модели данных (распределения Бернулли);
$\alpha$ и $\beta$ — параметры априорного распределения (бета-распределения), то есть гиперпараметры.

Информативное априорное распределение

Информативное априорное распределение выражает конкретную информацию о переменной.

Например, подходящим априорным распределением для температуры воздуха завтра в полдень будет нормальное распределение со средним значением, равным температуре сегодня в полдень, и дисперсией, равной ежедневной дисперсии температуры.

Таким образом, апостериорное распределение для одной задачи (температуры сегодня) становится априорным для другой задачи (температуры завтра); чем больше свидетельств накапливается в таком априори, тем менее оно зависит от исходного предположения и более — от накопленных данных.

Неинформативное априорное распределение

Неинформативное априорное распределение выражает размытую или общую информацию о переменной.

Такое название не очень точно, более точным было бы не очень информативное априори или объективное априори, так как свойства распределения не назначаются субъективно.

Например, такое априори может выражать «объективную» информацию о том, что «переменная может быть только положительной» или «переменная лежит в интервале».

Простейшим и старейшим правилом назначения неинформативного априори является принцип безразличия, который назначает равные вероятности для всех возможностей.

В задачах оценки параметра использование неинформативных априори обычно приносит результаты, которые мало отличаются от традиционных, так как функция правдоподобия часто приносит больше информации, чем неинформативные априори.

Были предприняты попытки найти логические априори (англ. a priori probability), которые бы следовали из самой природы вероятности. Это является предметом философской дискуссии, которая разделила последователей байесовского подхода на две группы: «объективных» (которые верят, что такое априори существует во многих прикладных ситуациях) и «субъективных» (которые верят, что априорные распределения обычно представляют субъективные мнения и не могут быть строго обоснованы (Williamson 2010)). Возможно, сильнейший аргумент в пользу объективного байесизма был дан Эдвином Томпсоном Джейнсом.

В качестве примера естественного априори, следуя Джейнсу (2003), рассмотрим ситуацию, когда известно, что мяч спрятан под одной из трех чашек A, B или C, но нет никакой другой информации. В этом случае равномерное распределение $\textstyle p(A)=p(B)=p(C)={\frac {1}{3}}$ интуитивно кажется единственно обоснованным. Более формально, проблема не изменится, если поменять местами названия чашек. Поэтому стоит выбрать такое априорное распределение, чтобы перестановка названий его не изменяла. И равномерное распределение является единственным подходящим.

Некорректное априорное распределение

Если теорема Байеса записана в виде:

P(A_{i}|B)={\frac {P(B|A_{i})P(A_{i})}{\sum _{j}P(B|A_{j})P(A_{j})}}\,~,

то очевидно, что она останется верной, если все априорные вероятности P(A_i) и P(A_j) будут умножены на одну и ту же константу; то же верно для непрерывных случайных величин. Апостериорные вероятности останутся нормированными на сумму (или интеграл) 1, даже если априорные не были нормированными. Таким образом, априорное распределение должно задавать только верные пропорции вероятностей.

См. также

Литература

Williamson, Jon (2010). "review of Bruno di Finetti. Philosophical Lectures on Probability" (PDF). Philosophia Mathematica. 18 (1): 130—135. doi:10.1093/philmat/nkp019. Архивировано из оригинала (PDF) 9 июня 2011. Дата обращения: 2 июля 2010.