Байесовская статистика

Байесовская статистика — теория в области статистики, основанная на байесовской интерпретации вероятности, когда вероятность отражает степень доверия событию, которая может измениться, когда будет собрана новая информация, в отличие от фиксированного значения, основанного на частотном подходе. Степень доверия может основываться на априорных знаниях о событии, таких как результаты предыдущих экспериментов или личное доверие событию. Это отличается от ряда других интерпретаций вероятности, таких как частотная интерпретация, которая рассматривает вероятность как предел относительной частоты выпадения события после большого числа испытаний.

Введение

Байесовские статистические методы используют теорему Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условную вероятность события на основе как данных, так и априорной информации или доверия событию или условий, связанных с событием. Например, в байесовском выводе теорему Байеса можно использовать для оценки параметра распределения вероятностей или статистической модели. Поскольку байесовская статистика трактует вероятность как степень доверия, теорема Байеса может прямо назначить распределение вероятности, которое даёт количественную оценку параметру или набору параметров.

Байесовская статистика названа именем Томаса Байеса, который сформулировал специальный случай теоремы Байеса в своей работе, опубликованной в 1763. В некоторых статьях, выпущенных от конца 1700-х годов до начала 1800-х, Пьер-Симон Лаплас развил байесовскую интерпретацию вероятности. Лаплас использовал методы, которые сейчас считаются байесовскими методами, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними авторами, но термин не использовался для описания таких методов до 1950-х годов. Большую часть XX века байесовские методы были нежелательными для большей части статистиков вследствие философских и практических соображений. Многие байесовские методы требуют больших вычислений и большинство методов, которые использовались в течение века, основывались на частотной интерпретации. Однако, с появлением мощных компьютеров и новых алгоритмов, таких как метод Монте-Карло для цепей Маркова, байесовские методы начинают с приходом XXI века использоваться с возрастающей интенсивностью.

Теорема Байеса

Основная статья: Теорема Байеса

Теорема Байеса является фундаментальной теоремой в байесовской статистике, так как она используется байесовскими методами для обновления вероятностей, которые являются степенью доверия, после получения новых данных. Если даны два события $A$ и $B$, условная вероятность $A$, при условии, что $B$ верно, выражается формулой:

$P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}$

где $P(B)\neq 0$. Хотя теорема Байеса является фундаментальным результатом теории вероятностей, она имеет конкретную интерпретацию в байесовской статистике. В равенстве выше $A$ обычно представляет утверждение (такое, как утверждение, что монета ляжет вверх орлом в пятидесяти процентов случаев), а $B$ представляет обоснование, или новые данные, которые следует учитывать (такие как результат серии бросаний монеты). $P(A)$ является априорной вероятностью события $A$, которая выражает уверенность в событии $A$ до того, как обоснование принимается во внимание. Априорная вероятность может также дать количественную оценку знанию или информации о событии $A$. $P(B\mid A)$ является функцией правдоподобия, которую можно интерпретировать как вероятность свидетельства $B$, при условии, что произошло событие $A$ . Правдоподобие даёт количественное значение степени, насколько свидетельство $B$ поддерживают утверждение $A$. $P(A\mid B)$ является апостериорной вероятностью, вероятностью утверждения $A$ после принятия во внимание свидетельства $B$. По существу, теорема Байеса обновляет априорную уверенность $P(A)$ после рассмотрения нового свидетельства $B$.

Вероятность свидетельства $P(B)$ можно вычислить с помощью формулы полной вероятности. Если $\{A_{1},A_{2},\dots ,A_{n}\}$ является разбиением пространства элементарных событий, которое является набором всех исходов эксперимента, то

$P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})$

Если имеется бесконечное число исходов, необходимо интегрировать по всем исходам для вычисления $P(B)$ с помощью формулы полной вероятности. Часто $P(B)$ вычислить трудно, так как приходится вовлекать суммирование или интегрирование, которые занимают много времени, так что часто рассматривается только произведение априорной вероятности и правдоподобия. Апостериорная вероятность пропорциональна этому произведению :

$P(A\mid B)\propto P(B\mid A)P(A)$

Максимум апостериорной оценки, которая является модой апостериорной оценки и часто вычисляется в байесовской статистике с помощью методов математической оптимизации, остаётся той же. Апостериорная вероятность может быть аппроксимирована даже без точного вычисления значения $P(B)$ методами, такими, как метод Монте-Карло для цепей Маркова или вариационные байесовские методы .

Байесовские методы

Общий набор статистических техник можно разделить на ряд направлений, многие из которых имеют специальные байесовские версии.

Байесовский вывод

Основная статья: Байесовский вывод

Байесовский вывод относится к статистическим выводам, в которых неопределённость в выводе выражается количественно с помощью вероятности. В классическом частотном выводе параметры модели и гипотезы считаются фиксированными, а вероятности не назначаются параметрам или гипотезам в частотном выводе. Например, не имеет смысла в частотном выводе прямо указывать вероятность события, которое может случиться лишь один раз, такие как результат следующего броска симметричной монеты. Однако, будет иметь смысл утверждение, что доля выпадений орла сходится к одной второй при росте числа бросаний монеты.

Статистические модели определяют набор статистических допущений и процессов, которые представляют, как данные выборок формируются. Статистические модели имеют набор параметров, которые могут быть изменены. Например, монета может быть представлена как испытания с распределением Бернулли, которые моделируют два возможных исхода. Распределение Бернулли имеет один параметр, равный вероятности одного исхода, которая в большинстве случаев равна вероятности выпадения орла. Создание хорошей модели для данных является центральным в байесовском выводе. В большинстве случаев модели лишь аппроксимируют действительные процессы и могут не принимать во внимание некоторых факторов, оказывающих влияние на данные. В байесовском выводе вероятности могут быть назначены параметрам модели. Параметры могут быть представлены как случайные величины. Байесовский вывод использует теорему Байеса для обновления вероятностей после получения дополнительных данных.

Статистическое моделирование

Формулировка статистического моделирования с помощью байесовской статистики имеет отличительную особенность, заключающуюся в требовании указания априорных вероятностей для любых неизвестных параметров. Более того, параметры априорных вероятностей могут сами иметь априорные вероятности, что приводит к байесовскому иерархическому моделированию, или могут быть взаимозависимыми, что приводит к байесовским сетям.

Планирование экспериментов

Байесовский дизайн экспериментов включает концепцию, называемую «влияние априорной уверенности». Этот подход использует техники статистического анализа для включения исходов предыдущих экспериментов в планирование следующего эксперимента. Это достигается путём обновления «доверия» через использование априорного и апостериорного распределений. Это позволяет при планировании экспериментов использовать ресурсы всех видов. Примером служит задача о многоруком бандите.

Статистические графики

Статистические графики включает методы для исследования данных, обоснования адекватности модели и т. д. Использование некоторых современных компьютерных техник для байесовского вывода, особенно различных видов техник Монте-Карло для цепей Маркова, привели к необходимости проверки, часто в графическом виде, адекватности таких вычислений, отражающей требуемую апостериорную вероятность.

Литература для дальнейшего чтения

• Think Bayes, Allen B. Downey Архивная копия от 29 февраля 2016 на Wayback Machine
• Bayesian Statistics: Why and How Архивная копия от 10 августа 2015 на Wayback Machine
• Bayesian Statistics // Nature Methods. — 2015. — Май (т. 12, вып. 5). — С. 377–8. — doi:10.1038/nmeth.3368.

Ссылки

• Eliezer S. Yudkowsky. An Intuitive Explanation of Bayes' Theorem  (неопр.). Дата обращения: 15 июня 2015. Архивировано 21 июня 2015 года.
• Theo Kypraios. A Gentle Tutorial in Bayesian Statistics  (неопр.). Дата обращения: 3 ноября 2013. Архивировано 17 мая 2018 года.
• Jordi Vallverdu. Bayesians Versus Frequentists A Philosophical Debate on Statistical Reasoning  (неопр.). Дата обращения: 11 января 2019. Архивировано 12 января 2019 года.
• Bayesian statistics Архивная копия от 12 января 2019 на Wayback Machine David Spiegelhalter, Kenneth Rice Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
• Bayesian modeling book Архивная копия от 19 августа 2013 на Wayback Machine and examples available for downloading.
• Rens Van De Schoot. A Gentle Introduction to Bayesian Analysis  (неопр.). Дата обращения: 11 января 2019. Архивировано 14 июля 2018 года.