Обсуждение:Метод главных компонент

Выборочные оценки

Статья, безусловно, необходимая, инициатива полезна. Есть, однако, одно серьезное уточнение. В методе главных компонент используются не Дисперсия, а Выборочная дисперсия, не ковариационная матрица, а выборочная оценка ковариационной матрицы. Ни распределение вероятностей, ни истинные моменты в данных не даны. Это очень четко объясняется в литературе, на которую ссылается статья (см., например, рекомендованный тьюториал - там везде не \sigma (дисперсия), а s (выборочная дисперсия), не \Sigma (ковариационная матрица), а S - ее выборочная оценка. Я сейчас вношу исправления и приношу извинения за критическое вмешательство в статью.

Agor153 22:37, 6 декабря 2007 (UTC)

Да, Вы правы, в первой версии статьи действительно не корректно использовать среднее значения и дисперсия. Большое спасибо за исправление! Однако, можно описать задачу метода главных компонент и по другому. Если изначально исходить исходить из n случайных величин, а i-тую главную компоненту определять как линейную комбинацию этих случайных величин, то в этом случае можно как раз использовать среднее значение и дисперсию исходных случайных величин. А уже потом говорить про выборку и соответствующие ей характеристики. Например, такой подход используется в "Principal Component Analysis" Jolliffe I.T.

Честно говоря, я совершенно неосознанно смешал эти определения - какой из них лучше, не знаю. Может быть, в статье стоит дать два варианта, или хотя бы упомянуть, что возможно определять через независимые величины.

Спасибо за ссылку на книгу. Александр Паршин 20:36, 8 декабря 2007 (UTC)

Предлагаю начать как в классической первой работе Пирсона, через аппроксимацию конечного множества векторов данных линиями и плоскостями (самый ясный из подходов, почитайте - получите удовольствие). Потом - максимизация разброса проекций (примерно как сейчас). Затем - два слова о эквивалентности и диагонализация выборочной ковариационной матрицы Далее - для распределений (исторически это и есть Кар(х)унен-Лоэв в отличие от PCA Pearson). Давайте, я напишу "по Пирсону" и отправлю Вам, Вы поправите-добавите - и обратно. Потом согласованную версию выставим. Чтобы не засорять общие места полуфабрикатами - давайте по e-mail. Я Agor153 на gmail.com Если не против, вышлите свой адрес, а я Вам - версию. Agor153 19:01, 9 декабря 2007 (UTC)

Преобразование Кархунена-Лоэва - как правильно писать имена?

• Кархунена-Лоэва
  • Yandex — 5
  • Google — 3

• Карунена-Лоэва
  • Yandex — 762
  • Google — 470
  • Lingvo именно так переводит "Karhunen-Loeve"

Я бы вернул обратно "Карунена-Лоэва". Александр Паршин 20:48, 8 декабря 2007 (UTC)

принципиальных возражений с моей строны быть не может, хотя многим ближе прямой транслит... Давайте "в рабочем порядке". Я погляжу пару авторитетных источников и там решим. Идет? Да, Кархунен - финн, а там это h вроде бы ясно произносится - это не с Английского... Agor153 19:01, 9 декабря 2007 (UTC)

Формулы вычитания проекции

Там, где вычитаются проекции на вектор, явно не хватает деления на модуль вектора главной компоненты (ну или на (a1, a1)).

(добавлено участником 85.249.82.241 без подписи)

Извините, но везде при поиске $a_{i}$ явно входит условие $\|a_{i}\|=1$. Так что, дели - не дели, ничего не изменится. Но, конечно, если бы этого условия не было, то надо было бы делить.--Agor153 08:18, 16 июня 2008 (UTC)

Нормировка и ортогональность

Сначала участник AlexanderGavrilyuk, а затем некто 188.226.103.89 вставляют "не" во фразу: "напомним, что нормировка меняет отношение ортогональности векторов". Прошу обратить внимание, что нормировка (см раздел нормировка) - это диагональное, но не скалярное преобразование, то есть каждая координата нормируется на свой масштаб. Например, нормировка на единичную дисперсию заменяет $x_{i}$ на $x_{i}/\sigma _{i}$ и вектор $x_{i}$ переходит в вектор$diag[\sigma _{1},\sigma _{2},...]^{-1}x$, где $diag[...]$ обозначена диагональная матрица. Это преобразование не сохраняет ортогональности. Например, если $\sigma _{1}=1$, $\sigma _{2}=2$, то в результате нормировки пара ортогональных векторов (1;1), (-1;1) переходит в (1;0.5), (-1;0.5), которые, очевидно, не ортогональны (скалярное произведение равно -0.75). Возвращаю исходную фразу на место (удаляю "не") и прошу назад не возвращать.--Agor153 06:53, 5 апреля 2010 (UTC)

Четыре базовых версии

Вторая и третья версии, похоже, говорят одно и то же:

• найти подпространства меньшей размерности, в ортогональной проекции на которые разброс данных [...] максимален;
• найти подпространства меньшей размерности, в ортогональной проекции на которые среднеквадратичное расстояние между точками максимально; ...

Или под среднеквадратичным расстоянием между точками понимается не разброс данных от среднего, а нечто иное? 195.177.124.234 10:25, 6 июля 2015 (UTC)

Во-первых, все четыре версии эквивалентны, поэтому они ВСЕ просто по-разному представляют одно и то же. В этом смысле Вы безусловно правы. Во-вторых, разница между третьей и четвертой состоит в следующем: минимизация разброса есть минимизация функционала $\sum _{i}{\frac {1}{n}}(x_{i}-{\overline {x}})^{2}$ (отклонения от среднего), а среднеквадратичное расстояние между точками есть ${\frac {1}{n(n-1)}}\sum _{i,j}(x_{i}-x_{j})^{2}$ - каждая пара точек входит отдельно. Последнее мгновенно порождает обобщение: возьмем разные пары с разными коэффициентами и получим большое разноообразие методов, например, с наилучшим созранением кластерной структуры, с наилучшим разделением заданных классов и т.д.Agor153 12:06, 24 июля 2015 (UTC)

Добавление ссылки

Прошу уважаемых редакторов статьи рассмотреть возможность добавления ссылки на мой конспект лекции про метод главных компонент на нашем курсе по анализу данных в ВШЭ. Мне кажется, что это одно из самых понятных изложений основных идей PCA на русском языке (по крайней мере, я к этому стремился :)) и эта ссылка будет полезной для читателей статьи. Из соображений КИ не могу добавить эту ссылку в статью самостоятельно. Ilya Voyager 13:36, 10 марта 2016 (UTC)