Метод коррекции с обратной передачей сигнала ошибки

Метод коррекции с обратной передачей сигнала ошибки — стохастический метод обучения персептрона, необходимый, чтобы гарантировать сходимость при переменных связях больше, чем у одного слоя. Метод был предложен Розенблаттом для перцептрона с переменными S-A связями и может быть использован для бинарных многослойных перцептронов. Является альтернативой методу обратного распространения ошибки, но, в отличие от него, гарантирует процесс сходимости (достижение решения).

Алгоритм

• Для каждого R-элемента устанавливается ошибка $E_{r}=R^{*}-r^{*}$, где $R^{*}$ - требуемая, а $r^{*}$ - достигнутая реакция.
• Для каждого А-элемента $a_{i}$ ошибка вычисляется следующим образом:
  • Вначале $E_{i}=0$;
  • Если элемент $a_{i}$ активен и связь $c_{ir}$ (${\textstyle c_{ir}=a_{i}\cdot w_{ir}}$ или в общем случае ${\textstyle c_{ir}=f(w_{ir},a_{i})}$) оканчивается на R-элементе с ненулевой ошибкой $E_{r}$, отличающейся по знаку от веса связи $w_{ir}$, то с вероятностью $p_{1}$ к $E_{i}$ следует прибавить коррекцию, равную -1;
  • Если элемент $a_{i}$ неактивен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_{r}$, не отличается (совпадает) по знаку от веса связи $w_{ir}$, то с вероятностью $p_{2}$ к $E_{i}$ следует прибавить коррекцию, равную +1;
  • Если элемент $a_{i}$ неактивен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_{r}$, отличающейся по знаку от веса связи $w_{ir}$ (или $w_{ir}=0$ ), то с вероятностью $p_{3}$ к $E_{i}$ следует прибавить коррекцию, равную +1;
  • При всех остальных условиях $E_{i}$ не изменяется.
• Если $E_{i}\not =0$, то ко всем активным связям, оканчивающимся на А или R элементе, прибавляем коррекцию $\eta$ со знаком, совпадающим со знаком $E_{i}$, т.е. $\Delta w_{ij}=a_{i}^{*}sign(E_{i})\varepsilon$, где $\varepsilon$ - абсолютное значение $\eta$ (как правило единица).

В большинстве случаев наилучшие характеристики могут быть получены, если вероятности будут выбраны согласно следующему условию $p_{1}>p_{2}>p_{3}$.

Литература

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.

• Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998