Сети с латеральным торможением (карты признаков Кохонена)
1. Идея метода
Этот класс нейросетей выполняет переработку входной информации с целью формирования одно- или двумерной “карты признаков” путем нелинейного преобразования многомерного сигнального пространства. При этом предполагается, что такое отображение должно сохранять топологические отношения, существующие между входными сигналами. Реализация такого отображения основывается на использовании механизма латерального торможения – особой организации нейронных связей, которая встречается в живых нейробиологических системах и хорошо известна в нейрофизиологии.
2. Архитектура
Нейроны расположены в виде одно- или двумерного слоя. Каждый нейрон имеет два вида связей: mij, которые интерпретируются как связи от сенсорных входов или других областей системы, и wij – латеральные связи между нейронами одного слоя, характер которых описывается какой либо топологической зависимостью. Рассмотрим случай, когда веса связей зависят от расстояния между нейронами. Эта зависимость выражается изображена на рис.1:
Характер действия латеральных связей
Рис. 1
Каждый нейрон связан с ближайшими к нему нейронами сильными возбуждающими связями. Затем на некотором расстоянии возбуждение сменяется торможением, и далее вновь проявляются слабые возбуждающие связи. Нейроны имеют сигмоидальную переходную функцию. Латеральные связи wjk в модели считаются постоянными, изменяются только связи mij.
Работа сети начинается с подачи на вход входного вектора X. Затем для каждого узла вычисляется нейронная активность согласно итеративной формуле (1):
Процесс прекращается при установлении стабильного состояния, при этом вектор S будет искомым отображением X на карту признаков (в S останется активным один или несколько элементов, соответствующих некоторому признаку).
При подаче на вход сети сигнала, представленного вектором X, вокруг нейрона, связи которого mij наиболее соответствуют входному вектору (т.е.
будет максимальным) образуется пузырёк активности (рис.2) , контрастность которого при выполнении итераций постепенно повышается.
Изменение уровней активности нейронов после 10 итераций
Рис. 2
3. Обучение
Обучение такой сети заключается в коррекции весов связей mij для получения желаемого отображения. Сеть обучается без учителя. Вводится следующий закон модификации весов связей:
где a, b – положительные константы.
Если учесть, что соотношение активностей (y) внутри и вне пузырька практически бинарное, и промасштабировать переменные так, что a=b, правило (3) переходит в (4):
где NC – «пузырёк».
Обычно пластичность а и радиус пузырька NC монотонно уменьшаются в процессе обучения.
Т.о. в результате обучения в сети должна формироваться непрерывная упорядоченная карта признаков сигнального пространства. Непрерывность следует из того, что связи соседних пузырьков модифицируются в одном направлении, что приводит к сглаживанию их величин. Упорядоченность была доказана только для одномерного отображения.
Алгоритм обучения
Входные данные: обучающая выборка (набор входных векторов)
Выходные данные: скорректированные связи mij
1. Предъявить сети входной вектор
2. Выполнять итерации до установления стабильного состояния
3. Для всех узлов сети выполнить коррекцию связей согласно (2) или (3)
4. Повторять [1-3] для каждого входного вектора
4. Пример (экспериментальные данные)
Существуют многочисленные экспериментальные данные функционирования сетей с латеральным торможением в двухмерном сигнальном пространстве. В одной из моделей сеть состояла из 100 нейронов и матрицы связей M от двух входных нейронов (x1, x0). Обучение сети выполнялось по вышеописанному алгоритму и проиллюстрировано на рис.3. Здесь каждая точка изображает значения весов связей, каждая линия соединяет топологически ближайшие нейроны.
Функционирование карты Кохонена в двумерном пространстве
Рис. 3
Вначале веса связей выбраны произвольно внутри круга в середине сигнального пространства. После обучения получено равномерное и непрерывное отображение входного пространства на 2-мерную карту признаков.
