на главную ] 

Классификатор на основе RBF.

Евгений Борисов

четверг, 26 декабря 2013 г.


В этой статье описывается классификатор на основе математической модели, которая носит название сеть радиальных базисных функций (RBF).

1 Сеть радиальных базисных функций

Сеть радиальных базисных функций, RBF или гауссова смесь это один из вариантов байесовского классификатора.

a (x ) = argmax  λyPypy(x ) y∈Y
(1)

где y Y - номер класса, λy – потеря при ошибочной классификации для класса y, Py – априорная вероятность класса y (определяется долей объектов xy класса y в общем наборе X), py(x) – плотность распределения xy из класса y.

Здесь плотность распределения py(x) определяется как смесь многомерный нормальных (гауссовских) плотностей.


Рис.1: нейронная сеть RBF

       ∑k
p(x) =    w  φ(x; 𝜃)
            j      j
       j=1

где k - количество компонент смеси, wj - весовой коэффициент (априорная вероятность компоненты), φ(x; 𝜃j) - нормальная плотность.

                           (  1       T  −1       )
                       exp--−-2(∘x-−-μ)-Σ---(x-−-μ)--
φ (x;𝜃) = N (x;μ,Σ ) =           (2π)n detΣ

здесь μ - мат.ожидание (центр) X, Σ матрица ковариаций X .

RBF можно представить в виде нейронной сети (рис.1).

Рассмотрим набор однотипных учебных множеств

X  = {X1, X2  ...,Xd}
Для обучения RBF необходимо задать константы λ и Pi = |Xi| / |X| . а также построить смеси распределений p(x) для каждого учебного множества Xi. Для решения последней задачи можно использовать последовательный EM-алгоритм .

2 Реализация

В этом разделе мы рассмотрим реализации классификатора на основе RBF для точек на плоскости (n = 2)

На рисунках ниже проиллюстрирована результаты работы RBF-классификатора.

 

Рис.2: учебный набор Рис.3: тест

 
 
Рис.4: результат работы RBF  

 
 

На рисунках ниже проиллюстрирована работа ЕМ-алгоритма, который восстанавливает смесь плотностей.


 
Рис.5: результат ЕМ для первого класса Рис.6: результат ЕМ для второго класса

 
 
Рис.7: результат ЕМ для третьего класса  

 
 

Реализация в системе Octave здесь  ].

 
 

Список литературы

[1]    Воронцов К.В. Статистические методы классификации – http://shad.yandex.ru/lectures/machine_learning.xml

[2]    GNU Octave – http://www.gnu.org/software/octave/

Яндекс.Метрика
TOP.zp.ua PR-CY.ru
При использовании материалов этого сайта, пожалуйста вставляйте в свой текст ссылку на мою статью.