rbf神经网络介绍_mlp神经网络[通俗易懂]

一、 背景知识

1988年，Broomhead、Lowe以及Moody和Darken最早将径向基函数用于神经网络设计。径向基函数神经网络（Radial Basis Function Neural Network，RBF神经网络）是一类常用的三层前馈网络，既可用于函数逼近，也可用于模式分类。与其他类型的人工神经网络相比，RBF网络有生理学基础，结构简单，学习速度快，优良的逼近性能和泛化能力等特点。

简单说明一下为什么RBF网络收敛得比较快。当网络中的一个或多个可调参数（权值或阈值）对任何一个输出都有影响时，这样的网络称为全局逼近网络。由于对于每次输入，网络上的权值都要调整，从而导致全局逼近网络的学习速度很慢。BP神经网络就是一个典型的例子。常见的局部逼近网络有RBF网络、CMAC网络、B样条网络。

二、什么是径向基函数

径向基函数是一个取值仅仅依赖于离原点距离的实值函数（RBF）方法。也就是$\Phi (x,c)=\Phi (||x-c||)$。任意一个满足$\Phi (x)=\Phi (||x||)$特性的函数$\Phi$都叫做径向基函数，标准的一般使用欧式距离（也叫做欧式径向基函数）。最常用的径向基函数是高斯核函数，形式为$k(||x-x_c||)=e^{\frac{-||x-x_c|{|}^2}{2{\sigma }^2}}$。其中$x_c$为核函数中心，$\sigma$为函数的宽度参数，控制了函数的径向作用范围。

重要的径向基函数主要有如下三种：

1. Gauss（高斯）函数
   $\phi (r)=e^{-\frac{r^2}{2{\sigma }^2}}$
2. 反常S型函数
   $\phi (r)=\frac{1}{1+e^{\frac{r^2}{{\sigma }^2}}}$
3. 拟多二次函数
   $\phi (r)=\frac{1}{(r^2+c^2{)}^{1/2}}$

三、什么是RBF神经网络

RBF神经网络是一种三层神经网络，包括输入层、隐层、输出层。从输入空间到隐层空间的变换是非线性的，而从隐层空间到输出层空间的变换是线性的。
RBF神经网络解决插值问题
完全内插法要求插值函数经过每个样本点，即$F(X^n)=d^n$。样本点总共有k个。
RBF的方法是要选择k个基函数，每个基函数对应一个训练数据，各基函数形式为$\phi (||X-X^k||)$，由于距离是径向同性的，因此称为径向基函数。$||X-X^k||$表示差向量的模，或者叫2范数。
基于径向基函数的插值函数为：
$$F(x)=\sum _{k=1}^n{w}_k{\phi }_k(||X-X^k||)=w_1{\phi }_1(||X-X^1||)+\cdots +w_n{\phi }_n(||X-X^n||)$$

输入X是个m维的向量，隐层大小为n，n>m。

其中，隐含层的作用是把向量从低维度m映射到高维度n，这样低维度线性不可分的情况到高维度就变得线性可分了，实际上是核函数的思想。

将插值条件代入：
$$\{\begin{array}{c}{w}_1{\phi }_1(||X^1-X^1||)+w_2{\phi }_2(||X^1-X^2||)+\cdots +w_p{\phi }_p(X^1-X^p)=d^1\\ w_1{\phi }_1(||X^2-X^1||)+w_2{\phi }_2(||X^2-X^2||)+\cdots +w_p{\phi }_p(X^2-X^p)=d^2\\ ⋮\\ w_1{\phi }_1(||X^p-X^1||)+w_2{\phi }_2(||X^p-X^2||)+\cdots +w_p{\phi }_p(X^p-X^p)=d^p\end{array}$$

写成向量的形式为$\Phi W=d$，当$\Phi$可逆时，有$W={\Phi }^{-1}d$

径向基函数神经网络的激活函数：
$$R(x_m-c_i)=e^{\frac{-||x_m-c_i|{|}^2}{2{\sigma }^2}}$$
其中$x_m$通过RBF神经网络可得到网络的输出为：
$$y_j=\sum _{i=1}^h{w}_{ij}{e}^{-}\frac{||x_p-c_i|{|}^2}{2{\sigma }^2}j=1,2,...,n$$

采用最小二乘的损失函数：
$$\sigma =\sum _{j=1}^h||d_j-y_j{c}_i|{|}^2$$

四、高斯核函数怎么映射高维空间

高斯核函数的定义公式如下：
$$k(\text{x},{\text{x}}^{\prime })=e^{-\frac{||\text{x}-{\text{x}}^{\prime }||}{2{\sigma }^2}}$$
这个公式可以化简为：
$$k^{\prime }(\text{x},{\text{x}}^{\prime })=e^{-\frac{\text{x}\cdot {\text{x}}^{\prime }}{{\sigma }^2}}$$
然后通过幂级数进行展开：
$$k^{\prime }(\text{x},{\text{x}}^{\prime })={\sum }_{n=0}^{+\infty }\frac{(\text{x}\cdot {\text{x}}^{\prime }{)}^n}{{\sigma }^{n}n!}$$
可以看出，向量X会生成类似多项式核展开的形式。

五、计算例子

用RBF神经网络实现异或

今天的文章rbf神经网络介绍_mlp神经网络[通俗易懂]分享到此就结束了，感谢您的阅读。