04 神经网络基础#

1. 本章定位#

本章是后续感知器、BP、SOM、Hopfield 的基础。重点是人工神经元模型、转移函数、拓扑结构和学习本质。

2. 生物神经元基础#

生物神经元由四部分组成：

1. 细胞体。
2. 树突。
3. 轴突。
4. 突触。

信息处理机制：

• 静息：极化。
• 兴奋：去极化。
• 抑制：超极化。
• 空间整合：同一时刻多个刺激叠加。
• 时间整合：一段时间内输入脉冲累积。

3. 人工神经元建模假设#

课件中的关键假设：

1. 每个神经元是多输入单输出单元。
2. 输入分为兴奋性和抑制性。
3. 神经元具有空间整合特性和阈值特性。
4. 输入输出之间有固定时滞。
5. 忽略时间整合作用和不应期。
6. 神经元本身非时变。

4. 神经元数学模型#

含时延形式：

$$o_j(t)=f\left(\sum_{i=1}^{n}w_{ij}x_i(t-\tau_{ij})-T_j\right)$$

离散简化形式：

$$o_j(t+1)=f\left(\sum_{i=1}^{n}w_{ij}x_i(t)-T_j\right)$$

令 $x_0=-1,w_0=T_j$，可以写成：

$$net_j=\sum_{i=0}^{n}w_{ij}x_i=W_j^TX$$

输出：

$$o_j=f(net_j)=f(W_j^TX)$$

5. 常见转移函数#

阈值型：

$$f(x)= \begin{cases} 1, & x\ge 0\\ 0, & x<0 \end{cases}$$

单极性 Sigmoid：

$$f(x)=\frac{1}{1+e^{-x}}$$

双极性 Sigmoid：

$$f(x)=\frac{1-e^{-x}}{1+e^{-x}}$$

分段线性：

$$f(x)= \begin{cases} 0, & x\le 0\\ cx, & 0<x\le x_c\\ 1, & x>x_c \end{cases}$$

概率型：

$$P(1)=\frac{1}{1+e^{-x/T}}$$

6. 神经网络三大性能要素#

决定网络性能的三大要素：

1. 节点本身的信息处理能力。
2. 节点之间的连接拓扑结构。
3. 节点之间的连接强度，即权值。

7. 网络类型#

按拓扑结构：

1. 层次型结构。
2. 互连型结构。
3. 全互连型结构。
4. 局部互连型结构。

按信息流向：

1. 前馈型网络：输入层到隐层再到输出层。
2. 反馈型网络：节点之间存在反馈，状态与历史有关。

8. 神经网络学习#

学习的本质：

通过样本训练不断改变连接权值和拓扑结构，使网络输出接近期望输出。

一般权值调整形式：

$$\Delta W_j=\eta r[W_j(t),X(t),d_j(t)]X(t)$$ $$W_j(t+1)=W_j(t)+\eta r[W_j(t),X(t),d_j(t)]X(t)$$

学习类型：

1. 有导师学习。
2. 无导师学习。
3. 死记式学习。

9. 本章考点#

必背：

1. 人工神经元模型。
2. 常见转移函数。
3. 神经网络三大性能要素。
4. 前馈网络与反馈网络区别。
5. 学习的本质和学习类型。