5、神经网络模型基础：权重设置方法与时间处理策略

神经网络模型基础：权重设置方法与时间处理策略

1. 神经网络的更新与输入输出映射

在神经网络中，节点更新有不同的方式。一种是使用方程 (y(t) = \sum_{j}W_{ij}z_{j}(t)) 进行更新，这实际上是简单连续时间模型的离散时间近似，因为数字计算机按时间步操作，这种近似在计算机模拟中是必要的。另一种方式是在每个时间步随机选择节点的顺序，然后依次更新节点，更新后续节点时使用前面节点的更新活动，这种方法模拟了真实神经系统中的非协调动态，被称为异步动态。

神经网络实现的输入 - 输出映射取决于权重的值。很多关于神经网络的工作都涉及设置权重。我们的目标是构建一个能产生 (\mu) 个指定输入 - 输出映射的网络，即 (m(x_{\alpha},W) = d_{\alpha})，其中 (m) 是网络实现的输入 - 输出映射，(W) 表示所有网络权重，(d_{\alpha}) 是输入 (x_{\alpha}) 对应的期望输出模式。

2. 线性网络的权重设置

2.1 单个输入 - 输出映射的权重设置

对于线性感知机，当只有一个输入 - 输出映射时（(\mu = 1) 且 (m(x_1,W) = W\cdot x_1)），满足 (W \cdot x_1 = d_1) 的权重向量可以表示为 (W = c_1x_1)，其中 (c_1 = \frac{d_1}{x_1 \cdot x_1})。如果在 (W) 上加上一个向量 (u) 且 (u\cdot x_1 = 0)，结果不变。所以该任务的一般解为：
(\begin{cases}
W = \frac{d_1}{x_1 \cdot x_1}x_1 + u \