CS231n - 神经网络 3
本文详细介绍了神经网络梯度检查的实践技巧，包括使用中心化公式、相对误差比较、双精度浮点数、避免不可导点影响、设置合适步长等，以确保梯度计算的准确性。
CS231n - 神经网络 1
神经网络通过非线性激活函数和多层矩阵运算实现分类，单个神经元可视为线性分类器，常用激活函数如Sigmoid和tanh，但Sigmoid因梯度消失和输出非零中心逐渐被淘汰。
本文详细介绍了神经网络梯度检查的实践技巧，包括使用中心化公式、相对误差比较、双精度浮点数、避免不可导点影响、设置合适步长等，以确保梯度计算的准确性。
神经网络通过非线性激活函数和多层矩阵运算实现分类，单个神经元可视为线性分类器，常用激活函数如Sigmoid和tanh，但Sigmoid因梯度消失和输出非零中心逐渐被淘汰。