优化器就是在得知Loss之后，该以何等方法调整参数，向更低的Loss前进。 随机选择训练集中的样本来进行学习。 \tilde{a} f(x) = \int_{-\infty}^\infty\hat f(\xi)\,e^{2 \pi i \xi x}\,d\xi

我们在深度学习时，不可避免的会面临超参数的调节工作，如何设置这些超参数就成为了问题，绝大多数时间需要根据经验进行调节。这里我放出我的经验，以供参考。 学习率是一个很重要的超参数，非常敏感，稍微调整一下就可能有不同的效果，刚开始训练的时候，我们希望可以移动步幅大一些，可以尽快到达一些更低的地点，而随着训练不断进行，