第16章 我们上的是同一所大学么?(2 / 2)
“惯性?哦对啊,惯性!”,这一句话点醒了徐建华,他仿佛被闪电击中,惊呼道。
“你们两个到底在说什么啊?”,林欣然不解,这两个谜语人,说的话仿佛加了密一样,生怕自己听懂吗?
江铭看林欣然还没理解,微笑着继续道:“之前徐老师和我讲了他所理解的梯度下降,我就一直在思考,如何才能让随机梯度下降法不会陷在局部最优的山谷中。”
“就像一个从山顶扔下的篮球,只要有惯性,就能在很大程度上冲过地上一些坑坑洼洼的裂缝和小的山谷,到达更深处。”
原来如此,林欣然恍然大悟,原来打篮球可以提高学术悟性!
难怪最近在蓝星科研圈很火的科研年龄两年半的初级研究员蔡鲲就说自己最爱打篮球。
“当然,还有一些调整,就是我发现我们用来训练的数据也是有污染的,这就导致了优化的目标可能是非平稳的,所以我用二阶矩来微调每个参数的学习率,使得更新策略更精细化。”
对对对,林欣然深表赞同,环保也是非常重要的,有污染是不好的。
↑返回顶部↑