损失还很高但是模型不收敛了怎么办?

陷入局部最优? sgd:调大学习率换用adam等优化方法递进学习->1000->10000->80000调小batch:(A.全部数据作为一个batch和 B.每个采样作为一个

陷入局部最优?

  • sgd:调大学习率
  • 换用adam等优化方法
  • 递进学习->1000->10000->80000
  • 调小batch:(A.全部数据作为一个batch和 B.每个采样作为一个batch)一般用的时候,在非监督训练阶段,可以先用B方法创建初始模型,
    然后在监督训练阶段,选择小batch size进行初步训练,让模型跳出局部极值,之后用大的batch size让模型收敛,这样一般能达到比较好的效果
    来源: http://www.fx114/qa-10-166186.aspx

发布者:admin,转转请注明出处:http://www.yc00.com/web/1743863886a4520206.html

相关推荐

发表回复

评论列表(0条)

  • 暂无评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信