keras 学习率设置「建议收藏」

keras 学习率设置「建议收藏」转载自https://blog.csdn.net/zzc15806/article/details/79711114Keras提供两种学习率适应方法,可通过回调函数实现。1.LearningRateSchedulerkeras.callbacks.LearningRateScheduler(schedule)该回调函数是学习率调度器.参数   schedule:函数,该函数…

大家好,又见面了,我是你们的朋友全栈君。

转载自https://blog.csdn.net/zzc15806/article/details/79711114

Keras提供两种学习率适应方法,可通过回调函数实现。
1. LearningRateScheduler

keras.callbacks.LearningRateScheduler(schedule)

该回调函数是学习率调度器.
参数

    schedule:函数,该函数以epoch号为参数(从0算起的整数),返回一个新学习率(浮点数)

代码

   

import keras.backend as K
    from keras.callbacks import LearningRateScheduler
     
    def scheduler(epoch):
        # 每隔100个epoch,学习率减小为原来的1/10
        if epoch % 100 == 0 and epoch != 0:
            lr = K.get_value(model.optimizer.lr)
            K.set_value(model.optimizer.lr, lr * 0.1)
            print("lr changed to {}".format(lr * 0.1))
        return K.get_value(model.optimizer.lr)
     
    reduce_lr = LearningRateScheduler(scheduler)
    model.fit(train_x, train_y, batch_size=32, epochs=5, callbacks=[reduce_lr])

2. ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor=’val_loss’, factor=0.1, patience=10, verbose=0, mode=’auto’, epsilon=0.0001, cooldown=0, min_lr=0)

当评价指标不在提升时,减少学习率

当学习停滞时,减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况,如果在patience个epoch中看不到模型性能提升,则减少学习率
参数

    monitor:被监测的量
    factor:每次减少学习率的因子,学习率将以lr = lr*factor的形式被减少
    patience:当patience个epoch过去而模型性能不提升时,学习率减少的动作会被触发
    mode:‘auto’,‘min’,‘max’之一,在min模式下,如果检测值触发学习率减少。在max模式下,当检测值不再上升则触发学习率减少。
    epsilon:阈值,用来确定是否进入检测值的“平原区”
    cooldown:学习率减少后,会经过cooldown个epoch才重新进行正常操作
    min_lr:学习率的下限

 代码

    from keras.callbacks import ReduceLROnPlateau
    reduce_lr = ReduceLROnPlateau(monitor='val_loss', patience=10, mode='auto')
    model.fit(train_x, train_y, batch_size=32, epochs=5, validation_split=0.1, callbacks=[reduce_lr])

———————
作者:z小白
来源:CSDN
原文:https://blog.csdn.net/zzc15806/article/details/79711114
版权声明:本文为博主原创文章,转载请附上博文链接!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/142715.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 高手入门STM32总结+学习步骤

    高手入门STM32总结+学习步骤一、入门总结1.1为什么要把时间花在“犹豫”上?每当我们在入门之前(ARM是这样,DSP也一样),总会有很多疑问,会有很多顾虑。我们渴望知道学习STM32前景如何?需要啥基础?难不难?适不适合我?但是什么时候能心潮澎湃地、相当着急地开始学STM32?日子在一天一天过去!你开始行动了吗?没有行动的思索,永远都不可能入门!把这些时间用来看书吧,效果能好一万倍。大家可能是从51单片机过来的,回想一…

  • Java中的队列[通俗易懂]

    Java中的队列[通俗易懂]目录参考Deque从初学者的角度,认真地学习Java中队列的使用和设计。参考javadocDeque一个支持两端插入和删除的线性集合,此接口支持容量受限和不受限的双端队列(大多数实现容量不受限)。该接口定义了访问两端元素的方法,主要是插入、删除、检查元素方法。这些方法主要有两种形式,一种在操作失败时引发异常,一种在操作失败时返回特殊值(null或者false)。这里着重提一下插入操作,只有当队列容量受限时,插入操作才可能失败。12个方法如下该接口扩展了Queue接口。当双端队列

  • 解决mac连接不上星巴克wifi的问题

    解决mac连接不上星巴克wifi的问题在星巴克写我的第一篇博客,结果mbp连wifi的时候遇到无法跳转到星巴克wifi页的问题,搞了一会儿发现一个好办法。。。正好试写一下mbp(macbookpro)如何连上星巴克的wifi来练个手~问题描述wifi显示连接,chrome浏览器随便打开一个网页却无法跳转,并显示未连接到互联网safari浏览器显示有跳转,但是网页并不能加载出来解决方案1连接上星巴克wifi2打开sa…

  • C语言学习——预处理命名「建议收藏」

    C语言学习——预处理命名「建议收藏」一、宏定义编译:对源程序进行词法、语法分析,生成代码,优化等。作用:在编译之前,对源程序中的特殊命令做一些处理,生成扩展C源程序种类:宏定义 #define文件包含 #include条件编译 #if #else #endif等格式:“#”开头占单独书写行语句尾不加分号2)C语言允许宏带有参数。在宏定义中的参数称为“形式参数”,在宏调用中的…

  • FPN(feature pyramid networks)算法讲解「建议收藏」

    FPN(feature pyramid networks)算法讲解「建议收藏」这篇论文是CVPR2017年的文章,采用特征金字塔做目标检测,有许多亮点,特来分享。论文:featurepyramidnetworksforobjectdetection论文链接:https://arxiv.org/abs/1612.03144论文概述:作者提出的多尺度的objectdetection算法:FPN(featurepyramidnetworks)。原来多数的

  • MODIS数据wget下载[通俗易懂]

    MODIS数据wget下载[通俗易懂]运行/cmdwget.exe放在E:\DATA\MODIS\MCD12Q1目录下。wget-erobots=off-m-np-R.html,.tmp-nH–cut-dirs=3“https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/501504344/”–header“Authorization:Bearera2ltaHl1bmpvb25nOmEybHRhSGwxYm1wdmIyNW5NakpBWjIxaGFXd3VZ

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号