Grid Search 网格搜索 介绍「建议收藏」

Grid Search 网格搜索 介绍「建议收藏」什么是GridSearch网格搜索?网格搜素是一种常用的调参手段,是一种穷举方法。给定一系列超参,然后再所有超参组合中穷举遍历,从所有组合中选出最优的一组超参数,其实就是暴力方法在全部解中找最优解。为什么叫网格搜索,因为假设有两个超参,每个超参都有一组候选参数。这两组候选参数可以两两组合,把所有组合列出来就是一个二维的网格(多个超参两两组合可以看作是岗高维空间的网格),遍历网格中的所有节点,选出最优解。所以叫网格搜索。…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

什么是Grid Search 网格搜索

网格搜素是一种常用的调参手段,是一种穷举方法。给定一系列超参,然后再所有超参组合中穷举遍历,从所有组合中选出最优的一组超参数,其实就是暴力方法在全部解中找最优解。

为什么叫网格搜索,因为假设有两个超参,每个超参都有一组候选参数。这两组候选参数可以两两组合,把所有组合列出来就是一个二维的网格(多个超参两两组合可以看作是岗高维空间的网格),遍历网格中的所有节点,选出最优解。所以叫网格搜索。

Grid Search 网格搜索 介绍「建议收藏」

存在的问题

使用网格搜索会导致,测试集上的表现效果比真实情况要好一些,因为测试集是用来对参数进行调整,参数会最终被调整为在测试集上表现效果最优的情况,而测试集样本量小,真实情况的样本量应该会远大于测试集的情况,所以测试集的样本数据分布情况与真实的样本数据分布情况有所偏差。

解决办法

对数据集多一次划分,模拟真实数据集的情况。将数据集划分为训练集、验证集、测试集。训练集是用于模型训练,验证集用于模型调参,测试集用于衡量调参后模型的好坏。这里有个疑问,如果验证集划分的太小,那么验证集对整体数据集的表现越弱,越具有偶然性,那么调参的结果可能对于整体数据集更差。这里可以引入交叉验证的方法减少偶然性。

Grid Search 网格搜索 介绍「建议收藏」

使用场景

网格搜索可以使用在机器学习算法调参中,而很少使用在深度神经网络的调参中。因为网络搜索其实并没有什么特别的优化方法,就是简单的穷举。这种方法不使用网格搜索手动去穷举也是可以实现的,只不过网格搜索自动化一些,不需要手工的去一个一个尝试参数。本质就是把所有参数的可能都运行了一遍,对于深度神经网络来说,运行一遍需要很长时间,穷举的去调参,效率太低,更何况随着超参数数量的增加,超参组合呈几何增长。而对于机器学习的算法来说,运行时间相对较短,甚至对于朴素贝叶斯这种算法不需要去多次迭代所有样本,训练时间很快,可以使用网格搜索来调参。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/179465.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • webpack(10)webpack-dev-server搭建本地服务器「建议收藏」

    webpack(10)webpack-dev-server搭建本地服务器「建议收藏」前言当我们使用webpack打包时,发现每次更新了一点代码,都需要重新打包,这样很麻烦,我们希望本地能搭建一个服务器,然后写入新的代码能够自动检测出来,这时候就需要用到webpack-dev-ser

  • 使用reaver命令穷举PIN码破解WPA2-PSK加密的无线网络[通俗易懂]

    使用reaver命令穷举PIN码破解WPA2-PSK加密的无线网络[通俗易懂]【前言】现在的路由器大多都默认用WPA2-PSK方式对无线网络进行加密了,不能再像WEP加密方式那样好破解,使用字典又需要费心费力地整理字典,而且字典破解的效率还慢。所以我们需要更有效率的破解方法。好在现在大多数的路由器都提供WPS功能,通过这个功能,用户可以使用PIN码登录到路由器。但这个PIN码的长度只有8位,而且可能的取值只有11000种(注意,不是10…

  • sql嵌套查询和连接查询_sql子查询嵌套规则

    sql嵌套查询和连接查询_sql子查询嵌套规则嵌套查询单值嵌套查询值返回结果是一个值的嵌套查询称为单值嵌套查询对Sales数据库,列出市场部的所有员工的编号USESaleGOSELECTemployee_idFROMemployeeWHEREdepartment_id=(SELECTdepartment_idFROMdepartmentWHEREdepartment_name=’市场部’)语句的执行过程分两个过程,首先在部门…

  • Oracle 恢复数据到某个时间节点

    Oracle 恢复数据到某个时间节点–注意:恢复的时间点与当前时间节点表结构需要一致,truncate的数据无法恢复–1.创建临时表保存该时间节点表的数据createtabletemp_table–临时表asselect*fromT_PM_ParamItem–原表asoftimestampto_timestamp(‘2018-01-1211:11:11’,’yyyy-mm-ddhh24…

  • JS前端去掉emoji表情和Java后台处理emoji表情方法

    莫非定律 : 任何事情都没表面看去来那么简单!emoji表情在项目中使用,因为其特殊的编码格式,经常导致在网络传输、编解码、以及数据入库中带来一些问题!下面简单介绍使用Js和java处理移除emoji表情!Emoji 表情的相关基础内容介绍,请读者自行在网上查找资料!前端JS代码//emojob编码集,因为emoji表情在不断地增加,下面的reg可能在未来会不能满足…

  • html中table表格里的内容如何居中「建议收藏」

    html中table表格里的内容如何居中「建议收藏」1.table表格整个居中<divstyle=”text-align:center;”><tableborder=”1″style=”margin:auto;”width=’60%’>……</table></div>我们在table外围div中加入样式style=”text-align:center;”,会发现table表格居中不生效,原因最后说。所以我们在<tableb…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号