文档章节

超参数搜索——网格搜索和随机搜索

o
 osc_1ee7cxmx
发布于 2018/08/06 16:26
字数 737
阅读 5
收藏 0

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

我们在搜索超参数的时候,如果超参数个数较少(三四个或者更少),那么我们可以采用网格搜素,一种穷尽式的搜索方法。

但是当超参数个数比较多的时候,我们仍然采用网格搜索,那么搜索所需时间将会指数级上升。

比如我们有四个超参数,每个范围都是[10,100],那么我们所需的搜索次数是10*10*10*10=10^4。

如果再增加一个超参数,那么所需的搜索次数是10^5,搜索时间指数级上升。

 

所以很多很多个超参数的情况,假如我们仍然采用网格搜索,那么……gg,算到天荒地老就不一定有结果。

所以出现了这样的做法,网格搜索,但是网格取稀疏一点,比如上面例子中的[10,100],我们就去10,30,50,70,90这几个数,降低一下搜索次数。

这样变快了一点,但是有可能找到的超参数不是全局最小。

 

所以又有人提出了随机搜索的方法,随机在超参数空间中搜索几十几百个点,其中就有可能会有比较小的值。

这种做法比上面稀疏化网格的做法快,而且实验证明,随机搜索法结果比稀疏化网格法稍好。

 

笔者刚刚在寻找资料的时候,还看到了一种做法,批量化随机搜索法。具体做法如下:

假设我们要找25个点,那么我们把这25个分成5个批次,每个批次5个点。

我们做第一个批次的时候,假设超参数范围是[0,100],我们有1个超参数(容易理解),那么我们把这个范围切分为[0,20],[20,40],[40,60],[60,80],[80,100]。

也就是把范围平均切分为5份,我们在每一份之中随机找到一个点,最终可以找到5个点,我们再找到里面的最小点。

接着,在第二个批次之中,我们在找到的最小点附近,再找5个随机点,在这5个随机点之中得到最小点。

接着,在第三个批次之中,重复同样的操作。

这样可以保证我们找到一个局部最小值点,结果可能会比随机搜索稍好一点。

当然,如果随机搜索直接得到更好的局部最小值,甚至全局最小值,那么……只能说你的运气爆表了。

这种批次随机寻找的方法,基本上可以说优于稀疏化网格法,但不一定优于随机搜索法。

 

参考资料:

1、笔者刚刚提到的批次随机搜索法的来源:https://yq.aliyun.com/articles/68266

2、知乎关于这部分知识的一些问答:https://www.zhihu.com/question/57394983

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

未捕获ReferenceError:未定义$? - Uncaught ReferenceError: $ is not defined?

问题: How come this code throws an 此代码如何引发 Uncaught ReferenceError: $ is not defined 未捕获的ReferenceError:未定义$ when it was OK before? 以前什么时候可以? $(document......

javail
18分钟前
12
0
263. Ugly Number

题目: 263. Ugly Number 题目地址:https://leetcode.com/problems/ugly-number/ Write a program to check whether a given number is an ugly number. Ugly numbers are positive numbers......

JiaMing
41分钟前
46
0
HCIA_ARP01

ARP(地址解析协议) eNSP 常用路由器:AR2220 常用交换机:S5700、S3700 常用终端:PC、MCS(主播服务器) 设备连线:Copper(以太网用到的双绞线)、Serial(串口线,2SA接口)、Auto(自动连...

创业789
44分钟前
13
0
如何在Rails 4中使用问题 - How to use concerns in Rails 4

问题: The default Rails 4 project generator now creates the directory "concerns" under controllers and models. 默认的Rails 4项目生成器现在在控制器和模型下创建目录“Concer”。 ......

fyin1314
48分钟前
19
0
【LeetCode】 57 括号生成

题目: 解题思路: https://leetcode-cn.com/problems/generate-parentheses/solution/hui-su-suan-fa-by-liweiwei1419/ 代码: import java.util.ArrayList;import java.util.List;publ......

JaneRoad
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部