。
随口一个推荐,就可能获得一位学界新秀未来几十年的友谊,何乐而不为呢?
「哦?论文题目是什么?」
听到了麦可&183;乔丹的推荐后,大卫&183;史密斯已经拿出了手机,登陆了期刊官网。
「噪声强度对lngev扩散收敛速率的共振效应分析。」
「找到了,竟然在首页?看来很多人看好这项研究?作者是华夏人呢?」
「对。」
——
「好吧,乔丹教授,你认为他的这项研究能在哪些方面为我们提供帮助?」
旁边的rvnl主任亚历克斯&183;布朗问了一句。
「这篇论文的核心是证明了在凸优化背景下,向lngev扩散过程注入特定强度噪声,能显著加速器收敛到最优解的速度。
这超出了目前一般对噪声研究的梯度,也就是简单的噪声有益性研究,而是证明了存在一个最有的共振噪声强度区间。
对于理论学界来说这个结果是有一定颠覆性的。挑战的是噪声总是有害的,需要最小化的这一传统观点。
在这一理论的支持下,如果我们能为新一代的zurel平台优化器库注入智能噪声,能够自动逼近最合适的噪声强度,意味着能大幅度提升模型性能的同时,降低调参成本和训练时间。
而且我们都知道,异步分布式优化中,工作节点参数过时本质上是注入了一种特定的、与系统动态相关的噪声。
如果正如论文中说的那样,这种延时噪声未必总是有害的,那我们可以做的事情就很多了。不管是做算法还是系统,可以尝试让这种延迟的统计性落在有益范围之内。
以达到加速收敛的效果,也就是共振效果!当然这些都需要更深入的理解延迟分布与优化动态的相互作用。
这也是我想邀请这位论文作者加入到我们研究的根本原因。毫无疑问,针对这种理论的研究,作者及其团队已经走在了世界前列。
虽然我暂时还不敢保证这一思路一定奏效,但不管如何这毕竟是未来云计算平台乃至i技术突破瓶颈,向前发展的一个可行性极高的路线。」
麦可&183;乔丹的介绍让对面的两人若有所思。
尤其是大卫&183;史密斯。
「你觉得这个结果主要是通讯作者做出的,还是一作。当然我理解数学论文主要是看一作。但他们的主要工作单位留的似乎是通讯作者单