罗伯特看著论文第三部分的实验参数,稍稍沉吟了一下。

“按照论文里的设定,向其中40个节点注入隨机网络延迟。延迟范围设置在100毫秒到500毫秒之间,模擬极端恶劣的陈旧梯度环境。”

“明白。”

很快,两个博士后开始迅速按照论文之中的实验流程进行操作。

罗伯特將论文附件中提供的那段核心c++架构代码提取出来,亲自进行编译。

代码非常简洁,没有一行多余的冗余注释。

“这种代码风格……简直像是一台精密的机器写出来的。”罗伯特一边检查代码,一边在心里暗自惊嘆。

十分钟后,编译通过,没有报错。

“模型部署完毕。数据集使用標准的imagenet子集。”

戴维匯报导。

“开始运行测试程序。叠代周期设定为10000个epoch。”罗伯特下达了指令。

回车键敲下。

主控台屏幕上,黑色的终端窗口瞬间开始输出运行日誌。

三个人站在屏幕前,眼睛地盯著不断刷新的数据行。

隨著算力的持续满载输出,实验室里的空调系统自动加大了製冷功率。

二十分钟后。

终端日誌的滚动停止。一万次叠代周期全部跑完。

罗伯特亲自移动滑鼠,输入指令,调出了最终的训练loss收敛曲线。

曲线图页面跳出来。

整个曲线的形態,和论文中给出的实验数据图表情况几乎完全一致。

戴维和迈克两个博士后面面相覷,都能看到对方眼中的震惊。

困扰了他们实验室整整一年的异步网络收敛发散问题,就这样被乾净利落地解决了。

罗伯特教授站在屏幕前,看著那条红色的收敛曲线。

他推了推眼镜,深深吸了一口气,然后缓缓吐出来。

“没有任何造假。数学推导完美,工程代码落地完美。”

罗伯特的声音在机房里响起。

“这项技术一旦开源,未来五年內的大规模模型训练框架,都要在它的基础上进行重写。”

罗伯特转身回到自己的办公桌前。

他打开nips的內部审稿系统,找到赵阳那篇论文。

在最终的审稿意见栏里,他没有写长篇大论的评价。对於这种奠基级別的论文,任何修改意见都是多余的。

他直接勾选了最高级別的评价选项。

【strong accept】(强烈建议接收)

並在补充说明里敲下了一行字。

本章未完,点击下一页继续阅读。

其他类型小说相关阅读More+