第158章 《一种用於超大规模神经网络训练的新型异步分布式框架》
按下笔记本电脑的开机键。
在今天下午高强度的信息学文献阅读中,结合他目前lv4的信息学等级,加上这些天信息学的知识储备。
还有对未来趋势的足够了解,这让赵阳的脑海中有了灵感。
要將信息学提升到lv5,单纯看书已经不够了。
他需要实际的產出,需要发表一两篇足够分量的论文,以此来获取系统判定的大额经验值。
2009年的计算机科学界,深度学习还处於起步的萌芽阶段。
硬体算力有限,分布式计算的框架粗糙且缺乏效率,这导致了神经网络的层数一旦加深,就会面临严重的梯度消失或梯度爆炸问题,且训练时间呈指数级增长。
赵阳的灵感,正是切中这个时代的痛点。
论文標题:《一种用於超大规模神经网络训练的新型异步分布式框架》。
手指放在键盘上,几乎没有停顿。
“摘要:隨著数据集规模的扩大,传统的同步梯度下降算法在分布式集群中面临著严重的通信瓶颈……”
173超高智商的赵阳,配合上超凡心算被动技能,他的大脑就如同一个精密的逻辑编译器。
不需要在草稿纸上画架构图,整个异步通信的拓扑结构、节点间的数据握手协议、以及用来消除延迟误差的参数伺服器核心算法公式,全部清晰地存放在他的记忆皮层里。
键盘的敲击声在安静的宿舍里密集地响起,如同连绵不绝的雨点。
接下来的几天时间,赵阳彻底进入了闭关状態。
除了每天早上雷打不动的四小时深度睡眠和十公里晨跑外,他几乎没有离开过那把椅子。
吃饭大部分是李天琦他们带回来的,因为消耗比较大,赵阳吃的是两人份,甚至是三人份,实在饿了就嚼两根士力架。
宿舍里的舍友们敏锐地察觉到了赵阳的状態。李天琦甚至连打游戏都不敢大声了,王冕打电话也自觉跑到走廊尽头的楼梯口去接。
三个舍友在宿舍里,几乎时刻都保持著安静。
他们都清楚,阳哥这是在做大事,他们可不能给赵阳拖后腿!
他们虽然不知道赵阳在写什么,但屏幕上那些密密麻麻他们完全看不懂的代码和数学模型,直接让他们反应过来,阳哥肯定又在做什么了不得的课题。
就在赵阳在宿舍里疯狂推进信息学论文的这几天里。
大洋彼岸的普林斯顿大学,《数学年刊》编辑部,完成了最后一道排版工序。
通常情况下,一篇顶级数学期刊的论文从录用到正式发表,需要排队等候几个月甚至一年半载。
但这次不同,主编查理·费弗曼在德利涅教授的强烈建议下,直接抽调了本期原定的一篇长文,为这篇128页的巨著腾出了版面,並將其作为当期的封面文章
本章未完,点击下一页继续阅读。