阅读记录
第一千零五章 效率就是一切
一秒记住【882小说网】 882xsw.com，更新快，无弹窗！
中期评审定在周三下午。
会议室不大，长条桌围了十几个人。
墙上挂着投影幕布，幕布上打着各组的进度表。
李副研究员坐在长桌一端，面前摊着评审表。
他旁边坐了一个生面孔。
三十多岁，穿深色衬衫，袖口卷到小臂。
没打领带，但坐姿很直。
头发梳得利落，手上戴一块素面的金属表。
他听汇报的时候不翻材料，也不记笔记，就盯着屏幕看，偶尔点一下头。
李副研究员介绍了一句：“这位是赵博士。刚从硅谷回来，负责下一阶段的架构评审。”
赵博士没起身，只朝大家点了点头。
各组轮流汇报。
第三组的小赵先讲，内容是关于多模态对齐的优化方案。
赵博士听完，问了一个问题。
“对齐模块现在跑一轮要多久。”
小赵说：“完整训练一轮十二小时。推理一次大概零点八秒。”
“太慢。”
小赵愣了一下，没接上话。
赵博士把目光移向长桌末尾。
陆远坐在那里，面前放着一台笔记本。
“你是跨模态对齐模块的实际开发者？”
“嗯。”
“代码是你写的？”
“一部分。”
“训练十二小时，推理零点八秒。你能压到多少。”
陆远想了想。
“训练六小时。推理零点三秒。”
会议室里有人抬头看他，赵博士看了他两秒。
“怎么压。”
“重构数据加载管线。把I/O瓶颈消掉。再把模型推理路径上的冗余计算合并。尤其是特征融合那一段，现在重复算了三遍。”
赵博士没再问，他转向李副研究员。
“评审继续。”
汇报全部结束后，赵博士站起来。
他走到投影幕布前，把陆远刚才那段汇报调出来，重新翻了一遍。
看完了，他转过身，看着会议室里的所有人。
“跨模态对齐模块，从今天起并入核心组。负责人不变。实际执行人，陆远。”
会议室里安静了一下。
核心组原来的一个成员，姓周，三十出头，资历不浅。他举起手。
“赵博士，陆远是本科生。核心组的工作强度和要求，他可能跟不上。”
赵博士看了他一眼。
“你那个语言模型模块，上一轮训练精度多少。”
“百分之八十九点七。”
“陆远的跨模态模块，精度多少。”
周没说话。
赵博士说：“有本事你也把那个模块做到他的精度。做得到，你也能进。做不到，就按这个定。”
没人再吭声。
散会之后，陆远把工位搬到了核心组那边。
核心组在走廊另一头，独立隔间，六台最新型号的工作站，一台共享存储服务器。
他分到靠墙那台机器，开机的时候，风扇声音比旧机器轻很多。
他坐下之后，先把整个项目的架构图调出来。
从数据输入到特征提取，从模态对齐到决策输出。
一整套流程，十几万行代码。
他一行一行过，过了三天。
越看越清楚。
这个时代没有现成的深度学习框架，很多底层运算都是手写的。
矩阵乘法靠循环堆，卷积靠滑动窗口，效率低得惊人。
可没有人觉得有问题，因为大家都这么写。
他决定重构。
先从数据加载开始。
原来的代码把整批数据一次性读进内存，再一块一块处理。
批量一大，内存就爆。
他把加载改成流式，每次只读当前批次需要的部分，内存占用降了七成。
然后是计算图。
原来的实现里，特征融合那一段反复调用了三次相同的矩阵运算，结果每次都重新算一遍。
他把中间结果缓存起来，只算一次，后面直接查表，推理时间从零点八秒降到零点三秒。
最后是训练循环。
原来的代码每迭代一步就更新一次权重，梯度波动大，收敛慢。
他把梯度累积加进去，每四步更新一次权重，等效批量增大四倍，收敛速度直接上去了。
整个重构花了他将近一个月。
白天调代码，晚上看文献。
周末也不休息，把测试集反复跑。
跑完一轮，记录数据。
再改，再跑。
第二个月初，他把重构后的版本提交到核心组的共享仓库。
跑了一整轮完整训练，训练时间从十二小时降到六小时四十分钟。
推理延迟从零点八秒降到零点二九秒，精度还涨了零点三个百分点。
核心组的人看到结果时，没人说话。
周盯着屏幕上的对比表，看了很久。
然后他站起来，走到陆远工位旁边。
“你那个流式数据加载，能不能给我也用一下。”
“可以。在共享仓库里，你自己拷。”
周点头，走回自己工位，打开仓库开始看代码。
看了一会儿，他回头又看了陆远一眼。
什么也没说，转回去了。
第二周，赵博士来核心组开内部会。
他看了重构前后的对比数据，把表从头翻到尾。
“训练效率提升将近一倍。推理延迟降到原来的三分之一。精度还有提升。”他合上表，看着陆远，“你重构的时候，按什么原则走的。”
陆远说：“先找瓶颈。哪一个环节最慢，就改哪一个。改完了再看下一个。”
“你怎么知道瓶颈在哪。”
“看日志。跑一轮下来，每个模块的耗时都有记录。排在前面的那几个，就是瓶颈。”
赵博士点头。
他站起来，走到白板前，画了一个图，是模型训练的时间分配。
数据加载、前向传播、反向传播、权重更新。
每一块的耗时都被标了出来。
“这个图，核心组所有人都要看。以后每周报进度的时候，先报这个。”他把笔放下，转身看着所有人，“效率就是一切。你精度再高，跑得慢，等于没跑。”
散会之后，林薇来找陆远拷数据。
她在门口站了一会儿，等核心组的人走得差不多了才进来。
“听说赵博士在会上夸你了。”
“没夸。”
“他说你是他见过的最像工程师的工程师。从骨子里懂这东西。”
陆远正盯着屏幕调参数。
他听完，没接话。
只是把右手从键盘上抬起来，看了看自己的手。
掌心有茧。
修电器时留下的，后来考大学，茧退了大半。
但手指根部还有几块硬皮，是常年握螺丝刀和扳手磨出来的。
他把手翻过来，指腹上还有几道浅痕。
当年在矿道里敲键盘，键盘是旧式的机械键盘，键帽硬，敲久了指尖会留下印子。
后来用灵械键盘，光感应的，不留痕。
可那些旧茧一直没全消。
“还在。”林薇说。
“什么。”
“你手上的茧。”
陆远把手放下。
“在。退不掉了。”
林薇没再问。
她拷完数据，抱着硬盘走了，走到门口回头看了他一眼。
陆远低下头，继续调代码。
屏幕上的训练曲线在跑，比一个月前快了一倍。
可他知道，这才刚开始。
模型还在长大。
他得让它长得慢一点，再慢一点。
中期评审定在周三下午。
会议室不大，长条桌围了十几个人。
墙上挂着投影幕布，幕布上打着各组的进度表。
李副研究员坐在长桌一端，面前摊着评审表。
他旁边坐了一个生面孔。
三十多岁，穿深色衬衫，袖口卷到小臂。
没打领带，但坐姿很直。
头发梳得利落，手上戴一块素面的金属表。
他听汇报的时候不翻材料，也不记笔记，就盯着屏幕看，偶尔点一下头。
李副研究员介绍了一句：“这位是赵博士。刚从硅谷回来，负责下一阶段的架构评审。”
赵博士没起身，只朝大家点了点头。
各组轮流汇报。
第三组的小赵先讲，内容是关于多模态对齐的优化方案。
赵博士听完，问了一个问题。
“对齐模块现在跑一轮要多久。”
小赵说：“完整训练一轮十二小时。推理一次大概零点八秒。”
“太慢。”
小赵愣了一下，没接上话。
赵博士把目光移向长桌末尾。
陆远坐在那里，面前放着一台笔记本。
“你是跨模态对齐模块的实际开发者？”
“嗯。”
“代码是你写的？”
“一部分。”
“训练十二小时，推理零点八秒。你能压到多少。”
陆远想了想。
“训练六小时。推理零点三秒。”
会议室里有人抬头看他，赵博士看了他两秒。
“怎么压。”
“重构数据加载管线。把I/O瓶颈消掉。再把模型推理路径上的冗余计算合并。尤其是特征融合那一段，现在重复算了三遍。”
赵博士没再问，他转向李副研究员。
“评审继续。”
汇报全部结束后，赵博士站起来。
他走到投影幕布前，把陆远刚才那段汇报调出来，重新翻了一遍。
看完了，他转过身，看着会议室里的所有人。
“跨模态对齐模块，从今天起并入核心组。负责人不变。实际执行人，陆远。”
会议室里安静了一下。
核心组原来的一个成员，姓周，三十出头，资历不浅。他举起手。
“赵博士，陆远是本科生。核心组的工作强度和要求，他可能跟不上。”
赵博士看了他一眼。
“你那个语言模型模块，上一轮训练精度多少。”
“百分之八十九点七。”
“陆远的跨模态模块，精度多少。”
周没说话。
赵博士说：“有本事你也把那个模块做到他的精度。做得到，你也能进。做不到，就按这个定。”
没人再吭声。
散会之后，陆远把工位搬到了核心组那边。
核心组在走廊另一头，独立隔间，六台最新型号的工作站，一台共享存储服务器。
他分到靠墙那台机器，开机的时候，风扇声音比旧机器轻很多。
他坐下之后，先把整个项目的架构图调出来。
从数据输入到特征提取，从模态对齐到决策输出。
一整套流程，十几万行代码。
他一行一行过，过了三天。
越看越清楚。
这个时代没有现成的深度学习框架，很多底层运算都是手写的。
矩阵乘法靠循环堆，卷积靠滑动窗口，效率低得惊人。
可没有人觉得有问题，因为大家都这么写。
他决定重构。
先从数据加载开始。
原来的代码把整批数据一次性读进内存，再一块一块处理。
批量一大，内存就爆。
他把加载改成流式，每次只读当前批次需要的部分，内存占用降了七成。
然后是计算图。
原来的实现里，特征融合那一段反复调用了三次相同的矩阵运算，结果每次都重新算一遍。
他把中间结果缓存起来，只算一次，后面直接查表，推理时间从零点八秒降到零点三秒。
最后是训练循环。
原来的代码每迭代一步就更新一次权重，梯度波动大，收敛慢。
他把梯度累积加进去，每四步更新一次权重，等效批量增大四倍，收敛速度直接上去了。
整个重构花了他将近一个月。
白天调代码，晚上看文献。
周末也不休息，把测试集反复跑。
跑完一轮，记录数据。
再改，再跑。
第二个月初，他把重构后的版本提交到核心组的共享仓库。
跑了一整轮完整训练，训练时间从十二小时降到六小时四十分钟。
推理延迟从零点八秒降到零点二九秒，精度还涨了零点三个百分点。
核心组的人看到结果时，没人说话。
周盯着屏幕上的对比表，看了很久。
然后他站起来，走到陆远工位旁边。
“你那个流式数据加载，能不能给我也用一下。”
“可以。在共享仓库里，你自己拷。”
周点头，走回自己工位，打开仓库开始看代码。
看了一会儿，他回头又看了陆远一眼。
什么也没说，转回去了。
第二周，赵博士来核心组开内部会。
他看了重构前后的对比数据，把表从头翻到尾。
“训练效率提升将近一倍。推理延迟降到原来的三分之一。精度还有提升。”他合上表，看着陆远，“你重构的时候，按什么原则走的。”
陆远说：“先找瓶颈。哪一个环节最慢，就改哪一个。改完了再看下一个。”
“你怎么知道瓶颈在哪。”
“看日志。跑一轮下来，每个模块的耗时都有记录。排在前面的那几个，就是瓶颈。”
赵博士点头。
他站起来，走到白板前，画了一个图，是模型训练的时间分配。
数据加载、前向传播、反向传播、权重更新。
每一块的耗时都被标了出来。
“这个图，核心组所有人都要看。以后每周报进度的时候，先报这个。”他把笔放下，转身看着所有人，“效率就是一切。你精度再高，跑得慢，等于没跑。”
散会之后，林薇来找陆远拷数据。
她在门口站了一会儿，等核心组的人走得差不多了才进来。
“听说赵博士在会上夸你了。”
“没夸。”
“他说你是他见过的最像工程师的工程师。从骨子里懂这东西。”
陆远正盯着屏幕调参数。
他听完，没接话。
只是把右手从键盘上抬起来，看了看自己的手。
掌心有茧。
修电器时留下的，后来考大学，茧退了大半。
但手指根部还有几块硬皮，是常年握螺丝刀和扳手磨出来的。
他把手翻过来，指腹上还有几道浅痕。
当年在矿道里敲键盘，键盘是旧式的机械键盘，键帽硬，敲久了指尖会留下印子。
后来用灵械键盘，光感应的，不留痕。
可那些旧茧一直没全消。
“还在。”林薇说。
“什么。”
“你手上的茧。”
陆远把手放下。
“在。退不掉了。”
林薇没再问。
她拷完数据，抱着硬盘走了，走到门口回头看了他一眼。
陆远低下头，继续调代码。
屏幕上的训练曲线在跑，比一个月前快了一倍。
可他知道，这才刚开始。
模型还在长大。
他得让它长得慢一点，再慢一点。