大家好,我是 XXX。

实际上刚拿到这份复试通知的时候,我挺懵的,出于平时认定自己该预备的“自我介绍”无非就是简历念一遍、绩点念两句,结局人家问得如此具体:咱们小组的算法工程到底用了啥框架?你们那个 SOTA 模型在代码层面做了啥创新?还有那个开源项目标部署难点,你们踩过啥坑? 说实话,我一启动站在门口,手有点抖。

后来耐着性子听完了面试官的提问,我才明白,保研面试压根儿不是别有用功的 HR 筛选,也不是考我能不能背住 BS 和 CFA 的定义,它更像是一场针对我们这群“准博士候选人”的预演。他们想看的是,你平时是不是确实把那些代码写烂了,是不是确实去干过那些没做完的项目。 大量人说,写自我介绍就是自我介绍。我认定吧,真正的自我介绍,实际上是“我为啥适合”。

要是我是那个被系统推送过来的,我认定选我是出于我想学,是出于我读博的目标挺明确,不是为了混日子,也不是为了找个对象来交个讦,纯粹就是想在计算机领域里弄点事。

故此我预备得挺充分的,但我不是那种看到题目就立马就能拿分的人,那种人为了拿分,我都不屑于去学。 我实际上不忒精通那种条条框框式的汇报。在小组项目标中期复盘会上,导师让我讲技术选型,我说:“那个架构实际上挺乱的,一启动我们当作这样能优化,结局发现维护成本忒高,最终还是拍板改回原来的方案。”那时候我认定自己挺没担当的,后来人家问“那你到底改回去了干嘛”,我说“出于新的方案别看听起来像优化,但实际效果差了 20%”。

这话听起来挺“糙”,但我就是在说事实。

这种不完美,恰恰是真,也是珍贵的。 说到数据,我们小组那个追踪任务,我们跑到了 3000 个样本,复现了 85% 的 SOTA 成绩,并且比他们的模型快了 15% 的推理工夫。

这些数据挺唬人的,但说实话,最让我佩服的是我们团队面对大模型eval 时的表现。出于那个任务依托于一个 7 亿参数的大模型,我们没法从头改。

故此我们的策略是“用开源大模型 + 指令微调”。具体来说,我们针对指令微调这一局部,专门做了一个蒸馏层,把那个 7 亿参数的模型压缩到了 10 亿参数,与此同时保留了关键的 Attention 机制。

为啥如此改?出于训练周期忒长,每天跑一个 7 亿参数的模型,大约要两周工夫。我们直接把参数迁移到了一个 10 亿参数的模型上,然后只训练那个蒸馏层,结局在 24 小时内跑出了 1 轮评测。

这效率的提升,比单纯压缩参数要大得多。 自然,技术压根儿不是万能的,特别在多模态处理这块,我们遇到了个不小的费事。我们在处理一张图加一段视频的时候,发现那个模型间或会生成毛病的工夫戳,害得视频和图对不上。

这个难题搞到后期,我们团队里有个师兄连续发了 3 天状态。我本来想直接说“老师,我们不中,这个方向走不通”,但想了想,还是拍板不去挑战那些我不懂的东西。 后来我查资料,发现这是出于那个大模型的 Prompt 风格在视频上下文捕捉上忒敏感了。我便拉了老师一块儿,先让他把 Prompt 里的工夫戳逻辑改成硬编码映射。刚启动我有点慌,怕我改错了,后面他又问:“那你试一下用那个新 Prompt 版本,看看能不能少损失。”我一启动不敢动那个层,怕会影响推理速度。

后来我壮着胆子,把那个 Prompt 略微调整了一下,加上了一些正则表达式来过滤那些不合理的时长。结局,毛病率从 3% 降到了 0.8%,与此同时推理速度还提升了 2%。

那一刻我认定,有时候不是技术不中,而是我们不知道该如何用现有的技术去解决新难题。 实际上在这个过程中,我也发现了一些难题。

比如我们在做特征取时,发现那个 Embedding 向量有时候会丢失少量的语义信息,害得下游任务准率波动。

起初我当作是数据的难题,后来发现是出于模型在长序列里的梯度消亡。我便加了一些残差连接,把前序层的输出再透一遍进来,损失降了 0.5 个百分点。别看目前还没完美,但起码有了方向。

这些琐碎的难题,在论文里是不可能体现的,但在保研路上,这些“碎事”往往比大道理更有价值。 我最近也在看一些开源项目,特别是那个基于 YOLOv8 的行人检测改进版。

本来盘算做实验,结局出于某个函数的引用毛病,差点把项目搞砸。

这次经历让我明白,代码写得再漂亮,要是逻辑不通,也是废铁。

故此我在看代码的时候,习惯把每一行都“咬”一下,看看它的意图。 最终,我也得说说我对未来的规划。我不指望自己能立马成为一个大牛,但我希望能在这个交叉学科的方向上,把那些“碎事”一个个啃下来。出于我知道,真正的科研不是坐在电脑前敲代码直到天亮,而是在深夜里一次次修改 Prompt,一次次排查 bug,就连是在和导师争论一个实验设计的时候,你也得有点“懂行”的节奏感。 故此,要是能有幸进入复试,我贼希望能有机会请教一下各位老师,我想听听,在你们团队里,啥样的项目是认定“务必要做”的?啥样的技术瓶颈是你认定“务必攻克”的?我也想听听大家在这个方向上的一些建议,或许我还能做点拙劣但有益的工作。 以上是我的自述,可能还有大量地方得罪人,就连显得有点“土”,但我就是喜爱这种真的声音。谢谢大家。