返回

第一百九十一章 分成两段的人生

首页
关灯
护眼
字:
上一页 回目录 下一章 进书架


    江松然在脑子里把这个名字过了一遍,没什麽印象。

    他本来想直接划走。

    非CUDA适配这种东西arXiv上一搜一大把,大多是国产晶片厂出钱让自家工程师挂名做的样子工程,没什麽真东西。

    但他还是点开了。

    因为是单作者。

    非CUDA适配这种活儿,正常挂名至少四五个:硬体厂的人挂、软体团队挂、算法挂、做评测的挂。

    单作者意味着两种可能,要麽是没团队,要麽是作者把所有人都压下去了,只给自己署名。

    这两种可能都挺有意思的,值得看看这篇论文。

    PDF加载出来。

    摘要的第一句话是:

    「本文报告了一款国产的非CUDA加速器上内存高效注意力机制的端到端实现:在单节点8卡配置下,吞吐达到对应cuDNN参考实现的83%,数值误差在2.3e-6以内。」

    江松然把屏幕字体调大一点,接着往下翻。

    背景写得简洁,没注水。

    实现那一节贴了具体的优化方法和代码片段,不是泛泛而谈。

    评估那一节有完整的对照、不同上下文长度下的吞吐曲线、还把每一项优化的贡献单独拆出来量化。这些是做评估的人最容易偷懒的几个地方,他都没偷懒。

    最让江松然多看了两遍的,还是局限性那一节。

    作者自己写道:「本工作只完成了单算子(SDPA),没涉及LayerNorm、Softmax、各类Optimizer等数十个其他算子;没涉及多卡通信库;也没涉及训练场景下的反向传播与混合精度,不构成一套可用的训练栈。」

    非常诚实,不像是来刷脸的。

    他又翻上去,看了一下团队,Source Intelligence AI。

    是个没听过的公司。

    江松然往後靠在摺叠椅上,把眼睛揉了揉。

    国内居然还真有人在做这种事。

    这种吃力不讨好的事。

    做出来发不了顶会,打不响知名度,也融不到资金,做的时候也没人知道你在做什麽、做的有多难。

    最关键是,因为其他的配套都没有,单做一个出来也是真没什麽用。

    这种活儿他熟,谷歌TPU团队的前两年就是这麽熬出来的。

    只不过谷歌当年有几百个工程师。

    8张卡,一个算子。

    江松然在心里量了一下,从这里到「能跑一个能用的训练系统」中间还差什麽。

    剩下的几十上百个算子,多卡通信库,分布式训练框架,编译器,容错和检查点。

    每一项,都是三五十人的工程团队、两到三年的活儿。

    他在矽谷那家公司就做这套东西,做了五年。

    如果国内真能有几百个团队,都像这一个一样,安静地做这种没人鼓掌的事。

    那国产化也未必没有可能。

    可惜,没有几百个这样的团队。

    正想着,母亲从外面进来了,一进来就开始唠叨。

    「松然,累坏了吧,快回去睡会,你在医院陪床的时候也得注意休息,别你爸还没醒过来,自己就先病倒了……」

    江松然也确实是累坏了。

    他和母亲交代了几句,稍微收拾了一下,拿上电脑,走出了病房。

    一路走到住院部一楼,他看到一个瘦高帅气的年轻人站在大门的位置,背着一个双肩包,好像在找人。

    江松然正看着,正好那个年轻人也看了过来,好像看到了他,冲他笑着点了下头,向他走来。

    那人的眼神亮的惊人。

    江松然不确定他是不是冲着自己来的,也回应了一个点头。
上一页 回目录 下一章 存书签