手机浏览器扫描二维码访问
437. 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于 FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到 FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16/FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
西风漂流
面冷心热傲娇大小姐受x自卑隐忍忠犬大学霸攻 林瑧读大学的时候同情心泛滥，救了一只被人欺负的可怜小狗，后来小狗为了飞黄腾达甩了林瑧一走了之，林瑧气得好几年都没睡好觉。 没想到小狗竟然还有脸回来，于是重逢的第一天林瑧就给了他一巴掌。 排雷：受傲娇攻内耗，两人性格都有缺陷...
兼职无常后我红了
*活人到阴间当差，称之为“走无常” 兰菏混迹娱乐圈，却因为没背景，一直徘徊在三十八线。 起初知道自己要兼职走无常，吃阴间饭，他是拒绝的，直到发现……怎么在阴间打工还有助阳间走红的？ 兰菏：是我，阴间最黑的流氓，阳间最红的流量。 架空，金手指苏爽文...
金屋里的人鱼夫人
“你只是一条小金鱼，只有在我为你精心打造的玻璃缸里游动起来才美，真到了大海里，你就什么也不是了，懂吗？”锦衣玉食的精心养了她十几年，周明川从来没想过会被自己的挚爱背叛，并且还是为了这么一个荒唐的东西——“自由”。这条鱼，胆子还真是不小啊。泠月敢背叛他，却从未做过承受他怒火的打算。不过很快她就回过神来，继续给他画着大饼，教会他如何在繁杂的世俗里做回本来的自己——她的舔狗。恋爱脑疯批阴郁男主x大美人人鱼女主免费精彩在线：「hos」...
苗疆少年是黑莲花
《苗疆少年是黑莲花》作者：君子生文案：苗疆少年真疯男主x老实人女主贺岁安穿书的当天磕坏了脑袋，无处可去，想跟一名少年走，然后就被他捡回去养了。而捡她回去养的少年来自传说中很神秘的苗疆。其实她不太喜欢他身上的虫蛇。但她谁也不认识，还是选择留在他身边。相处下来，祁不砚觉得贺岁安香，她便给他闻个够；祁不砚不明白男女为何要藏...
混沌道祖
且看莫凡，如何自孱弱凡人始，一步步修炼悟道，晋后天，蜕先天，融本源，参造化，悟大道，得天道，成界主……以至至尊，无上，至高……本书修炼等级：后天三品，先天六品，本源九品，造化十二品，悟道（大道三千），得道（四九），界主十八品（细分：初级界主，中级界主，高级界主，超级界主，巅峰界主，极道界主，大道主，至尊界王，无上界......
广都三十年
广都三十年执笔开云林羽翼一直觉得，自己是个很幸福的小孩。虽然母亲早亡，父亲残疾，家庭贫苦，但父亲和哥哥把所有的爱都给了她。被爱浇灌长大的她，没心没肺、无忧无虑，没有什么远大追求，只想这么平淡快乐地过一辈子。直到后来，父亲病逝，哥哥离奇失踪，数不清的讨债人找上了门。正在读高三的林羽翼：——？这是什么天崩开局？-林羽翼曾经以为，天...