中国的 DeepSeek、Kimi、MiniMax、蚂蚁等多家公司的模型,居然都被测出使用过被禁售的 NVIDIA 最先进的 Blackwell GPU!!
Will Depue 从公开的模型权重中,反推出了模型初始化时使用的 GPU,甚至连随机种子都找出来了。
原理很巧妙:训练大模型之前,需要先给数以亿计的参数赋予随机初始值。这个过程通常由 GPU 执行,使用一个随机种子来生成数字。
关键在于,即使使用相同的随机种子,不同架构的 GPU 也可能因为随机数生成算法和执行方式不同,产生不同的数值排列。
这就像给模型留下了一枚“硬件指纹”。更神奇的是,模型经过海量数据训练后,部分参数仍然保留着最初的数值,让人有机会从最终权重中追溯初始化时使用的硬件。
他搜索了超过 6 万亿种组合,称这四家公司的多个模型都匹配到了 Blackwell。
他还用真实硬件进行了验证:在 B300 上使用找回的随机种子,逐位还原了 DeepSeek-V4-Flash 中保留下来的初始权重。
连 DeepSeek 的随机种子都被他公布出来了:953049583 😂