【本文由小黑盒作家@大荒星坠落于04月07日发布，转载请表明出处！】

近日，谷歌扣问院发布了一项名为TurboQuant 的全新AI内存压缩本领，很快便在存储商场激发了剧烈轰动，导致环球存储芯片板块出现显赫下降。并被Cloudflare 的 CEO Matthew Prince 称为这是谷歌的 “DeepSeek 时辰”。

这项本领旨在责罚大言语模子在开首时濒临的“键值缓存”（KV Cache）内存瓶颈问题。

浅易来说，当AI模子处理信息、生成文本时，需要多半高速内存来存储临时的打算截止（即KV缓存），这曾是AI干事器“吃”内存的主要原因之一。

而TurboQuant本领好像在不蚀本模子准确率的前提下，将这部天职存的占用量压缩至蓝本的六分之一，同期在英伟达H100 GPU上松手最高8倍的性能加快。

因为 TurboQuant 极地面裁减了内存占用，改日用户的手机或浮薄条记本，即便内存不大，也能腹地流通开首参数很大、才气很强的 AI 模子。而厂商也不再需要为了跑 AI 而纵容堆砌超大内存，开元棋牌app竖立资本可能裁减，或者在同等价钱下给用户更好的其他配置。

此外，因为这项本领额外责罚了“键值缓存”（KV Cache）的瓶颈，这意味着 AI 能“记取”更长的高下文。改日用户的 AI 助手可能铭记住其几个月前说过的细节，或者能帮其片刻读完并追想几十万字的演义/法律文档，而不会“读了后头忘前边”。

总的来说，这项本领关于所有 AI 行业来说，犹如一颗插足深海的炸弹，它预示着长高下文AI推理的资本以及对内存的需求可能会急剧下降。以后东谈主们不需要纵容砸钱买崇高硬件，就能让 AI 记取更长、更复杂的信息。

当今开元app，谷歌尚未表明何时将这项本领用到自家的 Gemini等模子上，这还仅仅一项学术效果，谋划鄙人月的ICLR会议上细密发表。

宝马会(BMW Club)官网app下载

• 商场
• 存储
• 谷歌
• 开元app
• 新本领