前几日，在英伟达宣布成为了首家市值2万亿美金的芯片公司的时候，一家名为Groq初创公司扬言“三年内赶超英伟达”。Groq的底气来源于他们所研发的芯片-LPU

LPU的全称是Language Processing Unit，翻译过来就是语言处理单元，是一种新型AI加速器。LPU的响应速度最高可达到500T/S，而英伟达的响应速度只有40T/S。

Groq 是一家技术公司，由 Jonathan Ross 在 2016 年创立。Ross 曾是 Google 第一个张量处理单元（TPU）的创造者，他的创立理念源于一个观点：芯片设计应从软件定义网络（SDN）中吸取灵感。

2024年2月13日，Groq 在 ArtificialAnalysis.ai 最新的 LLM 基准测试中明显获胜，Groq 在延迟与吞吐量等关键性能指标上击败了八名参与者，Groq 处理吞吐量达到其他推理服务的 4 倍，同时收费还不到 Mistral 自己的 1/3。

Groq 的核心团队、合作伙伴以及投资方如下：

核心团队

合作伙伴

投资方：

接下来我们一起来分析下，Grop的LPU

Grop获胜的关键在于其LPU，以无法想象的速度加速AI模型

LPU突破了LLM两大技术瓶颈：计算密度和内存带宽，对于LLM来说，LPU比GPU和CPU具有更强的计算能力，与GPU不同的是，Grop的LPU利用SARM进行数据处理，从而明显降低了能耗提高了效率。

Groq 的技术在运行基于 Transformer 的模型（如 GPT-4）上表现出色，因为这类计算具有高度确定性。Groq 的系统特别适合序列操作，如基于 Token 的生成，每个新 Token 的生成依赖于前一个，这样的串行操作使得计算速度成为优势。

Groq 的创新不仅提高了计算效率，还可能改变与 AI 的互动方式。如其创始人所言，随着 AI 变得越来越类似于人类，与之交互的微小不便会变得更加明显和限制性。Groq 提供了一种通过高效、确定性的计算来保持交互幻觉的方法，这在实时交互和可能的实时视频生成方面开辟了新的可能性。

Groq 的芯片采用完全确定性的 VLIW（非常长指令字）架构，没有缓冲区，并且在 Global Foundries 的 14nm 工艺节点上达到了约 725mm^2 的芯片尺寸。它没有外部内存，并且在处理过程中将权重、KVCache 和激活等全部保留在芯片上。因为每个芯片只有 230 MB 的 SRAM，实际上没有有用的模型能够完全适应单个芯片。相反，它们必须使用许多芯片来适应模型，并将它们网络化连接起来。

根据Semi Analysis的拆解，LPU由于具备架构优势，物料成本仅为1050美元。相比之下，去年让全球疯狂的H100芯片，物料成本则达到3700美元[2]。

在售价层面，一块LPU的价格是20000美元，远低于H100的35000美元。

Groq的爆火，让市场又一次开始讨论同一个问题：到底有没有人能叫板英伟达？

遗憾的是，英伟达远比人们想象的要强大。人工智能浪潮给芯片行业提供了一块大蛋糕，英伟达并没有分蛋糕的意思，而是整个端走塞进了口袋。

芯片初创公司Mythic的CEO曾愤然表示，人工智能火了，他们却更难融资了，就是英伟达“搞坏了大环境”。

Graphcore、Mythic的前车之鉴历历在目，所以也不怪Groq跟大家玩儿文字游戏。面对这么一个“汤都不给喝”的庞然大物，Groq又能怎么办呢？