2024 年 8 月 21 日，Groq 发布了其最新的 Distil-Whisper 语音转文字功能，速度提升至 240 倍。该功能的成本为每 1000 分钟音频 0.33 美元。Distil-Whisper 仅支持英语且词错误率为 12.7%，高于 Whisper v3 的 10.3%。Groq 是一家美国公司，提供 AI 应用推理引擎。
Distil-Whisper 与 Whisper v3 的对比显示，尽管 Distil-Whisper 的词错误率略高，但其速度和成本优势使其在许多应用场景中更具吸引力。具体案例包括用户在几分钟内转录了长达数小时的视频内容。此外，Distil-Whisper 的低成本使其成为许多中小企业和个人用户的选择。
Groq 的 LPU 推理引擎能够以 10 倍于传统 GPU 的速度运行生成式 AI 模型。最近，Groq 完成了 6.4 亿美元的融资，估值达到 28 亿美元。这笔资金将用于扩展其 LPU 推理引擎的容量，并添加新模型和功能。Groq 的 LPU 推理引擎在多个基准测试中表现出色，尤其是在处理大型语言模型（LLMs）时，其速度和成本优势明显。
根据 Artificial Analysis 的独立基准测试，Groq 的 Mixtral 8x7B Instruct API 以每秒处理约 430 个 token 的速度刷新了业界吞吐量的历史记录。而且其每百万个 token 的价格仅为 0.27 美元。Groq 的 LPU 推理引擎在能耗方面表现出色。Groq 声称其 LPU 可以以 10 倍的速度和十分之一的能耗运行类似于 OpenAI 的 ChatGPT 和 GPT-4 的现有生成式 AI 模型。
此外，Groq 还提供了一个名为 GroqCloud 的 LPU 驱动开发者平台，提供开放模型，如 Meta 的 Llama 3.1 系列、Google 的 Gemma、OpenAI 的 Whisper 和 Mistral 的 Mixtral，并且提供了一个 API，允许客户在云实例中使用其芯片。Groq 还托管了一个 AI 驱动的聊天机器人游乐场 GroqChat，该平台于去年年底推出。截至 7 月，GroqCloud 拥有超过 356,000 名开发者。