PhoneLLM — Pipecat 開源語音 Agent 模型

• URL: https://www.threads.com/share/BBPDw9WpuC/
• Date Saved: 2026-09-01
• Source: Threads (@ekcheungai)
• Tags: ai-tools, ai-engineering
• Repo: https://github.com/pipecat-ai/pipecat (15k stars); Model: huggingface.co/pipecat-ai/phonellm-alpha-1

Summary

@ekcheungai 分析 Pipecat 推出的 PhoneLLM — 開源語音 agent 模型。

關鍵數字 (廠商自報)

• 效能追平 GPT-5.6 Terra，延遲 1/3，成本 1/18
• 伺服器端 TTFAT (Time To First Agent Turn) < 100ms
• 單張 B200 跑 80+ 並發 agent
• P95 端到端延遲 < 600ms
• 每分鐘成本約 $0.0025

技術做法

• 基於 NVIDIA Nemotron Nano 30B 做 full fine-tune
• 專門訓練在電話客服場景
• 關掉 thinking 還能做好 tool calling
• 模型已上 HuggingFace: pipecat-ai/phonellm-alpha-1 (也有 nvfp4 量化版)

意義

• 開源模型跑出接近閉源效果，成本低到可以規模化
• Voice agent 的成本結構可能翻轉
• Pipecat 本身是 15k stars 的開源 voice agent 框架 (Daily 維護)
• 作者提醒: 廠商自報數字，需自行實測驗證