TalkMateAI - Real-time Voice-Controlled 3D Avatar with Multimodal AI

• URL: https://github.com/kiranbaby14/TalkMateAI
• Date Saved: 2025-06-14
• Source: GitHub
• Tags: creative-ai, ai-tools

Summary

開源即時語音控制 3D 虛擬角色，結合多模態 AI。MIT License，84 stars。

核心功能：

• 即時語音活動偵測 (VAD)
• STT: OpenAI Whisper (tiny model)
• 視覺理解: SmolVLM2-256M-Video-Instruct
• TTS: Kokoro TTS + word-level timing
• 3D 角色動畫: TalkingHead library (唇形同步 + 情緒驅動)
• WebSocket 雙向低延遲通訊
• 攝影機整合，可透過語音指令觸發圖片擷取

技術架構：

• Backend: Python + FastAPI + PyTorch + Flash Attention 2
• Frontend: Next.js 15 + TypeScript + Tailwind + shadcn/ui
• 所有 AI model 來自 HuggingFace，完全本地運行
• 測試環境: Windows 11, RTX 3070 (8GB VRAM)

特點：全部本地推理，無需雲端 API，適合隱私敏感場景。