local-llmdev-tools
Original source

Justine Tunney — Cosmopolitan Libc & llamafile 背後的人

Summary

介紹 Justine Tunney 的故事,她一個人花五年做出了 Cosmopolitan Libc 和 llamafile。

背景

  • 1984 年出生,14 歲開始寫軟件
  • 2011 年搭建「佔領華爾街」運動的數字基建(社交媒體、網站、捐款通道)
  • 進 Google 做 AI 底層架構
  • 2018 年辭職,開始死磕跨平台 C 語言問題

Cosmopolitan Libc

  • 一段 C 代碼編譯一次,生成的同一個二進制文件可原生運行在 Windows/Linux/macOS 等 6 個 OS
  • 同一個文件同時是 Windows PE、Linux ELF、Mac Mach-O,甚至能當 shell 腳本跑
  • 沒有虛擬機、沒有解釋器、不用重新編譯
  • 一個人花五年做出來

llamafile

  • 把 Cosmopolitan Libc + llama.cpp 結合
  • 把模型權重包進單個二進制文件
  • 雙擊就能跑,不需要 Python/CUDA 配置
  • Mac/Windows 通用
  • Mozilla 資助,GitHub 24,000+ stars
  • 後來加了 GPU 支持,還做了單文件版 Whisper

帖子數據

  • 130 likes, 35 RTs