WeChat (新智元)
ai-engineeringai-tools
Original source

PenguinHarness: LlamaFactory 作者开源自进化 Agent 构建工具

Summary

LlamaFactory 作者郑耀威开源新项目 PenguinHarness — 原生支持自我进化的 Agent Harness，主打轻量、开源、易用。

核心能力

  1. Agent 自动构建 Agent — 说清需求即可生成完整 Agent 应用（脚手架、Prompt、Skill、前端），0.2 元 token 成本，比 Codex 便宜几十倍
  2. 本地可复现的自进化闭环 — 多智能体协作：Benchmark Builder 出题 → Evaluator 并行评测 → Optimizer 分析轨迹定位失分 → 修改 prompt/skill → 验证迭代。分数从 53 提升到 95，花费 0.5 元（DeepSeek V4 Flash）

架构设计

  • 文件系统作为唯一真相来源（Agent 是文件、Prompt 是文件、对话历史也是文件）
  • PenguinMessage 作为唯一消息协议（类似网络数据报文）
  • 系统提示词仅 1,300 tokens（Claude Code 的 1/10）
  • Shell 作为通用接口，极少工具

自进化契约（安全边界）

  • 修改范围限定在 prompt 和 skills，不能触及 Harness 内核
  • 快照和回滚能力
  • 目标 Agent 只能看到题目，不能看到 Rubrics（防 Reward Hacking）
  • 所有优化流程形成文件记录，可审计

评估基准 GDPevo

团队自建的评估基准，覆盖医疗、金融、法律等六大场景，划分训练/测试集确保不会”偷看答案”

其他特性

  • 内置 LlamaFactory、vLLM、Ollama 相关 Skills
  • 统一模型网关支持 1000+ 模型
  • 视觉代理模型（副驾驶）让 DeepSeek 能”看到”自己生成的网页/PPT
  • 行为轨迹时间线分析
  • 多用户隔离、团队协同
  • Apache 2.0 协议，GitHub 1000+ star

团队

PrismShadow，创始人郑耀威（LlamaFactory, 7万星标），成员来自 IBM/百度/阿里/京东/北大/NYU/CMU