Hermes Agent 第四阶段：骨灰篇

"第三阶段让它成为平台。第四阶段让你重塑这个平台为任何形态。"

---

第四阶段你将学会什么

你已经走了很长的路。第一阶段安装运行了 Hermes，第二阶段给了它记忆和技能，第三阶段将其变为自动化平台。现在是最终前沿：重塑 Agent 本身。

这是最技术性的阶段，专为开发者、ML 工程师和追求对 Agent 行为完全控制的高级用户设计。

完成本教程后，你将能够：

• 🎯 录制和分析 Agent 的决策轨迹
• 🤖 用自己的使用数据训练强化学习模型
• 🧪 生成合成训练数据用于自定义 Agent 行为
• 🔧 为特定领域微调自定义 Hermes 模型
• 🏗️ 构建完整的"训练-部署-循环"实现持续改进

---

第一部分：轨迹录制——观察你的 Agent 如何思考

在训练更好的 Agent 之前，你需要了解当前 Agent 的行为。Hermes 录制轨迹——每个决策、工具调用和思考过程的完整日志。

启用轨迹录制

hermes config set trajectory-recording true
hermes config set trajectory-directory ~/.hermes/trajectories/
hermes config set trajectory-retention-days 30

轨迹包含什么

每条轨迹是一个 JSON 文件，记录了 Agent 会话的完整流程：

{
  "session_id": "sess_abc123",
  "turns": [
    {
      "turn": 1,
      "user_message": "搜索最新的 AI 新闻并总结",
      "agent_thinking": "用户想要新闻摘要。我先用 web_search 工具搜索 AI 新闻，然后综合结果。",
      "tool_calls": [
        {
          "tool": "web_search",
          "input": {"query": "AI 新闻 2026年7月"},
          "output": {"results": [...], "status": "success"},
          "latency_ms": 1200
        }
      ],
      "response": "以下是今天的 AI 头条...",
      "reward": 0.95
    }
  ]
}

分析轨迹

hermes trajectory list                    # 列出所有轨迹
hermes trajectory view --id "sess_abc123"  # 查看特定轨迹
hermes trajectory stats                   # 聚合统计
hermes trajectory export --format "rl"    # 导出用于RL训练

---

第二部分：基于 Agent 反馈的强化学习

RLfAF（Reinforcement Learning from Agent Feedback）是一种基于实际使用中的奖励来训练 Agent 改进行为的技术。

流水线

┌──────────┐    ┌───────────┐    ┌──────────┐    ┌──────────┐
│ 录制轨迹  │───▶│ 评分与奖励 │───▶│ RL 训练  │───▶│ 部署新   │
│          │    │           │    │          │    │ Agent   │
└──────────┘    └───────────┘    └──────────┘    └──────────┘

收集训练数据

hermes trajectory export --format "rl" --min-score 0.7

评分与奖励

Hermes 可以自动评分每一轮交互：

hermes trajectory score --method "auto" --output "~/hermes-training/scored.jsonl"

运行 RL 训练

hermes train rl \
  --data "~/hermes-training/scored.jsonl" \
  --base-model "hermes-3-8b" \
  --output-dir "~/hermes-training/rl-model" \
  --learning-rate 1e-5 \
  --epochs 3

评估与部署

hermes train evaluate --model "~/hermes-training/rl-model"
hermes model add "my-personal-agent" --provider local --path "~/hermes-training/rl-model"

---

第三部分：合成数据生成——规模化创建训练数据

真实轨迹是黄金标准，但你通常需要比手动收集更多的数据。Hermes 可以通过模拟 Agent-用户交互来生成合成训练数据。

为什么需要合成数据？

真实数据的局限	合成数据的优势
需要数周收集足够数据	几小时内生成数千条
仅覆盖你的使用模式	探索边缘案例和罕见场景
可能包含噪声和错误	干净、可控的生成
涉及隐私	不涉及真实用户数据

生成合成对话

hermes train generate \
  --output "~/hermes-training/synthetic.jsonl" \
  --num-examples 5000 \
  --topics "code_review,web_research,data_analysis" \
  --difficulty "mixed"

质量过滤

hermes train filter \
  --input "~/hermes-training/synthetic.jsonl" \
  --output "~/hermes-training/filtered.jsonl" \
  --min-quality 0.8 \
  --deduplicate true

---

第四部分：微调自定义 Agent 模型

为了最大程度的控制，你可以微调整个模型——不仅是 RL 策略，而是基础模型本身。

LoRA 微调（低资源）

LoRA（Low-Rank Adaptation）是最易入门的微调方法。它训练少量适配器参数，同时保持基础模型冻结。

hermes train lora \
  --base-model "hermes-3-8b" \
  --data "~/hermes-training/lora-data/" \
  --output-dir "~/hermes-finetuned/lora-adapter" \
  --rank 16 \
  --epochs 5

完整微调

hermes train full \
  --base-model "hermes-3-8b" \
  --data "~/hermes-training/lora-data/" \
  --output-dir "~/hermes-finetuned/full-model" \
  --learning-rate 2e-5 \
  --epochs 3

合并与部署

hermes train merge \
  --base-model "hermes-3-8b" \
  --adapter "~/hermes-finetuned/lora-adapter" \
  --output "~/hermes-finetuned/merged-model"

hermes model add "my-finetuned-agent" --provider local --path "~/hermes-finetuned/merged-model"
hermes --model "my-finetuned-agent"

---

第五部分：构建训练-部署循环

最后一步是自动化整个流程——让 Agent 无需人工干预地持续改进。

持续改进流水线

# ~/.hermes/training-pipeline.yaml
pipeline:
  name: "持续改进"
  schedule: "0 3 * * 0"  # 每周日凌晨3点
  
  stages:
    - stage: collect
      action: 导出轨迹
      filter:
        min-score: 0.7
        last-days: 7
    - stage: train
      action: lora 微调
      base-model: "hermes-3-8b"
      epochs: 3
    - stage: deploy
      action: 部署模型
      name: "weekly-upgrade-{{date}}"

运行流水线

hermes pipeline run --config "~/hermes-training-pipeline.yaml"
hermes pipeline status

---

Hermes Agent 四阶段全系列回顾

阶段	掌握的技能	实际效果
🟢 第一阶段	安装、配置、首次对话	你拥有了一个 AI Agent
🟡 第二阶段	记忆、技能、多平台网关	Agent 记住你、在任何平台与你互动
🟠 第三阶段	自定义模型、定时任务、子 Agent	Agent 按计划自主工作
🔴 第四阶段	RL 训练、合成数据、微调	Agent 自我学习和改进

Hermes Agent 的真正力量不在于任何一个单一功能——而在于叠加效应。 第一阶段给你 Agent，第二阶段给它记忆，第三阶段给它自主性，第四阶段给它自我改进的能力。

每一层都建立在上一层之上。一个运行数月的第四阶段 Agent——启用了轨迹录制、定期 RL 训练和自定义微调模型——与一个全新安装的 Agent 完全不在同一个层级。

---

本教程内容基于 Hermes Agent 最新稳定版本，更新于 2026 年 7 月 10 日。