本系列是 LLM 驱动的游戏智能体领域核心论文的解读与总结，涵盖 103+ 篇论文，164 条引用关系的系统性分析。
领域概述
随着大型语言模型（LLM）的快速发展，研究者们开始探索将 LLM 作为智能体”大脑”的可能性。这些智能体不仅能理解和生成文本，还能规划、反思、与环境交互，甚至形成复杂的社会行为。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
| ┌─────────────────────────────────────────────────────────────┐
│ LLM 游戏智能体技术栈 │
├─────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────┐ │
│ │ 应用层 │ 游戏/模拟/机器人 │
│ └────────┬────────┘ │
│ │ │
│ ┌────────▼────────┐ │
│ │ 智能体框架 │ ReAct / Reflexion / VOYAGER │
│ └────────┬────────┘ │
│ │ │
│ ┌────────▼────────┐ │
│ │ 核心能力 │ 记忆 / 规划 / 反思 / 工具使用 │
│ └────────┬────────┘ │
│ │ │
│ ┌────────▼────────┐ │
│ │ 基础模型 │ GPT-4 / Claude / Llama │
│ └─────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────┘
|
核心论文引用关系
基于 103 篇论文的引用网络分析，以下是领域内最具影响力的基础性工作：
| 排名 |
论文 |
会议 |
被引用 |
核心贡献 |
| 1 |
ReAct |
ICLR 2023 |
32 |
推理+行动交替范式 |
| 2 |
Generative Agents |
UIST 2023 |
20 |
记忆-反思-规划架构 |
| 3 |
Reflexion |
NeurIPS 2023 |
17 |
语言反馈强化学习 |
| 4 |
VOYAGER |
NeurIPS 2023 |
- |
技能库+终身学习 |
技术层次金字塔
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
| ┌─────────────────────┐
│ 🎯 上层应用 │
│ 竞技/社交/特定游戏 │
│ (Werewolf, Poker, │
│ StarCraft等) │
└──────────┬──────────┘
│
┌────────────────┼────────────────┐
│ │ │
┌─────────▼─────────┐ ┌────▼────┐ ┌────────▼────────┐
│ 🏗️ 中间层 │ │模拟仿真 │ │ 🤝 多智能体 │
│ 环境适配层 │ │ │ │ 协作层 │
│ (Crafter, │ │Generative│ │ │
│ Minecraft) │ │ Agents │ │ │
└─────────┬───────┘ └────┬────┘ └────────┬───────┘
│ │ │
└──────────────┼───────────────┘
│
┌────────▼────────┐
│ 🔧 基础框架层 │
│ │
│ • ReAct │ ← 推理+行动范式
│ • Reflexion │ ← 自我反思机制
│ • Grounding RL │ ← 环境交互学习
└─────────────────┘
|
系列文章目录
基础框架篇
应用扩展篇
研究脉络时间线
2023年：基础奠定
| 时间 |
论文 |
会议 |
核心贡献 |
| 2022/10 |
ReAct |
ICLR 2023 |
推理与行动协同范式 |
| 2023/03 |
Reflexion |
NeurIPS 2023 |
语言反馈强化学习 |
| 2023/04 |
Generative Agents |
UIST 2023 |
25智能体小镇模拟 |
| 2023/05 |
VOYAGER |
NeurIPS 2023 |
Minecraft终身学习 |
2024年：深度发展
| 时间 |
论文 |
核心贡献 |
| 2024/05 |
Agent Hospital |
可进化医疗智能体 |
| 2024/10 |
Project Sid |
500-1000+智能体文明模拟 |
| 2024/10 |
Claude Computer Use |
商业级计算机控制 |
2025年：产业化
| 时间 |
趋势 |
代表产品 |
| 2025 |
Agent OS化 |
AutoGen, LangGraph |
| 2025 |
商业化加速 |
OpenAI Operator |
| 2025 |
多模态融合 |
视觉+语言+行动 |
游戏类型与论文分布
| 游戏类型 |
论文数 |
代表论文 |
| 文字冒险 |
22 |
ReAct, Reflexion, ALFWorld |
| Minecraft |
15 |
VOYAGER, GITM, JARVIS-1 |
| 社会模拟 |
12 |
Generative Agents, Project Sid |
| 竞技游戏 |
15 |
PokéLLMon, StarCraft II |
| 合作游戏 |
7 |
Co-LLM-Agents, TeamCraft |
| 对话游戏 |
16 |
Werewolf, Avalon |
核心技术对比
记忆机制
| 方法 |
存储内容 |
检索方式 |
特点 |
| VOYAGER |
可执行代码 |
语义相似度 |
技能可复用 |
| Generative Agents |
自然语言 |
时近性+重要性+相关性 |
多层抽象 |
| Reflexion |
语言化反思 |
时间顺序 |
失败学习 |
反思机制
| 方法 |
触发条件 |
输出 |
目的 |
| VOYAGER |
每轮执行后 |
成功/失败+批评 |
任务验证 |
| Generative Agents |
重要性>150 |
高层次洞察 |
概念抽象 |
| Reflexion |
每次失败后 |
详细反思 |
错误诊断 |
学习方式
| 方法 |
是否微调 |
知识形式 |
学习目标 |
| 传统RL |
✅ 梯度更新 |
策略网络 |
奖励最大化 |
| VOYAGER |
❌ 提示工程 |
代码技能库 |
技能积累 |
| Reflexion |
❌ 语言强化 |
反思记忆 |
任务成功率 |
关键洞见
1. 无需微调的力量
三大核心框架（ReAct、Reflexion、Generative Agents）都证明：仅通过提示工程和运行时机制，无需微调模型参数，就能实现复杂的智能体行为。
2. 记忆是关键
有效的记忆机制是智能体成功的基础：
- VOYAGER：代码即记忆，技能可复用
- Generative Agents：记忆即人格，反思即成长
- Reflexion：反思即学习，失败即进步
3. 协同优于孤立
| 单一能力 |
协同能力 |
| 仅推理 → 幻觉严重 |
推理+行动 → ReAct |
| 仅行动 → 无法规划 |
行动+反思 → Reflexion |
| 单智能体 → 能力有限 |
多智能体 → 涌现社会行为 |
4. 规模带来涌现
| 规模 |
涌现现象 |
| 25 智能体 |
社交行为、信息传播 (Generative Agents) |
| 50 智能体 |
长期关系、角色分化 (Project Sid) |
| 500+ 智能体 |
文化传播、宗教涌现 (Project Sid) |
实践建议
场景匹配
| 场景 |
推荐方法 |
原因 |
| 开放世界游戏 |
VOYAGER |
技能可复用、可组合 |
| 社会模拟 |
Generative Agents |
丰富记忆和人格一致性 |
| 决策任务 |
Reflexion |
失败反思对决策优化关键 |
| 医疗/专业领域 |
Agent Hospital |
可进化的专业智能体 |
组合架构
理想的智能体应该结合三者优势：
1
2
3
| 理想架构 = Generative Agents的记忆流
+ VOYAGER的技能库
+ Reflexion的失败反思
|
工业趋势
主要玩家
| 公司 |
产品 |
核心能力 |
| OpenAI |
GPT-4V Agent, Operator |
通用Agent能力 |
| Anthropic |
Claude Computer Use |
计算机自主控制 |
| Microsoft |
AutoGen 0.4 |
企业级多Agent框架 |
| Altera AI |
Project Sid |
AI文明模拟 |
开源生态
| 框架 |
定位 |
热度 |
| AutoGen |
多Agent对话与协作 |
🔥🔥🔥 |
| LangGraph |
状态机Agent工作流 |
🔥🔥🔥 |
| MetaGPT |
多角色软件开发 |
🔥🔥 |
| CrewAI |
角色扮演Agent团队 |
🔥🔥 |
参考资源
论文列表
代码仓库
下一篇：基础框架篇 | 应用扩展篇