Agentic RL · Game AI · World Model

马纬彧Weiyu Ma

大模型复杂决策第一人游戏 AI 研究者前星际争霸 II 职业选手中科院自动化所 硕士

正在求职 正在寻找 Agentic RL、LLM/VLM Agent 与游戏 AI 方向的研究 / 算法岗位,欢迎联系。 邮件联系 →

代表性成果

  1. 全球首个 将大模型用于复杂实时决策 LLM Play SC2 · NeurIPS 2024
  2. 全球首个 复杂决策场景下的递归自我改进(RSI) EvoCurr · EMNLP 2026
  3. 全球首个 通用的大模型后训练经验回放框架 FreshPER · ICLR 投稿中
  4. 全球首个 星际争霸 II 级复杂多智能体场景下的 Agentic RL LLM-SMAC · AAMAS 2026
  5. 全球首个 开源多游戏、多智能体电竞世界模型数据集 eSports World Model Dataset · 2026.10 开源
  6. SOTA 大模型直接决策星际争霸 II:实时 10 局 9 胜最高非作弊 AI JEV-Star · 2026 预印本

我开创了大模型复杂实时决策这一研究方向:以星际争霸 II 为标杆,做出了全球首个将大模型用于复杂实时决策的工作(NeurIPS 2024),此后又完成了全球首个复杂决策场景下的递归自我改进、全球首个复杂多智能体场景下的 Agentic RL 与全球首个通用的大模型后训练经验回放框架。我关注的核心问题是:如何让 AI 像人一样感知、决策,并从交互中持续学习。

本科期间我是星际争霸 II 职业选手,达到韩服宗师(天梯最高段位,仅限服务器前 200 名)。这段经历让我习惯从真实玩家的视角去构建环境、数据与评测基准,推动游戏 AI 从“能赢”走向会看、会想、会学、会协作。我在中国科学院自动化研究所群体决策智能实验室读完硕士,之后在 KAUST 读计算机科学博士(2025.08–2026.09,已离开)。

研究 Agentic RL / 游戏 AI 硕士 中科院自动化所 段位 SC2 韩服宗师 语言 中文 / English
8
篇论文
7
篇一作 / 共同一作
450
Google Scholar 引用
GM
星际争霸 II 韩服宗师
天梯最高段位,仅限每个服务器前 200 名
01 / News

最近动态

  • 置顶 2024
    全球首个 代表作 LLM Play SC2(Large Language Models Play StarCraft II)——全球首个将大模型用于复杂实时决策的工作,开创了这一研究方向——发表于 NeurIPS 2024;引用 170+ 次,GitHub 300+ Star。 arXiv Code
  • 2026.10
    全球首个 开源全球首个多游戏、长时程、多智能体的电竞世界模型数据集:职业与高水平对局逐玩家同步视角,覆盖星际争霸 II / Dota 2 / CS2,共 2,673 场、约 3,828 小时。 ModelScope Code
  • 2026.09
    SOTA 发布 JEV-Star,刷新大模型直接决策星际争霸 II 的 SOTA:实时对战最高非作弊难度 Lv7 内置 AI,10 局 9 胜。 Paper Code
  • 2026.04
    全球首个 发布 FreshPER——全球首个通用的大模型后训练经验回放框架:Sokoban、NQ Search、MathVista 分别提升 39、20、15 个百分点。 arXiv Code
  • 2026
    全球首个 EvoCurr——全球首个在复杂决策场景实现递归自我改进(RSI)的工作——被 EMNLP 2026 Findings 接收(共同一作)。 arXiv
  • 2026
    全球首个 LLM-SMAC——全球首个星际争霸 II 级复杂多智能体决策场景下的 Agentic RL 工作——被 AAMAS 2026 接收(共同一作)。 arXiv
查看更早动态(5)
  • 2026
    全球首个 AVA——全球首个基于 VLM 的多智能体复杂实时决策系统——被 ACL 2026 Findings(CCF-A)接收(一作)。
  • 2026.04
    启动 CS2 World Model 与约 20 TB 的电竞多智能体世界模型数据集。
  • 2025
    全球首个 TacticCraft——全球首个复杂实时决策场景下的大小模型协同决策系统——被 ICML 2025 MusIML Workshop 接收。
  • 2024
    AVA 获阿里云 Qwen 征文大赛一等奖。
  • 2024
    全球首个 Adaptive Command——全球首个复杂实时决策场景下的人机协作决策系统——被 DAI 2024 接收。
02 / Research

研究方向

01

Agentic RL 训练

面向 LLM/VLM 的多步强化学习:经验回放、异步训练框架与工具调用,让模型在交互中持续变强。

代表工作 FreshPER · LLM-SMAC · Async Search-R1 ↗ · ROLL ↗
3 篇论文 →
02

LLM/VLM 游戏智能体

让大模型“读懂”并“打赢”以星际争霸 II 为代表的复杂实时决策问题:环境构建、摘要式决策框架、自然语言战术控制与人机协作。

代表工作 JEV-Star · LLM Play SC2 · AVA · TacticCraft · Adaptive Command
4 篇论文 →
03

多智能体决策与自我进化

用代码作为策略指挥多智能体协同,并让大模型自主设计环境与课程,实现环境与策略的协同进化。

代表工作 EvoCurr · LLM-SMAC · SMAC-Hard
3 篇论文 →
04

World Model 与电竞数据

从真实玩家的完整对局构建长时程、多智能体、多视角的电竞数据集(已开源,覆盖 SC2 / Dota 2 / CS2),并训练可交互、符合游戏逻辑的几何感知多智能体世界模型。

代表工作 CS2 World Model · eSports World Model Dataset
03 / Projects

核心项目

3 个系列 · 10 项工作
01

World Model 系列

从职业选手的真实对局出发,构建能让多个智能体同时行动、交战的可交互世界模型。

  • eSports World Model Dataset 2026.10 开源 开源

    全球首个开源的多游戏、长时程、多智能体电竞世界模型数据集

    用游戏引擎把职业比赛与高水平玩家录像逐帧解码为多视角玩家画面,并与动作、引擎状态、事件严格对齐,一次覆盖 RTS、MOBA、FPS 三大品类。

    2,673 场对局约 3,828 小时玩家视角视频星际争霸 II · Dota 2 · CS2
  • CS2 World Model 进行中

    全球首个基于 Cosmos 3 的几何感知多智能体交互式世界模型

    多名玩家在同一个“生成出来的世界”里同时移动、交战,画面演化遵循真实的游戏逻辑。

    4 张经典地图实时 DemoTeacher / Self-Forcing · DMD

CS2 World Model:左为真实对局录像,右为模型生成。四张地图,每段 8 秒。

02

Agent Play Game 系列

开创大模型复杂实时决策这一研究方向。星际争霸 II 不只是一款即时战略游戏,更是复杂实时决策问题的标杆:部分可观测、长时程、多单位协同、持续对抗。我们从第一个让大模型在其中做决策,一路做到实时击败最高非作弊难度 AI。

  • LLM Play SC2 ★ 代表作 NeurIPS 2024 开源

    全球首个将大模型用于复杂场景实时决策的工作

    第一次让大模型“读懂”并亲自下场打星际争霸 II:构建 TextStarCraft II 环境,把瞬息万变的战局翻译成语言,模型直接看局势、想策略、下指令;提出 Chain of Summarization,用单帧 + 多帧摘要追踪战局,像人类选手一样“先看懂、再规划”。由此开创了大模型复杂实时决策这一研究方向。

    170+ 次引用系统评测 10+ 主流大模型对战困难(Lv5)内置 AI 胜率 >50%环境、代码、数据全部开源
  • JEV-Star 2026 预印本 开源

    大模型直接决策在星际争霸 II 上的 SOTA

    大模型全程实时操控完整对局,游戏不暂停、边推理边对战:JEV 负责高频动作选择,Astra 负责持续的战略规划。

    实时对战最高非作弊难度 Lv7 AI,10 局 9 胜单步决策中位延迟约 0.4 秒
  • AVA ACL 2026 Findings 开源

    全球首个基于 VLM 的多智能体复杂实时决策系统

    让视觉语言模型像职业选手一样“看画面打微操”:全球首个基于 PySC2 的多端高并发微操环境,统一支持 VLM 与 RL 智能体的训练和评测;全球首个可多步决策推理的 VLM Agent 框架。

    CCF-A阿里云 Qwen 征文大赛一等奖
  • EvoCurr EMNLP 2026 Findings 开源

    全球首个在复杂决策场景实现递归自我改进(RSI)的工作

    大模型不只解题,还自己出题:自主设计、生成并调节决策环境,课程难度与决策代码协同进化,全程无需人工干预。

    无人干预连续自主进化 72 小时自动生成 10+ 新环境、100+ 行为树策略百余单位协同,100% 胜率,超越人类宗师
  • TacticCraft ICML 2025 Workshop

    全球首个复杂实时决策场景下的大小模型协同决策系统

    保留顶级 RL 智能体 DI-star 的操作强度,用一句话改写它的战术风格:冻结策略网络,通过轻量 Adapter 与“战术张量”注入自然语言指令。

    9 个战术维度自由切换
  • Adaptive Command DAI 2024

    全球首个复杂实时决策场景下的人机协作决策系统

    玩家用语音或文字与 AI 实时对话:LLM 做战略分析、行为树执行动作,形成边打边聊的人机闭环。

    新手玩家胜率 0% → 42%
03

Post-Training 系列

把强化学习后训练带进复杂、多轮、多智能体的决策环境。

  • LLM-SMAC AAMAS 2026 开源

    全球首个在星际争霸 II 这类复杂多智能体决策场景下的 Agentic RL 工作

    模型生成可执行的决策树代码指挥多智能体协同作战,在“写代码—执行—看战果—再迭代”的闭环中训练。相比 Search-R1 一类面向检索工具的交互,它的多轮交互面对的是持续变化的对抗环境,交互深度与反馈复杂度都远高于前者。

    7B 模型超越 DeepSeek-V31 套策略通用 18 个场景胜率达到或接近 100%
  • FreshPER ICLR 投稿中 开源

    全球首个通用的大模型后训练经验回放(Replay Buffer)框架

    经验回放是深度强化学习的基石,却一直没能进入大模型后训练——策略变化太快,旧样本的优先级迅速“过期”。FreshPER 用新鲜度感知优先级解决这一问题,即插即用适配 PPO / GRPO / REINFORCE++,覆盖数学、推理、多模态与 Agentic 任务。

    NQ Search 68.75%(+20 个百分点)Sokoban 43%(+39 个百分点)MathVista 67%(+15 个百分点)
04 / Publications

论文发表

8 篇 · 2A2B1C
  1. 2026

    Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning

    Ma, W.Y., Zeng, Y., Song, Y., Cui, X., Zhao, J., Liu, X., Elhoseiny, M.

    arXiv 2026 一作 ICLR 投稿中 arXiv Code
  2. 2026

    AVA: Attentive VLM Agent for Mastering StarCraft II

    Ma, W.Y., Fu, Y., Zhang, Z., Ghanem, B., Li, G.

    ACL 2026 Findings CCF-A 一作 arXiv ACL Code
  3. 2026

    EvoCurr: Self-evolving Curriculum with Behavior Code Generation for Complex Decision-making

    Cheng, Y.*, Wang, Z.*, Ma, W.*, Zhu, W., Deng, Y., Zhao, J.

    EMNLP 2026 Findings CCF-B 共同一作 arXiv Code
  4. 2026

    LLM-SMAC: Solving Multi-Agent Decision-Making Tasks via LLM Decision Tree Code Generation

    Deng, Y.*, Ma, W.*, Fan, Y., Song, R., Zhang, Y., Zhang, H., Zhao, J.

    AAMAS 2026 CCF-B 共同一作 arXiv Code
  5. 2025

    TacticCraft: Natural Language-Driven Tactical Adaptation for StarCraft II

    Ma, W.Y., Jiang, J., Fu, H., Zhang, H.

    ICML 2025 MusIML Workshop 一作 arXiv
  6. 2024

    Large Language Models Play StarCraft II: Benchmarks and A Chain of Summarization Approach

    Ma, W.Y., Mi, Q., Zeng, Y., Yan, X., Wu, Y., Lin, R., Zhang, H., Wang, J.

    NeurIPS 2024 CCF-A 一作 arXiv Code
  7. 2024

    Adaptive Command: Real-Time Policy Adjustment via Language Models in StarCraft II

    Ma, W.Y., Xu, D., Lin, S., Zhang, H., Wang, J.

    DAI 2024 一作 arXiv
  8. 2024

    SMAC-Hard: Enabling Mixed Opponent Strategy Script and Self-play on SMAC

    Deng, Y., Yu, Y., Ma, W., Wang, Z., Zhu, W., Zhao, J., Zhang, Y.

    arXiv 2024 arXiv Code

* 共同一作 · 加粗为本人

05 / Experience

教育与实习

教育经历

  1. 2025.08 – 2026.09
    阿卜杜拉国王科技大学(KAUST)
    计算机科学 博士(已离开)
    方向:游戏 AI / 多模态大模型 / 强化学习 / World Model
  2. 2022.09 – 2025.06
    中国科学院自动化研究所 / 中国科学院大学
    计算机技术 硕士
    群体决策智能实验室 · GPA 3.68/4
  3. 2016.09 – 2020.06
    西北农林科技大学 生命科学学院
    生物技术 学士
    本科四年同时征战星际争霸 II 职业赛场

实习经历

  1. 2025.02 – 2025.07
    上海交通大学
    NLP 算法工程师(实习)
    • 构建伴学 AI 智能体框架核心模块:网络检索、检索结果置信度评估与决策流程。
    • 基于 Qwen2.5-7B / QwQ-32B / Qwen2.5-72B,用 SFT、DPO、GRPO、REINFORCE++ 提升数学推理与工具调用。
    • 基于 verl 与 ROLL 实现异步 Agentic RL 框架,复现 multi-node / async Search-R1,训练提速约 40%。
  2. 2024.06 – 2025.01
    CAMEL-AI × KAUST
    联合正式实习 · 智能体与环境研发
    • 基于 CAMEL 开发 StarCraft II 决策智能体与微操环境,支持 VLM 基于画面与文本做多步决策,产出 AVA 论文。
06 / eSports

电竞经历

选手档案ID://MEISAH
星际争霸 II 宗师段位徽章(前 200 名)
虫族 Meisah
马纬彧 · 星际争霸 II 职业选手
种族
虫族
段位
宗师
服务器
韩服
职业生涯
2016 – 2019

宗师 · 天梯最高段位,仅限每个服务器前 200 名

11 冠军
1 亚军
4 晋级强赛
收到通讯

数千小时的高强度对抗,让我对不完全信息博弈、实时策略调整和心理博弈有切身体会。这些经验直接塑造了我后来做研究的问题意识与评估视角。

— Meisah
比赛记录10 条记录
  1. 2018 CSL 高校星际联赛春季赛 · 中西大区 金牌 冠军
  2. 2016–2018 CSL 高校星际联赛 · 西安赛区 金牌 冠军 ×7
  3. 2018 WESG 世界电子竞技运动会 · 西宁赛区 金牌 冠军
  4. 2018 狮王 S1 苏宁狮王全球邀请赛 · 城市赛 金牌 冠军
  5. 2017 NESO 全国电子竞技公开赛 · 陕西分赛区 金牌 冠军
  6. 2018 NSL 职业战队联赛 银牌 亚军
  7. 2018 中国好星际 全国赛 16 强
  8. 2018 WESG 全国总决赛 24 强
  9. 2016–2018 CSL 高校星际联赛 · 多次四强 / 八强 4 强
  10. 2017 NESO 全国电子竞技公开赛 · 全国赛 24 强

图标来源:Liquipedia · © Blizzard Entertainment

07 / Skills

技能与荣誉

LLM / Agentic RL PyTorch;LLaMA-Factory、verl、ROLL、slime;SFT、DPO、GRPO、REINFORCE++;异步 Agentic RL 训练流程与环境构建。
强化学习 DQN、PPO、REINFORCE;多智能体强化学习、经验回放、课程学习、Code-as-Policy。
Agent / Game AI LLM/VLM Agent、RAG、Tool Use、Skill、行为树;PySC2、DI-star、SMAC;World Model 与多模态游戏数据管线。
工程工具 Codex、Claude Code、Cursor;Linux / Windows 多机数据处理与训练环境部署。
  • 2024 阿里云 Qwen 征文大赛 一等奖(AVA)
  • 2023 MathorCup 数学建模 一等奖
  • 2023 中国科学院大学创新实践 二等奖
  • — IELTS 6.5 · 英语口语熟练