VR INTERACTION / CHI 2026

MAVIS

用角色动作、状态反馈和可组织的信息,支持人与多智能体的协作。

VR 前端状态反馈信息组织
MAVIS 项目画面
项目时间2024.06 - 2025.09
本人职责前端系统设计与开发 · 共同实验
研究成果CHI 2026 已发表(A 类会议)· 第三作者

项目概览与个人贡献

MAVIS 是 VR 中的人与多智能体协作系统。用户在虚拟工作空间中与不同角色交流,表达偏好并共同推进规划任务。

我负责前端系统设计与 Unity/C# 开发,与合作者共同完成用户实验,并参与少量论文撰写。项目成果已在 CHI 2026 发表(A 类会议),我为第三作者。

论文图 1:以视频策划任务展示 MAVIS 的人机协作流程。
论文图 1:以视频策划任务展示 MAVIS 的人机协作流程。 查看大图 ↗

注视目标与智能体状态

初版中,正在思考的智能体与空闲角色缺少明显动作区别,用户也不容易确认自己的注视目标。针对这些问题,我加入显眼的思考动作,并用描边表达当前对象和可用状态。

黄色非当前注视对象

让用户能够区分当前未选中的角色。

绿色当前注视对象

明确用户正在看向并准备交流的对象。

红色暂不可用

用于表达思考、与其他角色交流等不可用状态。

信息面板与移动体验

我精简了文字呈现,将内容放到可轻松查看的面板中。用户可以拖拽面板、把暂时不需要的内容移出视野,再随时召回,并查阅历史上下文。

针对首次实验中出现的疲劳、轻微眩晕及视觉负担,我还调整了移动速度、转向过渡与交互反馈。这些调整围绕移动体验与状态辨识展开。

用户实验现场

用户实验将 VR 头显、输入设备与电脑端结合起来。我负责前端系统设计与开发,并与合作者共同实施实验,结合使用中的疲劳、操作与状态辨识问题调整交互。

MAVIS 用户实验现场:头显、双手柄与电脑端运行画面。
MAVIS 用户实验现场:头显体验与桌面端设备协同使用。

研究方案与测试经验 ↗ VR 交互与现场实践 ↗

案例图片

系统演示

MAVIS · VR 系统演示打开视频 ↗

研究成果

Virtual Minds, Real Work

LLM-Powered Preference-Based Planning in Virtual Reality through Multi-Agent and Human Collaboration

CHI 2026 已发表(A 类会议)· 第三作者

通过 DOI 查看论文

CONTACT

欢迎交流研究、项目与工作机会。

2027 届 · 游戏策划求职