让大模型“边看边改”，视觉分割准确率直接上涨9% 文章

智能体时代，如何让视觉分割更准确？ 复旦、创智联合推出RSAgent，给出最新答案——让多模态大模型通过多轮工具调用生成准确掩码。 相关工作已入选ICML 2026。 视觉分割，一直是个“说起来简单，但做起来容易失手”的任务。 给模型一张图、一句话，让它把目标区域的像素圈出来——听起来直接，但一旦目标含糊、被遮挡，或者需要推理才能定位，一次性猜出正确的掩码就变得相当困难。 RSAgent团队认为，现有方法缺少的，不是更强的分割头，而是“确认和纠错”的过程。 为此，他们推出了RSAgent这个让多模态大模型通过多轮工具调用，完成文本引导分割的智能体框架。 模型不再一次性输出mask，而是先观察图像、进行推理、调用视觉工具、读取反馈，再根据历史结果迭代修正，最终生成更可靠的准确掩码。 实验结果显示，RSAgent在ReasonSeg测试集上的gIoU相比Seg-Zero-7B提升了9.0个百分点，在RefCOCOg数据集上取得了81.5%的平均cIoU，并生成了5000条以上的多轮推理分割轨迹。 开放语义分割，难在哪里 多模态大语言模型（MLLM）已经能够描述图像、回答问题、理解物体关系，但真实视觉系统需要的不只是文字答案。 交互式标注、机器人感知、设计编辑、工业质检和科学图像分析都要求模型把语言理解落实到像素区域。 也就是说，模型必须在“语义理解”和“准确掩码”之间完成可靠转换。 开放语义文本引导分割的挑战在于，输入指令并不总是简单的类别名—— 用户可能说“图中左侧正在被人拿起的物体”，也可能说“找出湍急水流中保障个人安全的装备”。 前者需要空间关系，后者需要场景常识和用途推理。 模型如果只进行一次前向预测，就很难验证自己是否选对了目标。 此前路线的短板并不是“不能产生mask”，而是“缺少确认与纠错过程”。 一旦最初定位偏离、点位提示落在背景、候选区域只覆盖局部，模型往往没有机会重新观察、缩放视图、读取候选结果并调整策略。 RSAgent正是针对这一痛点，把分割任务从静态预测变成动态交互。团队表示： 痛点不是单纯追求更复杂的分割头，而是让模型在开放语义任务中具备“先判断、再行动、看反馈、再修正”的能力。 怎么解决？