Skip to content

MobileWorld Benchmark 中 Swipe 动作坐标反转及上下文历史长度咨询 #281

@imsleepy711

Description

@imsleepy711

您好,非常感谢团队开源这项优秀的工作!我最近在 MobileWorld Benchmark 上测试时遇到了一些问题,想向您请教。

  1. 问题描述:Swipe 动作坐标反转
    测试模型:
    GUI-Owl-1.5-8B-Instruct
    现象:
    在执行**向下滚动(Swipe Down)**操作时,两个模型输出的起点和终点坐标均出现反转。这导致实际执行效果并非向下滚动,而是向上或无效操作,从而使任务在这一步陷入死循环。

截图说明:
如下图所示,绿色点为预测起点,红色点为预测终点。可以看到对于向下滚动的意图,坐标方向是反的。

Image

复现数据:
该任务的完整轨迹日志已附在下方:

AdjustBrightnessMinimumTask.zip

请问这是已知问题吗?或者是我的模型参数配置有问题?
目前使用了 MobileWorld GUI-OWL 中的默认参数:temperature=0.0,top_p=1.0,history_n 改为了 5.

  1. 咨询:评估时的上下文历史长度
    关于公开的 AndroidWorld/MobileWorld 评测结果:
    在构建上下文(Context)时,默认是保留最近的 5 张图片吗?还是使用了其他长度的历史窗口?
    期待您的回复,再次感谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions