Desktop Control 概览
Desktop Control 提供完整的桌面自动化能力,让 OpenClaw 能与电脑中的任何应用交互。
支持像素级鼠标控制、快速键盘输入、屏幕捕捉与图像识别、窗口管理与剪贴板操作,并内置安全机制。
工作原理
1步骤 1 - 初始化 DesktopController
技能使用 PyAutoGUI 作为核心引擎,并暴露 DesktopController 类。
2步骤 2 - 驱动输入
鼠标移动/点击/拖拽/滚动与键盘事件统一由 DesktopController 处理。
3步骤 3 - 观察屏幕
截图、像素检测与可选的 OpenCV 图像识别帮助定位目标。
4步骤 4 - 安全防护
提供安全角落、暂停控制与可选审批模式,避免误操作。
核心功能
鼠标控制
绝对/相对定位、平滑移动、左/右/中/双击、拖拽与滚动。
键盘输入
可配置输入速度、热键、特殊按键与按下/释放控制。
屏幕操作
全屏或区域截图、像素取色、图像识别与多显示器支持。
窗口管理
列出窗口、按标题激活、读取窗口信息、最小化/最大化。
剪贴板操作
写入系统剪贴板并读取剪贴板文本。
安全机制
安全角落终止、紧急暂停、边界检查与操作日志。
环境要求
- 无需虚拟机。
- 需要 Python 包:PyAutoGUI、Pillow、PyGetWindow;OpenCV(opencv-python)为可选图像识别依赖。
- 支持 macOS、Linux 与 Windows;部分操作可能需要提升权限。
- 需要图形桌面环境(不支持无头服务器)。
使用场景
表单填充
自动填写网页表单或桌面应用字段。
应用自动化
通过鼠标键盘模拟控制任意桌面应用。
屏幕监控
截图、识别特定 UI 元素,并响应视觉变化。
文件管理
文件拖拽、跨文件夹移动与 Ctrl 多选。
测试与 QA
自动化桌面 GUI 测试流程。
安装方式
npx clawhub@latest install desktop-control在终端运行命令,或点击页面顶部安装按钮一键完成。
常见问题
需要哪些 Python 包?
需要 PyAutoGUI、Pillow 与 PyGetWindow;OpenCV(opencv-python)为可选依赖。
支持 macOS、Linux 和 Windows 吗?
支持,但部分操作可能需要提升权限。
能在无头服务器上运行吗?
不可以,需要图形桌面环境。
是否有安全保护?
有。包含安全角落、暂停控制、可选审批模式与日志记录。
如何启用图像识别?
安装 OpenCV(opencv-python)即可启用图像匹配。