🖥️

Desktop Control

基于 PyAutoGUI 的高级桌面自动化,支持精准鼠标、键盘输入、屏幕捕捉、窗口管理与剪贴板操作。

作者

matagul

效率与任务自动化桌面控制PyAutoGUI
安装
npx clawhub@latest install desktop-control
当前安装

381

历史安装

120

版本

v1.0.0

查看源码

ClawHub

Desktop Control 概览

Desktop Control 提供完整的桌面自动化能力,让 OpenClaw 能与电脑中的任何应用交互。

支持像素级鼠标控制、快速键盘输入、屏幕捕捉与图像识别、窗口管理与剪贴板操作,并内置安全机制。

工作原理

1步骤 1 - 初始化 DesktopController

技能使用 PyAutoGUI 作为核心引擎,并暴露 DesktopController 类。

2步骤 2 - 驱动输入

鼠标移动/点击/拖拽/滚动与键盘事件统一由 DesktopController 处理。

3步骤 3 - 观察屏幕

截图、像素检测与可选的 OpenCV 图像识别帮助定位目标。

4步骤 4 - 安全防护

提供安全角落、暂停控制与可选审批模式,避免误操作。

核心功能

鼠标控制

绝对/相对定位、平滑移动、左/右/中/双击、拖拽与滚动。

键盘输入

可配置输入速度、热键、特殊按键与按下/释放控制。

屏幕操作

全屏或区域截图、像素取色、图像识别与多显示器支持。

窗口管理

列出窗口、按标题激活、读取窗口信息、最小化/最大化。

剪贴板操作

写入系统剪贴板并读取剪贴板文本。

安全机制

安全角落终止、紧急暂停、边界检查与操作日志。

环境要求

  • 无需虚拟机。
  • 需要 Python 包:PyAutoGUI、Pillow、PyGetWindow;OpenCV(opencv-python)为可选图像识别依赖。
  • 支持 macOS、Linux 与 Windows;部分操作可能需要提升权限。
  • 需要图形桌面环境(不支持无头服务器)。

使用场景

表单填充

自动填写网页表单或桌面应用字段。

应用自动化

通过鼠标键盘模拟控制任意桌面应用。

屏幕监控

截图、识别特定 UI 元素,并响应视觉变化。

文件管理

文件拖拽、跨文件夹移动与 Ctrl 多选。

测试与 QA

自动化桌面 GUI 测试流程。

安装方式

npx clawhub@latest install desktop-control

在终端运行命令,或点击页面顶部安装按钮一键完成。

常见问题

需要哪些 Python 包?

需要 PyAutoGUI、Pillow 与 PyGetWindow;OpenCV(opencv-python)为可选依赖。

支持 macOS、Linux 和 Windows 吗?

支持,但部分操作可能需要提升权限。

能在无头服务器上运行吗?

不可以,需要图形桌面环境。

是否有安全保护?

有。包含安全角落、暂停控制、可选审批模式与日志记录。

如何启用图像识别?

安装 OpenCV(opencv-python)即可启用图像匹配。