我想实现一个简单的图像识别,然后操作键盘鼠标。举个例子,比如截图整个电脑桌面,然后判断里面有没有 qq 的图标,如果有,就执行后面的功能。我去网上看了一下,感觉 yolo5 太重太复杂了,python 这方面我只学过一点点基础语法。想请教一下各位大佬,有没有好的方案,或者现成的开源项目,感谢
我想实现一个简单的图像识别,然后操作键盘鼠标。举个例子,比如截图整个电脑桌面,然后判断里面有没有 qq 的图标,如果有,就执行后面的功能。我去网上看了一下,感觉 yolo5 太重太复杂了,python 这方面我只学过一点点基础语法。想请教一下各位大佬,有没有好的方案,或者现成的开源项目,感谢
|
qjbcnrsMar 6, 2023
1
换个思路,读取文件夹不是更简单?
|
|
vincentV2Mar 6, 2023
2
感觉通过 opencv 模板匹配就行
参考: https://docs.opencv.org/4.x/de/da9/tutorial_template_matching.html |
|
dreaskyMar 6, 2023
3
SikuliX AirTest
|
|
raycoolMar 6, 2023
4
嗯 模板匹配就行 难度不大。
|
|
hlxMar 6, 2023
5
uibot 了解一下?
|
|
dw2693734dMar 6, 2023
6
OpenCV ( https://opencv.org/ ):OpenCV 是一个用于计算机视觉和机器人的开源库,它可以用 Python 和其他语言编写。它有很多函数和算法,支持各种图像处理、计算机视觉和机器学习任务,包括图像识别。
PyAutoGUI ( https://pyautogui.readthedocs.io/en/latest/ ):PyAutoGUI 是一个用于控制键盘和鼠标的 Python 库,可以对显示器进行基于像素的控制。这可能对您的图像识别项目非常有用,因为您可以通过屏幕快照来检查图像中的特定区域。 |
|
7
我觉得你不如先说你要干嘛,可能都不需要通过图像识别图标判断
|
|
fbichijingMar 6, 2023
8
不知道你想干什么。有时候用按键精灵可以比较快实现。
|
|
ClericPyMar 6, 2023
9
最近正好在写这方面的脚手架, 不过刚画了类图, 估计你赶不上用
直接用 pyautogui 吧, 自己会优化里面 pyscreeze 缓存, 并且开启 Opencv 加速的话, 比 autohotkey 还快好几倍 |
|
we9taMar 6, 2023
10
直接读取注册表 判断有没有安装这个软件
|
|
11
@FYFX 其实就是我玩的一个游戏,有个任务是十分钟完成一次的,任务完成的时候会有个灯泡的图标亮,我想做的就是间隔一段时间识别一下我的游戏界面,看任务有没有完成,完成的话就点击提交,然后控制键盘鼠标帮我切换账号,就是这个事。额对了,我怎么新增一条置顶的评论,因为我说一开始的不太清楚,刚玩这个社区没多久,也感谢大家的帮助
|
|
zictosMar 6, 2023 via Android
12
直接 opencv 加 pyautogui ,我用这个组合写过很复杂的游戏方面的脚本,你想实现的基本都能实现。
|
|
nosilenceMar 6, 2023
13
下个按键精灵,纯图形界面,不用 5 分钟搞定
|
|
BeautifulSoapMar 6, 2023
14
@yzqdm 你这需求按键精灵最合适
|
|
16
@BeautifulSoap 决定先试试按键精灵了,谢谢大佬
|
|
y4nssssMar 7, 2023
17
import cv2
import pyautogui screen = pyautogui.screenshot() img = cv2.cvtColor(np.array(screen), cv2.COLOR_RGB2BGR) template = cv2.imread("qq_icon.png", cv2.IMREAD_GRAYSCALE) result = cv2.matchTemplate(img, template, cv2.TM_CCOEFF_NORMED) if cv2.minMaxLoc(result)[1] > 0.8: # 执行键盘鼠标操作 pyautogui.press("enter") |
|
customsshenMar 7, 2023 via Android
18
airtest
|
|
ShineyWangMar 7, 2023
19
powerautomate 是按键精灵的上位替代
|
|
20
ahk 完美符合需求
https://wyagd001.github.io/zh-cn/docs/lib/ImageSearch.htm ```ahk CoordMode Pixel ImageSearch, FoundX, FoundY, 0, 0, A_ScreenWidth, A_ScreenHeight, C:\Users\aa.png if (ErrorLevel = 2) MsgBox Could not conduct the search. else if (ErrorLevel = 1) MsgBox Icon could not be found on the screen. else MsgBox The icon was found at %FoundX% : %FoundY%. ``` |
|
N9f8Pmek6m8iRWYeMar 7, 2023
21
clicknuim
|
|
DroiMar 7, 2023
22
你可以参考这个魔兽的钓鱼挂,和你想要的功能差不多
https://github.com/codingories/mywowfishing https://juejin.cn/post/6844904077768278029 这找到的 |
|
24
@zictos 大佬,我想请教一下,我用 pyautogui ,鼠标移动到游戏界面里,就失效了。我去网上查了一下,好像是要驱动级的键鼠模拟才可以,想问下有没有什么其他的方案
|
|
25
@y4nssss 大佬,我想请教一下,我用 pyautogui ,鼠标移动到游戏界面里,就失效了。我去网上查了一下,好像是要驱动级的键鼠模拟才可以,想问下有没有什么其他的方案
|
|
26
@dw2693734d 大佬,我想请教一下,我用 pyautogui ,鼠标移动到游戏界面里,就失效了。我去网上查了一下,好像是要驱动级的键鼠模拟才可以,想问下有没有什么其他的方案
|
|
zcjwxfMar 18, 2023
27
没有很强的 windows 水平上来就封号的............别浪费时间了, 简单的识别+按键模拟是个人都能写出来
|