技术标签: python
实现一个客户端的自动截图,自动上传客户端的截图到网站中,用于做数据的校验。这里的应用不是用浏览器打开的web网页, 无法用 selenium
等web 端自动化工具来实现,只能用客户端自动化工具。
主要用到的python库是pywinauto
pywinauto中文文档
这个库可以获取客户端界面元素的属性通过触发事件,完成对页面的操作。这个功能可以实现某些客户端按钮的点击事件在电脑熄屏的情况下进行自动化操作注意这里要区别于鼠标点击事件,鼠标点击是模拟鼠标进行点击发送信号,需要移动鼠标无法在熄屏下进行操作,上面介绍的四种工具都有模拟鼠标点击的功能
。pywinauto中.click()
事件就是典型的代表。
taskkill /F /IM chrome.exe
,关闭进程。 __pycache__
为python 解释时产生的文件,用于存放代码解析生成的字节码,运行时自动生成,无需关注。autofun
为主要的代码区域,用于存放自己写的自动化执行代码。其目录下的statics存放单图自动截取的函数主要是为了便于开发调试
。dist
下run.exe 是一个可执行文件,是该项目完成后运行pyinstaller -F -i run.py
生成的可执行文件。IKanban
存放要被自动化操作的桌面应用(该文件夹已清空,请结合自己的实际情况)。log
为项目运行的过程中产生的日志文件。picture
为程序自动截取图片存放的位置,每次运行都会刷新。test
个人项目测试案例。util
自己封装的公共函数。venv
python包存放位置,这里用到的是virtualenv
虚拟环境对项目包进行管理,便于在开发环境中项目移植。autoSet.py
为项目中的配置文件,用于存放项目配置信息,这里可以进行进一步的改善,用yaml 存放配置信息,可维护性更强。main.py
单次执行入口。requirements.txt
是virtualenv
生成的包目录,可以在网上找到其相关用法。run.py
项目运行入口。run.spec
打包自动生成的文件,用于发布应用商城。from asyncio import Handle, sleep
from cgitb import handler
from itertools import product
from socket import timeout
import time
from turtle import title
from pywinauto.application import Application
import pywinauto
from PIL import ImageGrab,ImageSequence
from autoSet import *
import logging
import os
# from util.Grablogout import grabLog
from util.grabLog import grablog
def autograb(
user,
password,
productionAction,
chartAction,
pictureName,
overtime=2,
):
try:
# 打开应用 gdir 是应用的路径名称,该应用是win32 程序
app = Application(backend='win32').start(gdir)
# 根据title_re 和 class_name 判断程序是否正常打开
if app.window(title_re = 'iKanbanStart',class_name = "#32770").exists(timeout=2):
print("请检查网络!")
# 链接到对应的页面,该应用打开后的页面是`uia` 类型
app2 = Application(backend='uia')
app2 = app2.connect(title_re ='Form',class_name_re="WindowsForms10")
# 等待应用完全打开,设置超时等待最长时间10s
app2.window(title_re ='Form',class_name_re="WindowsForms10").wait('ready', timeout=10)
app2 = app2.connect(title_re ='Form',class_name_re="WindowsForms10")
# 获取客户端的元素
main = app2.window(title ='Form1',class_name_re="WindowsForms10").child_window(auto_id="WbsMain", control_type="Pane")
# 输入账号密码
main.child_window(title="user", auto_id="txtAccount", control_type="Edit").set_text(user)
main.child_window(title="password", auto_id="txtPassword", control_type="Edit").set_text(password)
# 触发click()点击事件,登录客户端
main.child_window(title="Login", auto_id="btnLogin", control_type="Button").click()
# 登录后获取客户端的主页面
Production = app2.window(title ='Form1',class_name_re="WindowsForms10")
# 获取要操作的页面元素,该元素是超链接
Production=Production.child_window(title="Production", auto_id="btnLib1", control_type="Hyperlink")
Production.wait('ready',timeout=10)
# 超链接没有click事件在这里模拟鼠标点击,这里的click_input 事件是调用了电脑鼠标,进行操作
Production.click_input(button='left', double=True)
# 等待页面在桌面显示后点击元素
app2["Form1"][productionAction].wait('visible')
app2["Form1"][productionAction].click_input()
set = app2.window(title ='Form1',class_name_re="WindowsForms10")
set = set.child_window(title="", auto_id="LblSetting", control_type="Text").click_input()
paneSet = app2.window(title ='Form1',class_name_re="WindowsForms10")
paneSet.child_window(title="图表", auto_id="rbtLine", control_type="RadioButton").wait('ready', timeout=10)
paneSet.child_window(title="图表", auto_id="rbtLine", control_type="RadioButton").click()
# 这里的**chartAction 是python拆解字典的语法
if paneSet.child_window(**chartAction).exists(timeout = 3):
pass
paneSet.child_window(**chartAction).click()
paneSet.child_window(title="关闭", control_type="Button").wait("ready")
paneSet.child_window(title="关闭", control_type="Button").click_input()
i = 0
while i<8:
if paneSet.child_window(title="关闭", control_type="Button").exists(timeout=2):
time.sleep(overtime)
else:
break
time.sleep(3)
# 截图存放的路径
gpictureDir = gpicture + pictureName
# 截图并保存图片
app2.window(title ='Form1').child_window(auto_id="WbsMain", control_type="Pane").capture_as_image().save(gpictureDir)
# print(app2.window(title ='Form1',class_name_re="WindowsForms10").print_control_identifiers())
# app2.window(title ='Form1').child_window(title="", auto_id="LblSignOut", control_type="Text").click_input()
# 以关闭进程的方式通过cmd 关闭程序,可以避免客户端卡死。
os.system(f"taskkill /F /IM iKanban.exe")
except Exception as e:
# 日志打印
logging.exception(e)
print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
os.system(f"taskkill /F /IM iKanban.exe")
# pywinauto.keyboard.send_keys('%{F4}')
grablog(e)
grablog(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
return 0
grablog(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
# 返回截取到的图片名称以及路径,用于发送到数据库。
grablog([gpictureDir,pictureName])
return [gpictureDir,pictureName]
因为本项目是在工作实际开发中用到的技术,涉及信息安全,不给予项目大图展示。
要操作客户端的UI, 我们要用到客户端GUI 的分析工具,这让我们更容易捕获客户端的UI元素,官网中有工具的介绍
工具介绍链接
在这里为大家提供网盘下载链接。
网盘链接:https://pan.baidu.com/s/1wk1zxryEv9vsmIy12Sivtg
提取码:yl85
1.下载工具包解压后,有11个文件,每个后缀为exe 的都是一个GUI 分析工具,你可以点击直接运行
2.点击打开其中一个UIspy.exe,可以获取到界面的元素,入下图中的ClassName、 Name 对应的就是程序中的title_re
以及class_name_re
其中_re
正则匹配的意思。
app2.window(title_re ='Form',class_name_re="WindowsForms10").wait('ready', timeout=10)
3.捕获到了主窗口,我们可以通过打印的形式把客户端的UI 元素打印出来。这样我们就可以更加清晰客户端的页面组成。通过打印语句我们可对GUI的child_window 进行操作,类似的我们还可以打印出child_window 的 child_window ……
print(app2.window(title ='Form1',class_name_re="WindowsForms10").print_control_identifiers())
Dialog - 'Form1' (L0, T0, R1920, B1080)
['Dialog', 'Form1', 'Form1Dialog']
child_window(title="Form1", auto_id="FrmMain", control_type="Window")
|
| Pane - '' (L0, T60, R1920, B1080)
| ['Pane', '\uf129Pane', 'Pane0', 'Pane1', '\uf129Pane0', '\uf129Pane1']
| child_window(auto_id="WbsMain", control_type="Pane")
| |
| | Pane - '' (L0, T60, R1920, B1080)
| | ['Pane2', '\uf129Pane2']
| | |
| | | Pane - '' (L0, T60, R1920, B1080)
| | | ['Pane3', '\uf129Pane3']
|
| Pane - '' (L0, T0, R1920, B60)
| ['Pane4', '\uf129Pane4']
| child_window(auto_id="PnlMove", control_type="Pane")
| |
| | Static - '' (L1155, T0, R1223, B60)
| | ['Static', '\uf298', '\uf298Static', 'Static0', 'Static1']
| | child_window(title="", auto_id="LblLog", control_type="Text")
| |
| | Static - '' (L1223, T0, R1291, B60)
| | ['\uf069Static', 'Static2', '\uf069']
| | child_window(title="", auto_id="LblSetting", control_type="Text")
| |
| | Static - '' (L209, T0, R238, B60)
| | ['Static3', '\uf129', '\uf129Static']
| | child_window(title="", auto_id="LblI", control_type="Text")
| |
| | Static - '' (L1290, T0, R1358, B60)
| | ['Static4', '\uf060Static', '\uf060']
| | child_window(title="", auto_id="LblBack", control_type="Text")
| |
| | Static - '' (L1358, T0, R1426, B60)
| | ['Static5', '\uf015', '\uf015Static']
| | child_window(title="", auto_id="LblHome", control_type="Text")
| |
| | Static - '' (L1425, T0, R1493, B60)
| | ['Static6', '\uf01e', '\uf01eStatic']
| | child_window(title="", auto_id="LblRedo", control_type="Text")
| |
| | Static - '' (L1493, T0, R1561, B60)
| | ['\uf0f3Static', 'Static7', '\uf0f3']
| | child_window(title="", auto_id="LblBell", control_type="Text")
| |
| | Static - '' (L1560, T0, R1620, B60)
| | ['\uf2be', 'Static8', '\uf2beStatic']
| | child_window(title="", auto_id="LblNoImg", control_type="Text")
| |
| | Static - '请登录' (L1620, T0, R1800, B60)
| | ['请登录Static', 'Static9', '请登录']
| | child_window(title="请登录", auto_id="LblUser", control_type="Text")
| |
| | Static - '' (L1800, T0, R1920, B60)
| | ['Static10', '\uf08bStatic', '\uf08b']
| | child_window(title="", auto_id="LblSignOut", control_type="Text")
| |
| | Static - 'Kanban' (L234, T-3, R386, B41)
| | ['Kanban', 'Static11', 'KanbanStatic']
| | child_window(title="Kanban", auto_id="Label2", control_type="Text")
| |
| | Static - '' (L191, T5, R193, B53)
| | ['Static12']
| | child_window(auto_id="Label1", control_type="Text")
| |
| | Pane - '' (L23, T8, R173, B53)
| | ['Pane5']
| | child_window(auto_id="PictureBox1", control_type="Pane")
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数