python轻松抓取app接口-大连之窗

您当前的位置：大连之窗 > 商讯

python轻松抓取app接口

2020-03-30 06:38:16 来源：互联网阅读：-

我们使用代理软件拦截 http 或者 https 请求常见的有 Fiddler 和 Charles。这两款软件虽然比较强大，但是如果我们想实现 python 抓取一些 app 数据进行分析的话，今天介绍一款更方便的工具 mitmproxy

安装 mitmproxy

如果我们本机安装了 pip 或者 pip3

pip install mitmproxy --ignore-installed six

或者直接

brew install mitmproxy

或者下载安装包手动安装下载地址，安装完成后配置环境变量

启动

直接 mitmproxy 命令默认在端口 8080 上启动一个 mitmproxy 本地的代理服务

mitmproxy

当然也可以使用如上命令添加 -p 自定义启动的端口如，mitmproxy -p 8888

使用 mitmweb 命令会同时在 8080 端口和 8081 端口启动两个服务，访问 8081 端口是一个 web 页面，实时显示访问数据

mitmweb

app 抓包

配置手机代理手机代理和通用的代理配置一样，在 wifi 网络的高级里面设置手动，并输入 pc 端的 ip 地址，端口号是上面启动 mitmproxy 的端口默认 8080

https 抓包浏览器访问 http://mitm.it 下载对应的 pem 证书并安装。然后在手机端打开需要抓包的 app 就可以正常读取 app 请求每个页面的数据包

测试抓取指定 app 接口数据编写 python 程序并使用命令为 test.py 程序如下然后使用 mitmweb -s wlw.py 命令启动服务

#!/usr/bin/env python3# -*- coding: UTF-8 -*-import jsonfrom mitmproxy import ctx
def response(flow) : url = &#34;https://xxx/handle/execute.jhtml&#34; if flow.request.url.startswith(url) : text = flow.response.text data = json.loads(text) print(data)
 result = data.get(&#39;result&#39;) print(result) ctx.log.info(str(result)) else: print(flow.request.url) print(&#34;\n&#34;) print(flow.request.text) print(&#34;\n&#34;) print(flow.response.text)

可以发现我们可以直接把抓包得到的数据结果在控制台打印出来，这样我们在 python 程序中获取到指定的数据以后就可以非常方便的保存和进行分析。

{&#39;result: &#39;{&#34;sign&#34;:&#34;&#34;,&#34;secret&#34;:&#34;&#34;,&#34;oper&#34;:&#34;loginoffice&#34;,&#34;type&#34;:&#34;account&#34;,&#34;source&#34;:&#34;O&#34;,&#34;version&#34;:&#34;1009&#34;,&#34;app_version&#34;:&#34;4.9.4_debug&#34;,&#34;device&#34;:{&#34;OSV&#34;:&#34;&#34;,&#34;OS&#34;:&#34;&#34;,&#34;IMEI&#34;:&#34;00000000-21a8-bdd2-ffff-ffff97d5da05&#34;},&#34;para&#34;:{&#34;umtoken&#34;:&#34;&#34;,&#34;password&#34;:&#34;123456&#34;,&#34;username&#34;:&#34;FJFZSOP1Y1&#34;},&#34;deviceBrand&#34;:&#34;HUAWEI&#34;,&#34;deviceModel&#34;:&#34;PRA-AL00X&#34;,&#34;deviceOsVersion&#34;:&#34;8.0.0&#34;,&#34;deviceOs&#34;:&#34;Android&#34;,&#34;name&#34;:&#34;&#34;,&#34;userName&#34;:&#34;FJFZSOP1Y1&#34;,&#34;code&#34;:&#34;3&#34;,&#34;msg&#34;:&#34;密码不正确！&#34;}&#39;, &#39;arg&#39;: &#39;{&#34;sign&#34;:&#34;&#34;,&#34;secret&#34;:&#34;&#34;,&#34;oper&#34;:&#34;loginoffice&#34;,&#34;type&#34;:&#34;account&#34;,&#34;source&#34;:&#34;O&#34;,&#34;version&#34;:&#34;1009&#34;,&#34;app_version&#34;:&#34;4.9.4_debug&#34;,&#34;device&#34;:{&#34;OSV&#34;:&#34;&#34;,&#34;OS&#34;:&#34;&#34;,&#34;&#34;00000000-21a8-bdd2-ffff-ffff97d5da05&#34;},&#34;para&#34;:{&#34;umtoken&#34;:&#34;&#34;,&#34;password&#34;:&#34;123456&#34;,&#34;username&#34;:&#34;FJFZSOP1Y1&#34;},&#34;deviceBrand&#34;:&#34;HUAWEI&#34;,&#34;deviceModel&#34;:&#34;PRA-AL00X&#34;,&#34;deviceOsVersion&#34;:&#34;8.0.0&#34;,&#34;deviceOs&#34;:&#34;Android&#34;,&#34;name&#34;:&#34;&#34;,&#34;userName&#34;:&#34;FJFZSOP1Y1&#34;}&#39;}

至此 app 的数据包的抓包流程就走完了。

申明特此申明：本文只作为笔者自己的 app 数据抓包分析使用，请读者不要恶意使用抓包程序对商业 app 进行违法的一些行为。