目錄
- 一、配置抓包工具
- 二、配置手機代理
- 三、抓取數據
- 四、總結
一、配置抓包工具
1.安裝軟件
本文選擇的抓包工具:Fiddler
具體的下載安裝這里不詳細贅述!(網上搜Fiddler安裝,一大堆教程),本文以實戰為例,就不再這里浪費時間了!
2.配置Fiddler
安裝好之后,接下來就開始配置Fiddler工具(這里是關鍵,仔細閱讀!)
配置Connections
打開Fiddler后,點擊Tools->Options

點擊Connections

勾選上對應的選項
配置HTTPS
由于目前大部分APP都是https加密,包括本文實戰『某乎』案例也是https加密,因此配置HTTPS,來抓取https數據包!

勾選上對應的選項
最后抓包工具Fiddler就配置好了
記得重啟Fiddler!重啟Fiddler!重啟Fiddler!不然可能不生效
二、配置手機代理
1.設置代理
準備工作
首先看一下安裝Fiddler主機ip(電腦和手機必須處于同一局域網)
查看ip命令

開始配置
目標代理主機信息
ip:192.168.31.195
端口:8888
在wifi無線網處進去,點擊配置代理
填寫好相關代理信息

2.安裝證書
在瀏覽器輸入:
http://192.168.31.195:8888

點擊下載證書后,下面就開始安裝(看圖操作)




ok,這樣手機端就配置完成,下面開始抓取數據?。?!
三、抓取數據
1.打開某乎app

2.查看數據包列表
打開app之后,Fiddler就已經抓取到數據了

這里可以看到app發送和接收了哪些數據包
為了更加精準定位到某乎(只看目標的數據包),添加一個過濾條件

這樣我們獲取的數據包列表就都是過濾條件內的目標網址

3.查找數據包
比如點擊熱榜

對應的https加密數據包如下:

數據包中的數據如下:

提取出url鏈接

https://api.zhihu.com/topstory/hot-list?limit=10reverse_order=0
拿到url之后,接著開始編程爬取保存數據。
4.編寫爬蟲程序

ok這樣就可以將數據獲取下來!
四、總結
1.配置抓包工具Fiddler(重點)。
2.ios蘋果手機配置證書和設置代理(安卓手機也類似)。
3.簡單使用Fiddler(過濾數據包、查看數據包等)。
4.本文以某乎為實戰,實現了python爬取手機app數據
到此這篇關于用Python爬取某乎手機APP數據的文章就介紹到這了,更多相關Python爬取APP數據內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!
您可能感興趣的文章:- Python自動化爬取天眼查數據的實現
- Python爬蟲實戰之爬取京東商品數據并實實現數據可視化
- Python爬蟲之自動爬取某車之家各車銷售數據
- 教你如何使用Python快速爬取需要的數據
- Python爬蟲之爬取我愛我家二手房數據
- python使用XPath解析數據爬取起點小說網數據