mitmproxy

https://mitmproxy.org/

代理服务器,可监控所有的过路流量,爬虫利器。

直接用 pip 安装,然后运行

mitmproxy

注意,如果允许远程访问,需要参考 https://docs.mitmproxy.org/stable/concepts-options/ , 关闭 block_global

$ cat ~/.mitmproxy/config.yaml
block_global: false
listen_port: 58000

各种快捷键类似 vi

信任证书

访问: http://mitm.it/

透传模式

使用这种模式,客户端就无需设置代理,所有网络请求都经过 mitmproxy。

用 Mac 做服务器比较简单,参考 https://docs.mitmproxy.org/stable/howto-transparent/#macos

接下来,客户端配置 gateway 为 mitmproxy 所在的服务器的地址,就基本完成了网络设置,测一下效果吧。

附:

mitmdump --mode transparent --showhost --ssl-insecure "!~a"

Windows 安装

# edit %APPDATA%\pip\pip.ini
[global]
index-url = https://pypi.douban.com/simple
trusted-host = pypi.douban.com
format=columns

conda create --name mitm python=3.6
conda activate mitm
pip install mitmproxy