需求
我有个分布式爬虫系统, 每天的抓取量会在2000W左右, 现在需要给爬虫接上大量的代理服务器.
考虑的是写个随机代理, 这样对原有程序改动不大. 这个代理会自动将请求分配到可用的代理服务器(若不可用则换代理重试)
另外, 代理池中的大量的代理服务器准备通过端口扫描和爬虫来维护
问题
我主要用python编程, 现在想的是用tornado的写个异步的代理服务器,
请问有现成的开源项目吗?
感觉nginx能做到, 但我对nginx不太熟悉, 有具体点的文章推荐么?
或者其他方案?
请不吝赐教.
haproxy或者lvs这种轮子不要太多。