比如,我去抓http://A.com，logging会出现：
Redirecting <302> to <GET http://B.com> from <http://A.com>
Redirecting <302> to <GET http://C.com> from <http://B.com>
Redirecting <302> to <GET http://A.com> from <http://C.com>
Crawled <200> <GET http://A.com>
.......................
..........抓取的内容....
我的问题是：这种重定向有何意义？
你爬取不就有点难了：）
服务器应对非正常请求的一种手段吧，在我的爬取数据的过程中也遇到过类似的问题，
还有以301、302混着来，最后给你个200，200内容还告诉你访问错误或你访问的页面不存在
可以记录一些数据吧。对客户端来说，最终访问的还是a，但是对服务端来说，客户端访问了，a,b,c三个站点。服务端可以根据这个做一些处理。比如可以实现a，b,c三个站点同时登陆。