同一份代码在本地测试请求数据页返回200，
但是在线上之前请求的步骤都可以成功请求到，到请求数据页这步一直返回417
用Advanced REST client在本地模拟这段请求也是可以通过的
查了一下原因，有可能是服务器被识别被封了，如果是这样请问如何解决？谢谢
很可能是服务器因为采集数据过多被封了，这样只能使用HTTP代理了
爬虫有两点很重要，控制抓爬频率，使用代理抓爬，慢一点没关系，持久有效才是目标。
同一份代码在本地测试请求数据页返回200，
但是在线上之前请求的步骤都可以成功请求到，到请求数据页这步一直返回417
用Advanced REST client在本地模拟这段请求也是可以通过的
查了一下原因，有可能是服务器被识别被封了，如果是这样请问如何解决？谢谢
很可能是服务器因为采集数据过多被封了，这样只能使用HTTP代理了
爬虫有两点很重要，控制抓爬频率，使用代理抓爬，慢一点没关系，持久有效才是目标。