用scrapy去爬取一个国外期刊网站,但是网站返回内容是用js输出的,所以,直接无法爬取。通过分析,获得post的请求页面http://pubs.rsc.org/en/search/journalresult,以及form data。然后就想通过post在线工具去模拟浏览器去获取数据。
一些参考图如下所示:
(第一步) 用chrom分析,得到url和参数,如下图:
(第二步)post在线工具
不能像浏览器一样能得到返回数据。
但是浏览器返回的是这样的,这才是我要的结果。
一个人已经研究好几天了,接近崩溃边缘,很孤独。
求教。
Content-Type:application/x-www-form-urlencoded
建议使用抓包工具 如 fiddle等 能更准确一些