首页 > 为什么post,得不到数据?

为什么post,得不到数据?

用scrapy去爬取一个国外期刊网站,但是网站返回内容是用js输出的,所以,直接无法爬取。通过分析,获得post的请求页面http://pubs.rsc.org/en/search/journalresult,以及form data。然后就想通过post在线工具去模拟浏览器去获取数据。

一些参考图如下所示:

(第一步) 用chrom分析,得到url和参数,如下图:

(第二步)post在线工具

不能像浏览器一样能得到返回数据。

但是浏览器返回的是这样的,这才是我要的结果。

一个人已经研究好几天了,接近崩溃边缘,很孤独。
求教。


Content-Type:application/x-www-form-urlencoded

建议使用抓包工具 如 fiddle等 能更准确一些

【热门文章】
【热门文章】