首页 > Java如何抓取ajax生成的页面

Java如何抓取ajax生成的页面

如题,最近在做一个从网上抓内容的工具,发现需要的内容刚好是ajax动态加载的,不知道有什么办法可以搞定这个问题?

有什么推荐使用的Java库么?我找了找,发现有人说htmlunit好像可以,还在琢磨。

谢谢了!


这个我当时遇到的一个情况是,ajax传回来的是一大堆json,然后前端js动态解析这些出来,我的目的是获取解析之后的数据,这样比较直观。
我用的selenium webdriver,自动化测试的一个东西。


可以直接用浏览器查看ajax请求的URL,直接down这个就好了


如果说是要抓js生成的页面,貌似没有这方面的类库(本人去年在用程序模拟新浪微博登录的时候找过,没找到。。。)
不过有可以解析javascript语句的java类库

你可以先对页面进行分析,然后确定哪些数据是必须的,即使是ajax动态加载的,数据也是可以获取到的,只是展现形式不同罢了

【热门文章】
【热门文章】