首页 > java 或 c++实现的 抓取数据的软件

java 或 c++实现的 抓取数据的软件

开源的 数据抓取软件,,就是遍历网站,抓取新闻啊,数据啊什么的,网上有人说pthyon 开发网络爬虫比较方便,对这些知识不熟悉。如果仅仅是做一个入门级的爬虫,有没有什么上手快的开源软件???谢谢。


webmagic


抓取网络数据可以用Jsoup,不过还是推荐你用Python写网络爬虫,有很多优秀的框架。


现在发现好像要做一个 爬虫也不容易啊 。。。。


简单点的可以用Jsoup


Jsoup 的优势是解析抓取到的网页。对于需要回话的复杂业务系统有时候还是 会抓取不到数据。(做入门级的抓取确实好用)

localHttpURLConnection 来抓取基本是没出过什么问题的。

httpclient 抓取也是基本没出过什么问题。


一般都是自己写,开源的软件抓取的数据很多时候和自己需要的不一样
http://www.duweixin.net/ 读微信 我的这个网站上的数据抓的是微信的,是用java写的。

【热门文章】
【热门文章】