首页 > 在Linux下做多协议的数据采集爬虫,除了libcurl外,还有什么其他推荐么?

在Linux下做多协议的数据采集爬虫,除了libcurl外,还有什么其他推荐么?

近期要做一个项目,其中重点就是对不同的设备(传感器等)上采集到的数据进行爬取,然后统一处理。

需求如下:

能够抓取不同设备采集的数据,而不同的设备使用的协议是不同的(如HTTP、FTP、SNMP和telnet等等)。同时,如果加入新的设备,使用了新的协议,也能够相对比较自然处理。

curl对很多协议都有了比较完美的支持,是一个不错的选择,所以这个首先就加入到考虑范围内了。

除了libcurl外,还有什么其他的推荐呢?另外,做这方面的项目,有什么需要注意的地方?

【热门文章】
【热门文章】