首页 > 【求解】nodejs豆瓣小组爬虫分析与解决。

【求解】nodejs豆瓣小组爬虫分析与解决。

豆瓣小组地址:
http://www.douban.com/group/ (采用 request、http.get全部是403错误)
(ALL)具体小组地址:
http://www.douban.com/group/小组ID/
例如:分页地址
http://www.douban.com/group/kaopulove/discussion?start=数字(采用 request、http.get,还是TM403错误)
该小组下的具体主题地址:
http://www.douban.com/group/topic/54905582/(采用 request、http.get,吐血还是403错误)

大伙有没有相应的解决方案呢?demo 等等之类的,这TM的全是403错,这是为毛呢!!
电影的那个爬虫我看过了,测试了是可以爬的。为毛小组爬不了呢?
我也看了不少Python写的爬虫都有爬小组的。为毛nodeJS不行呢?


User-Agent修改了没有,
Cookie有没有禁止掉,
时间设置了没有,不要影响别人正常使用


豆瓣采集(按小组)爬虫
http://www.shenjianshou.cn/index.php?r=market/configDetail&pid=12


爬豆瓣应该没问题的,这里爬取IMDB相关界面。。。https://github.com/RocketV2/n...

【热门文章】
【热门文章】