在学习scrapy中,比如抓豆瓣小组。
1、抓文章列表信息
这个好理解,按照网上的例子做到了。
2、抓小组简介,小组建立时间等
是单独建一个item类,单独一个pipeline,还是在同一个pipeline里保存到数据库?
看了文档,没太理解怎么做。对pipeline的机制不太清楚。
谢谢!
把第一层抓到的以参数传到第二层,最后一起在pipeline里保存到数据库。
在学习scrapy中,比如抓豆瓣小组。
1、抓文章列表信息
这个好理解,按照网上的例子做到了。
2、抓小组简介,小组建立时间等
是单独建一个item类,单独一个pipeline,还是在同一个pipeline里保存到数据库?
看了文档,没太理解怎么做。对pipeline的机制不太清楚。
谢谢!
把第一层抓到的以参数传到第二层,最后一起在pipeline里保存到数据库。