如题，主要是考虑其如何保证爬取爬取的用户不出现重复，不想重复爬取。如果想用pyspider做的话
age设为-1，就永远不爬取重复的URL
用bloomfilter过滤重复的用户名/uid，每次都查数据库开销大
pyspider好像默认不爬取重复url,设置一个时间，这短时间内酒不会重复爬取这个数据了，
你说的用户如果一个网页中有很多用户话，这个就要你自己实现去重了
我是把每个采集结果存到一个数据库里,每次保存的时候判断下是否在数据库中已经存在了,在on_result里.
如题，主要是考虑其如何保证爬取爬取的用户不出现重复，不想重复爬取。如果想用pyspider做的话
age设为-1，就永远不爬取重复的URL
用bloomfilter过滤重复的用户名/uid，每次都查数据库开销大
pyspider好像默认不爬取重复url,设置一个时间，这短时间内酒不会重复爬取这个数据了，
你说的用户如果一个网页中有很多用户话，这个就要你自己实现去重了
我是把每个采集结果存到一个数据库里,每次保存的时候判断下是否在数据库中已经存在了,在on_result里.