新手学习了Python的简单的语法知识,想看一看简单的爬虫源码?有什么好的建议
我个人觉得学python爬虫就是直接看别人的代码,给你发个连接你看看吧,爬虫有好几篇:https://.com/a/1190000005155826
http://git.oschina.net/mktime/python-learn/blob/master/qiubai.py
自己写的糗事百科爬虫,可以从commit历史看出来,从单进程,到多线程,到根据CPU密集型任务和IO密集型任务多进程模型的演变。
现在不知道能不能用了,喜欢的人可以push
https://gitcafe.com/hit9/spider
一个小项目。应该比较容易看懂
scrapy吧,觉着还是不错的