每次搜索一个关键词 Google 或者百度都会说找到多少条结果 那么多 感觉一个个爬不太现实 等爬完 估计结果的排序都变了
有没有什么好的办法 取得所有条目
add:有哪个搜索引擎提供api了吗 感觉有api靠谱点
google有api可以返回结果，不用去爬。试下这个，搜索美女
http://ajax.googleapis.com/ajax/services/search/web?q=%E7%BE%8E%E5%A5%B3&v=1.0&start=0&rsz=8
参数start 从哪条记录开始，参数rsz 返回几条数据。返回json数据。