比如下面这个网站：
http://www.ncbi.nlm.nih.gov/pubmed?term=%28%222013%22%5BDate%20-%20Publication%5D%20%3A%20%222013%22%5BDate%20-%20Publication%5D%29
筛选了2013年发表的论文。
1.第一页只显示了20篇，总共有1132539篇
2.我点击next后，网页显示的是第二页的内容。这时url会变成http://www.ncbi.nlm.nih.gov/pubmed
3.再点击next，显示第三页的内容，这时url还是http://www.ncbi.nlm.nih.gov/pubmed
......
而如果你复制这个地址:http://www.ncbi.nlm.nih.gov/pubmed，浏览器并不会跳到第2/3/4...页。
我咨询了一个同学，他说这是用ajax处理的，但具体如何爬取剩下的内容他也不知道。
那么如何爬取所有的内容？（当然第一页的内容很简单，我已经爬取出来了）
先谢谢各位了。
ps:我使用的是beautifulsoup+requests
我看了你提供的网站
发现点击分页他会向 http://www.ncbi.nlm.nih.gov/pubmed/ 发送一个post请求
form 参数如下
p$l:AjaxServer
portlets:id=relevancesortad:sort=;id=timelinead:blobid=NCID_1_16149236_130.14.18.34_9001_1423579985_273829824_0MetA0_S_MegaStore_F_1:yr=:term=(%222013%22%5BDate%20-%20Publication%5D%20%3A%20%222013%22%5BDate%20-%20Publication%5D);id=pmcommonsad:page=none;id=reldata:db=pubmed:querykey=1;id=searchdetails;id=recentactivity
load:yes
ncbi_phid:396905D24DA1BD3100000000002DE6E2
beautifulsoup只能获得静态html，不能模拟界面操作。
你的需求，可以用selenium webdriver来实现。selenium webdriver可以模拟浏览器操作，比如你的需求，只要用webdriver的接口，找到下一页按钮的DOM节点，给它发送点击事件，就可以了。
上面几位提到的直接查看发起的请求，然后分析请求的规律，猜出请求的接口是如何设计的，这样的话，比爬取HTML页面更快，但是有一个问题，就是有可能人家接口的调用方式你不一定能完全猜测出来，为了更高的成功率（对于我的业务来讲，速度不是最主要的，虽然他也很重要），我使用过两种方式，可以爬取几乎任何网站任何形式的内容。
- 基于开源的Chrome浏览器 + 定制的插件 + 服务器端控制程序。我的需求是需要让一个用户输入自己在某网站上面的用户名、密码，登录的时候还需要输入图片验证码或者输入手机验证码，对于我这种需求，不可能简单的使用爬取。所以，解决方法就用到的浏览器。
Chrome 浏览器用来成为我整个爬取的底层技术，我的插件则用来控制浏览器，服务器端发起一次爬取请求，插件收到之后，使用Chrome打开网页，然后直接抓取网页上面的验证码图片，如果我判断出网站是要求手机验证的，那么就直接点击一下发送验证码（插件直接发起一次点击事情），这个时候，服务器端则通知用户端输入（若是图片验证码，客户端也会直接显示出来），然后提交，插件将用户提交的数据填写到打开的网页中，点击提交。
因为网页就是浏览器打开的，所以，爬取任何数据都不是问题了。
- 使用 Chromium OS，直接安装至服务器上面，我用的直接是二次开发 Chromium OS 系统，这样更难，全是效率和稳定性更高，现在还未完成。
直接对ajax的api爬数据就好了，你所说的爬的url，只是从用户角度来模拟的
直接用开发者工具看浏览器发送的请求
你可以用nodejs先渲染页面，然后再进行解析渲染的页面。