使用scrapy的时候，有些局部内容是需要登陆才能显示的，这个局部内容是一个单独的ajax请求，可以按浏览器F12调式工具找到具体的ajax请求地址，打开就能看到html内容。
上面是手工登录查看，问题是当使用scrapy的时候，要请求这个ajax地址，怎么做呢？
我有以下思路和问题：
1、手动登陆网站，把cookie拷贝出来，放到爬虫中。试验好像不行，请求不了那个ajax的地址。
2、用casperjs模拟登陆。可是模拟登陆之后怎么做呢？
使用scrapy的时候，有些局部内容是需要登陆才能显示的，这个局部内容是一个单独的ajax请求，可以按浏览器F12调式工具找到具体的ajax请求地址，打开就能看到html内容。
上面是手工登录查看，问题是当使用scrapy的时候，要请求这个ajax地址，怎么做呢？
我有以下思路和问题：
1、手动登陆网站，把cookie拷贝出来，放到爬虫中。试验好像不行，请求不了那个ajax的地址。
2、用casperjs模拟登陆。可是模拟登陆之后怎么做呢？