首页 > 为什么我找不到新浪微博的ajax请求?

为什么我找不到新浪微博的ajax请求?

【问题解决了,我的cookie过期了。。。】



毕业设计要求做新浪微博的数据分析,然后我打算用python写爬虫。

经过查资料,我能找到当新浪微博加载的"下一页"之类的json数据,但是页面最开始(第一页)的内容却找不到。

比如我爬取http://huati.weibo.com/k/广州下雪?retcode=6102

我找到了当拖到页面底部的时候,微博用

http://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100808&k=%E5%B9%BF%E5%B7%9E%E4%B8%8B%E9%9B%AA&from=526&_from_=huati_topic&pre_page=1&page=1&max_id=&end_id=3936997230449888&pagebar=0&filtered_min_id=&pl_name=Pl_Third_App__9&id=1008082953797524284b78e138596608638001&script_uri=/p/1008082953797524284b78e138596608638001&feed_type=1&tab=home&current_page=1&since_id=2399999985&domain_op=100808&__rnd=1454218643270
这样的链接来获取新的页面

但是我用python爬下来的页面,本来应该有微博数据的地方(script标签里的json数据),却与页面上不一样。

我在Chrome中看到的是这样的:

在146行后面就是保存在json里面的HTML数据

但是我用python爬下来跟上面的一样,就是json里面保存的html数据不对。

我感觉它应该是有个ajax请求,但是用LIVE HTTP Headers跟Chrome的Network翻了好多遍,就是找不到……

请问如何才能在找到这个ajax请求呢?

【热门文章】
【热门文章】