首页 > Python 爬取网页,?

Python 爬取网页,?

想爬去今日头条这个网页中的数据,发现Post数据

有一些变量是没有变化的,有一些是在变化的,一直找不到变化的规律,想请指教一下?能看出来是怎么变化的么?max_behost_time =str(time.time())[0:12]

max_create_time= float(str(time.time())[0:12])+552
max_time=float(str(time.time())[0:12])+1162
这是我找到的规律,但是不对

你去看看它的js代码,这些值有可能是通过ajax获取,也有可能是根据一定的规则生成,无论如何,一定与js有关。


和time没有必然联系

从字面上看,max_create_time指定了一个边界条件,即我将获取的下一组数据的创建时间的最大值。根据其业务逻辑,max_create_time的值应该是当前列表的所有项中创建时间的最小值

至于max_behot_time,从字面上看不出,应该和另一个列表有关。

_这个参数无实义,目的是防止浏览器缓存。


能不能建立个群讨论一下啊?我也有这个需求


首先你应该从开始找起,就在首页的时候,第一次请求是这样的:没有max_create_time:

然后这个请求返回的结果:你会发现点东西:

再看第二次请求的参数:知道了吧:max_behot_time这个值就是存在上一次返回结果中:

至于max_create_time你自己在试试~~~

【热门文章】
【热门文章】