首页 > 携程网页抓取

携程网页抓取

想要抓取携程酒店中房型的数据(例子:http://hotels.ctrip.com/hotel/1899874.html#ctm_ref=www_hp_bs_lst),发现
房型信息是通过js加载的(http://hotels.ctrip.com/Domestic/tool/AjaxHotelRoomListForDetail.aspx+参数),其中有两个必要的参数hotel和contyped
问题来了:
1. contyped参数是通过页面的js来计算的,而且该js代码会隔一段时间变化一次
2. 貌似需要带上cookies发送请求

那请问要抓取这些房型信息,可以用什么办法呢?

我尝试过的
服务器发送请求,请求到携程的页面,保存cookies并且提取计算contyped的js代码,将js返回前端页面,前端页面获取js代码后执行并且获得contyped,将contyped发送回服务器,服务器获取contyped后,组合url链接,带上cookies发送,请求房型信息。。。。。结果失败了。。

请问这个有什么好的办法解决吗?目前公司已经放弃了这个需求,不过个人好奇,想知道有没有办法做得到。。。。

【热门文章】
【热门文章】