我爬虫的目标网址是http://jobs.monster.com/search/software_5
想要保存这个网站上每一条工作的标题、链接、公司和发布时间
我自己检查的时候用sites = hxs.select('//div')获取所有的div
结果发现本来只能得到一条工作的信息
例如：每个工作里都该有个div class=jobTitle，但是在数据里只能找到一个这样的div
这个网站刚刚改版，之前都还能顺利获取数据，请有经验的大神指点我一个解决方案。
已解决
数据都在js里面，直接通过response.body用正则表达式获取了js里面的数据。方法不大好，有相同问题的同学可以去研究Python-webkit。