错误代码:
InvalidDocument: Cannot encode object:<GET http://www.xxx.com/xxx/ajax_content.php?id=96>
相关源代码:
#content需要登录才能显示,是ajax请求,从item['contentUrl']中正则匹配出参数id
contentId= re.search(u'id=\d{1,4}',item['contentUrl']).group(0)
#拼接ajax请求地址
contentAjaxUrl="http://www.xxx.com/xxx/ajax_content.php?"+contentId
#发送ajax请求,取回内容
contentAjax=Request(contentAjaxUrl)
#对取回内容进行正则匹配,找出所需内容
item['content']= re.search('"content_extra">(.*?)</div',contentAjax,re.S)