首页 > 爬网页时 unicode 和 utf-8的编码问题

爬网页时 unicode 和 utf-8的编码问题

我爬的网页源码顶端写的是 <meta charset="utf-8">
我在浏览器打开源码看到我想要的信息也是中文,
不过在urllib2.urlopen(url).read()输出来的却是类似于
&#38472;&#39062;
这种unicode编码
然后我使用 .encode('utf-8')也没有效果。。
请问该怎么转成中文?
(我的python程序是coding:utf-8)


import HTMLParser 
h = HTMLParser.HTMLParser() 
print h.unescape("&#38472;&#39062;").encode("utf-8") 
陈颖

&#开头都是HTTP转义的,可以用HTTPParser解码啊


那可以试试这样:

>>> h = HTMLParser.HTMLParser()
>>> import HTMLParser
>>> h = HTMLParser.HTMLParser()
>>> print h.unescape('&#38472;&#39062;')
陈颖
【热门文章】
【热门文章】