coding=utf-8 import re import urllib.request html = urllib.request.urlopen("http://study.163.com/").read().decode('utf-8') print(type(html)) print(html)
报错 UnicodeEncodeError: 'ascii' codec can't encode characters in position 595-599: ordinal not in range(128) 如果不出现中文可以输出,出现中文就报错, windows 就没有这个问题。 请问下如何解决? 谷歌能搜的搜了。。
源编码不匹配的问题
import urllib2
import chardet
response_body=urllib2.urlopen("http://study.163.com/").read()
print response_body.decode((chardet.detect(response_body))['encoding']).encode('utf-8')
是你的用的编辑器的问题吧,我在atom里面执行的时候会出现这个错误,是因为编辑器的输出编码问题,而在terminal则没有这个问题
haofly说的可能是对的,在控制台不应该会出现这个问题。因为linux下控制台编码是utf-8,而你的代码在收到网页内容后已经将代码decode为unicode了,控制台输出时会按utf-8对unicode进行编码输出。
针对你的这种情况,有两种解决方案,一种是输出时直接输出str而不是unicode。
import urllib2
html = urllib2.urlopen('http://study.163.com').read()
print type(html)
print html
另一种是彻底重载str<->unicode转换时使用的编码方案:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import urllib2
html = urllib2.urlopen('http://study.163.com').read().decode('utf-8')
print type(html)
print html
decode('utf-8') 前加encode('gbk') 即可