首页 > 怎样把爬虫的内容写进一个text文件?

怎样把爬虫的内容写进一个text文件?

各位大侠好!

我的代码是这样的:

# -*-coding:utf8-*-

import requests

html_1 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323.html')
# html_2 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_2.html')
# html_3 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_3.html')
# html_4 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_4.html')
# html_5 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_5.html')
# html_6 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_6.html')

# 打开一个文件
fo = open("rawcodes.txt", "wb")
fo.write(html_1,-1)

# 关闭打开的文件
fo.close()

然后出各种问题,
我的文件夹里倒是创建出一个rawcodes.txt文件。
但是里面啥也没有。
这是咋回事?
Pycharm里总是提示各种错误。比如:TypeError: function takes exactly 1 argument (2 given)

此外,我的还有个问题:如果我想把上面的6个url爬下来的内容都写入到一个text里面,代码是怎样的?


我刚才改了一下,成了fo.write(str(html_1)), 结果text文件里面出来这个:<Response [200]>。


虽然没有写过py,刚刚我提了一个类似的问题,于是我尝试着看着文档写了一下py,希望可以帮助到你,不对的地方请见谅。
看你的代码导入了requests模块,我机器上没有,于是我下载了一个

git clone git://github.com/kennethreitz/requests.git
cd requests
python setup.py install

在你的代码的基础上继续写代码

#!/usr/bin/python
# -*-coding:utf8-*-
# Encode
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

import requests

html_1 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323.html').text
html_2 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_2.html').text
html_3 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_3.html').text
html_4 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_4.html').text
html_5 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_5.html').text
html_6 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323_6.html').text

html = html_1 + html_2 + html_3 + html_4 + html_5 + html_6

# open
fo = open("foo.txt", "wb")
fo.write(html)
# close
fo.close()

写的不好,你慢慢优化,希望可以帮助到你


--coding:utf8--

import requests
html_1 = requests.get('http://www.7cxk.net/student/tonghua/song/200509/323.html').content
with open('rawcodes.txt','w') as f:

f.write(html_1)

话说你貌似不太对的地方不少

  1. requests.get()这个方法返回的不是一个str对象,所以write失败了

  2. PyCharm里的提示其实挺明显,直译就是 类型错误:函数严格需要1个参数((你却)给了2个)

所以你可能需要再稍微学习下基本知识,再来做你的任务会事半功倍一些(没有恶意,单纯就是建议),至少要有看错误提示,看文档的习惯。

【热门文章】
【热门文章】