首页 > python爬虫案例

python爬虫案例

请问大家能不能给我一点提点,我想要知道有没有 简单 一点的 爬虫 案例可以让我摸索学习


目前已知的爬虫工具有:

  1. Beautiful Soup

  2. Scrapy

  3. cola

  4. pyspider

  5. PyQuery

  6. grab


你如果真的沒有概念,以下有一些資訊給你參考,不過重點還是你要去看...

首先是甚麼是 網路爬蟲(web crawler):

  1. 可以簡單的先看一下 wiki-網路爬蟲

  2. 再來這個網站: 大數學堂 有一些簡單的教學(還有影片),相信是非常適合初學者的,你可以從 什麼是網路爬蟲 這篇開始

接著是 入門教學:

  1. 其實有個很簡單的方法,挑一個爬蟲工具去讀文檔就好,如果你沒甚麼方向,你可以選擇看看 Beautiful Soup 中文文檔,他是中文版的,也不算太複雜,花點時間就可以整個看完。

  2. 剛剛 大數學堂 有一系列的入門教學 和 實戰教學,我覺得應該也是值得參考的,下面列出入門課程的前幾篇:

    1. 開始使用Python撰寫網路爬蟲 ( Crawler )

    2. 如何安裝 Jupyter (Ipython Notebook)

    3. Jupyter 操作入門 (1)

    4. 如何使用GET 抓取網頁內容?

    5. 如何使用POST 抓取網頁內容?

    6. 如何使用Python 套件: BeautifulSoup4 剖析網頁內容?

    7. 如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?

再來是了解有那些 工具爬蟲框架:

  1. 這個地方整理得很完整: Python 爬蟲的工具列表附Github代碼下載鏈接

  2. 這個 blog 也有滿多教學的

關於爬蟲工具和框架的討論可以參考這篇 知乎: 用Python写爬虫,用什么方式、框架比较好?


我覺得網路上的資源很多,你都可以試試看,萬事起頭難,加油囉!

【热门文章】
【热门文章】