Scrapy 爬蟲教學

學習使用Scrapy框架進行網頁爬蟲的30分鐘教學視頻。從Scrapy的基本概念和優勢開始，指導如何編寫第一個爬蟲程序來抓取蘋果即時新聞。深入探討如何從新聞列表頁面爬取內容頁面，使用items.py整理數據並輸出為JSON格式，以及如何通過pipelines.py將爬取的數據存儲到數據庫中。進一步學習使用CrawlSpider實現多網頁爬取，設置Job進行分段爬蟲任務，並比較使用Python的requests和BeautifulSoup4完成淘寶爬蟲的方法。

Syllabus

[Scrapy 爬蟲] 什麼是Scrapy以及為什麼要用Scrapy 爬取網頁?.
[Scrapy 爬蟲] 如何撰寫第一支Scrapy 爬蟲以抓取蘋果即時新聞?.
[Scrapy 爬蟲] 如何從蘋果新聞的清單聯結抓取下一層的內容頁面?.
[Scrapy 爬蟲] 如何使用items.py整理Scrapy 爬取下來的資料並輸出成JSON檔?.
[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?.
[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?.
[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?.
如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?.