Q: Python有哪些常見的網頁爬蟲工具呢?
要實作Python網頁爬蟲，最受歡迎的三大工具莫過於BeautifulSoup、Selenium及Scrapy，其中各自的主要特色以及使用時機，接下來就來為大家進行簡單的分享與比較。
BeautifulSoup是一個擷取HTML/XML內容的套件，提供了非常多友善的方法(Method)，協助開發人員可以快速搜尋及取得HTML/XML中的元素，也因此被廣泛的應用在Python網頁爬蟲的技術上。
但是它並無法單獨完整實現Python網頁爬蟲的整個流程，像是發送請求與解析下載的HTML原始碼，所以需要requests及html.parser或lxml解析器等相依性模組來協助。
Selenium是一個網頁自動化測試的套件，擁有許多網頁操作的方法(Method)，像是自動化輸入資料、點擊按鈕及滾動捲軸等，同時具備網頁元素擷取與操作的功能，讓開發人員能夠輕鬆撰寫網頁的自動化測試腳本。
Scrapy本身就是一個網頁爬蟲框架，提供完整的網頁爬蟲開發功能，像是發送請求、檔案匯出、例外處理機制、偵錯(Debug)等，並且是基於Twisted非同步網路框架所建立的，所以能夠非同步的發送請求(Request)，有較佳的執行速度，學習曲線也較高。
另外，由於Scrapy是一個框架，所以有一定的專案架構及執行流程，除了未來很好維護外，也能夠輕鬆的移轉既有的專案到另一個專案。
Q: BeautifulSoup、Selenium及Scrapy各有什特色?
BeautifulSoup學習曲線較低，非常容易上手，並且適用於靜態網頁的爬取。
而Selenium能夠輕鬆與JavaScript的事件合作，可以處理網頁的AJAX請求及自動化操作網頁上的元素。
Scrapy執行速度較快，允許客製化功能來進行擴充，內建多種檔案格式輸出(JSON、XML、CSV)，支援XPath及CSS表達式來擷取資料，擁有完善的互動式偵錯工具(Scrapy Shell)。
Q: BeautifulSoup、Selenium及Scrapy的使用時機?
對於初學者想要學習入門Python網頁爬蟲，或是僅針對特定少數網頁進行爬取的小型專案，就可以選擇BeautifulSoup套件。
當所要爬取的網頁有使用JavaScript / AJAX等動態載入資料的技術，或是具有登入驗證、搜尋機制的網頁，就能夠利用Selenium套件的網頁操作方法(Method)，來開發Python網頁爬蟲。
Scrapy則適用於大型的Python網頁爬蟲專案，有一定的效率要求及需要處理複雜的爬取邏輯。
