104學習精靈
Middleware
Middleware
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
Middleware 學習推薦
全部
影片
文章
在Scrapy框架整合Selenium套件爬取動態網頁的實作
本文以Accupass網站的精選活動為例，來分享Scrapy框架整合Selenium套件，開發Python網頁爬蟲的流程。
Q: 如何建立Scrapy網頁爬蟲?
首先，利用以下指令安裝Scrapy框架：
$ pip install scrapy
接著，新增一個資料夾，並且使用命令提示字元切換到該資料夾的目錄下，建立Scrapy專案，如下：
$ scrapy startproject accupass_scraper .
有了專案後，就能夠利用以下指令建立Scrapy網頁爬蟲：
$ scrapy genspider accupass accupass.com
Q:如何安裝scrapy-selenium套件?
而Scrapy框架想要使用Selenium套件來發送請求與接收回應，就需要一個Middleware來使用Selenium套件。
其中的Middleware，也就是在Scrapy發送請求前，以及將回應結果傳給Scrapy網頁爬蟲前，能夠在Middleware中來進行前處理。
所以，Scrapy框架想要使用Selenium套件來發送請求與接收回應結果，就需要定義Middleware，當然，已經有大大寫好了scrapy-selenium Middleware可以使用，安裝方式如下指令：
$ pip install scapy-selenium
接下來，前往下載Selenium的瀏覽器驅動，並且放置於Scrapy專案資料夾中。開啟settings.py檔案，加入scrapy-selenium Middleware的相關設定，如下範例：
DOWNLOADER_MIDDLEWARES = {
'scrapy_selenium.SeleniumMiddleware': 800
}
SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_DRIVER_EXECUTABLE_PATH = 'chromedriver.exe'
SELENIUM_DRIVER_ARGUMENTS = ['-headless']
Q:如何Scrapy整合Selenium爬取動態網頁?
開啟Scrapy專案的accupass.py檔案，引用scrapy-selenium的SeleniumRequest模組，如下範例：
import scrapy
from scrapy_selenium import SeleniumRequest
而想要讓Scrapy框架使用Selenium套件發送請求，就可以新增start_requests()方法，如下範例：
class AccupassSpider(scrapy.Spider):
name = 'accupass'
allowed_domains = ['accupass.com']
def start_requests(self):
以上的callback參數就是收到網頁的回應結果之後，所要執行的方法，也就是爬取網頁上的資料，如下範例：
class AccupassSpider(scrapy.Spider):
name = 'accupass'
allowed_domains = ['accupass.com']
def start_requests(self):
def parse(self, response):
titles = response.css("p.style-f13be39c-event-name::text").getall()
for title in titles:
print(title)
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/11/scrapy-integrate-with-selenium.html
)網站觀看更多精彩內容。
3
0
744 2
拍手
留言
分享
Line
複製連結
收藏
熱門精選
【免費報名】零經驗↘只要12週↘您也可以轉職資料工程師。專業技術養成班｜線上開課說明會
想轉換跑道當資料工程師，但又不知道如何開始?
坊間這麼多培訓班，怎麼能跟業界銜接?
報名在這邊 > >
緯育TibaMe x 104學習精靈 現正舉辦【跨領域轉職資料工程師。課程說明會】
透過12週培訓課程：從基礎 → 進階、團體專題，課後就業媒合，協助您成功轉職！
【本場說明會包含兩個資料工程師_聯合招生說明】
A【資料工程師_養成班】 3/10 確定開班
課程相關完整介紹搶先看：
B【資料工程師_在職班】 4/15 確定開班
課程相關完整介紹搶先看：(後補)
【班級滿額就無法再招生，趕緊報名搶席次吧!】
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
本課程將提供104報名會員優惠，優惠折扣將於線上說明會揭曉：
⚡ 線上說明會 | 緯育TibaMe的優惠，透過104活動吧報名，才享有該優惠。
⚡ 確認報名課程，可享 緯育TibaMe 相關付款優惠（例如：信用卡分期．．．等）
真的！席次最後倒數！免費報名！相信自己一次！
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
【報名場次】
🔴 2/15 (六) 11:00~12:00 | 報名到2/14 (五) 18:00
線上說明會連結與資訊，將於2/14(五)18:00 後陸續發送到您報名的電子郵件信箱。
🔴 2/22 (六) 11:00~12:00 | 報名到2/21 (五) 18:00
線上說明會連結與資訊，將於2/21(五)18:00 後陸續發送到您報名的電子郵件信箱。
🔴 2/27 (四) 20:00~21:00 | 報名到2/26 (三) 18:00
線上說明會連結與資訊，將於2/26(三)18:00 後陸續發送到您報名的電子郵件信箱。
0
1
10357 2
拍手
留言
分享
Line
複製連結
收藏
3 0
收藏
推薦給你
【學習0負擔，職涯成長100%】刷卡分期 0 利率，輕鬆進修！
想提升職場競爭力，卻擔心學習費用負擔太大？
現在，104學習精靈推出：刷卡分期 0 利率分期服務，讓你無壓力學習，快速成長！
💡 單筆消費滿 4,000 元 享 3 期 0 利率
💡 單筆消費滿12,000 元 享 6 期 0 利率
無論是提升專業技能，還是轉職跨領域，現在是最佳時機！
利用彈性付款方式，投資自己，迎接更好的職涯發展。
【精選課程整理】立即選擇適合你的課程，開啟無壓學習之旅！
⚡ Linux系統建置實務 【享 3 期 0 利率】
加碼：領 折$１０００送百點 優惠券現折
⚡ 碳管理師菁英班 【享 3 期 0 利率】
加碼：領 折千元↘送2百點 優惠券現折
⚡ 【轉換率優化集訓班 】進階應用 【享 3 期 0 利率】
加碼：領 折1102 元 優惠券現折
⚡ 行銷人的 GTM 實戰工作坊【享 3 期 0 利率】
⚡ 【RevitBIM】AR建築BIM建模師養成班(台中) 【享 6 期 0 利率】
加碼：領 折 2000 元 優惠券現折
⚡ 【RevitBIM】AR建築BIM建模師養成班(台北) 【享 6 期 0 利率】
加碼：領 折 2000 元 優惠券現折
⚡ 【RevitBIM】MEP五大系統整合實務班(贈 iCAP消防空調 雙證班) 【享 6 期 0 利率】
加碼：領 折 2000 元 優惠券現折
⚡ 嵌入式Linux設計開發 【享 6 期 0 利率】
加碼：領 折 3000 元 優惠券現折
⚡ MCU應用設計[ARM Cortex-M 應用設計] 【享 6 期 0 利率】
加碼：領 折 3000 元 優惠券現折
⚡USB韌體設計 【享 6 期 0 利率】
加碼：領 折 3000 元 優惠券現折
⚡壓力管理工作坊：釋放壓力，喚醒自信 【享 3 期 0 利率】
加碼：領 折 999 元 優惠券現折
⚡NPDP產品經理國際認證培訓班(2025/03/22 實體班) 【享 6 期 0 利率】
加碼：領 折 1999 元 優惠券現折
⚡ WBSA商務行銷企劃師國際認證培訓 (2025/03/22實體班) 【享 6 期 0 利率】
加碼：領 折 1999 元 優惠券現折
⚡AWS雲端解決方案架構師考證班 【享 6 期 0 利率】
加碼：領 折 7500 元 優惠券現折
⚡ AI-Agent實作課- 打造AI助理解決工作SOP【享 6 期 0 利率】
【提醒】加碼優惠有時效性，請依照各課程頁說明為基準。
0
0
16 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室