104學習

Proxy

Proxy
關注
邀請朋友
邀請朋友

Line

Facebook

複製連結

取消
「Proxy:主要負責代表組織進行業務溝通與決策,確保團隊目標的實現與執行,以促進與客戶及合作夥伴之間的良好關係。需要具備卓越的跨部門協作能力及溝通技巧,以有效調解不同利益相關者的需求,並在快速變化的市場環境中適應與分析各類情境。此職位需了解台灣商業文化,尤其是在快速變動的科技及創新領域,能夠應對當地的商業規範及市場挑戰,提供高效的解決方案及建議。」
關於教室
關注人數 0 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
關於教室
關注人數 0 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
Hi~ 歡迎分享學習資源,有學習問題可匿名向Giver發問!
我要分享
我要提問

Proxy 學習推薦

全部
影片
文章
Mike Ku

Learn Code With Mike品牌創辦人

2021/12/21

掌握3個降低Scrapy網頁爬蟲被封鎖的技巧
Q: Scrapy網頁爬蟲框架如何輪流替換User-Agent(使用者代理)?
在Scrapy網頁爬蟲爬取網頁時,網站都會使用User-Agent(使用者代理)來識別所使用的瀏覽器版本資訊,而當Scrapy網頁爬蟲每次爬取都使用相同的User-Agent(使用者代理),就很容易被懷疑是網頁爬蟲而被封鎖。
所以,如果Scrapy網頁爬蟲在發送請求的過程中,隨機使用不同的User-Agent(使用者代理),就可以大幅降低被偵測的風險。
而要達到這樣的功能,就能夠利用以下指令來安裝scrapy-user-agents套件,讓Scrapy網頁爬蟲能夠隨機取用不同的User-Agent(使用者代理):
$ pip install scrapy-user-agents
接著,開啟Scrapy網頁爬蟲專案的settings.py檔案,在DOWNLOAD_MIDDLEWARES的地方,加入以下的設定:
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
}
Q: Scrapy網頁爬蟲框架如何輪流替換Proxy IP(代理服務器IP)?
同樣,如果Scrapy網頁爬蟲都使用相同的IP發送請求,很容易會被反爬蟲網站發現而封鎖。這時候,就會需要隨機使用不同的Proxy IP(代理服務器IP),降低被偵測的風險。
可以利用以下指令安裝scrapy-rotating-proxies套件,來達成上述的效果:
$ pip install scrapy-rotating-proxies
開啟Scrapy網頁爬蟲傳案的settings.py檔案,加入以下的設定:
ROTATING_PROXY_LIST_PATH = '/path/my_proxies.txt'
DOWNLOADER_MIDDLEWARES = {
'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}
其中,在自訂的Proxy IP檔案(my_proxies.txt)中加入Proxy IP,如下範例:
ROTATING_PROXY_LIST = [
'proxy_ip_1:8000',
'proxy_ip_2:8031',
...
]
Q: Scrapy網頁爬蟲框架如何使用無頭瀏覽器(Headless Browser)?
無頭瀏覽器(Headless Browser)也就是沒有圖形化的使用者介面瀏覽器,能夠模擬使用者在網頁上的操作,降低反爬蟲網站的偵測。
其中,Selenium就是最常被用來啟用無頭瀏覽器(Headless Browser)的套件,而Scrapy結合Selenium套件的實作方式可以參考[Scrapy教學12]在Scrapy框架整合Selenium套件爬取動態網頁的實作指南文章( https://www.learncodewithmike.com/2021/11/scrapy-integrate-with-selenium.html )。
當然,除了本文所分享的3個Scrapy網頁爬蟲克服反爬蟲網站的方法外,還可以參考[Python爬蟲教學]7個降低Python網頁爬蟲被偵測封鎖的實用方法文章( https://www.learncodewithmike.com/2020/09/7-tips-to-avoid-getting-blocked-while-scraping.html ),不外乎就是避免像Python網頁爬蟲機器人一樣有規則模式的爬取資料,才有機會不被反爬蟲網站抓到唷。
如果想要學習更多的Python應用教學,歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/12/3-tips-for-scrapy-without-getting-blocked.html
)網站觀看更多精彩內容。
看更多
2 0 1120 2
104學習

12/16 00:00

0 0
0 0

推薦給你

104學習

產品

10/28 11:57

免費學跨境電商實戰 再領Amazon技能認證
想跨足國際市場?由台北市進出口商業同業公會(IEAT)攜手亞馬遜推出免費「跨境電商營運課程」,從開店、選品、物流到廣告實戰全攻略。由亞馬遜官方講師授課,線上彈性學習,一年帳號不限次數,助你掌握海外開店核心技能,打造跨境新職涯!
▶️【零成本學習門檻 → 詳情請看】https://nabi.104.com.tw/ability/10049194
✅Q1:這門課程適合誰學習?
A1: 本課程適合以下對象:
1. 應屆畢業生:提升就業競爭力,進入熱門電商產業
2. 在職工作者&欲轉職人士:轉職跨境電商領域,拓展職涯選擇
✅Q2:課程有哪些核心內容?
A2:六大章節共15小時線上課程
1. 基礎篇:跨境電商與傳統電商有什麼不同? 電商該賣什麼好? 如何啟動跨境電商生意
2. 市場篇:什麼是流量?
3. 流量篇:提升流量的系統化作法
4. 文案篇:電商文案致勝要訣
5. 物流篇:頭程物流&尾程物流
6. 優化篇:如何進一步提升流量?打造成功國際品牌&銷售報表數據分析
✅Q3:學習方式是什麼?需要付費嗎?
A3:免費學習,全面提升亞馬遜營運與銷售能力,完成線上報名並審核後,即可開通線上課程帳號權限,使用期限為1年
✅Q4:課程結束後可以取得證照嗎?
A4:可以!完成課程學習後,學員可自費參加技能認證考試,線下鑑測費用每人600元/次,通過考核即可獲得證書,驗證你的專業實力
▶️【零成本學習門檻 → 詳情請看】https://nabi.104.com.tw/ability/10049194
看更多
0 0 1002 0
你可能感興趣的教室