104學習精靈
Web browsers
Web browsers
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
Web browsers 學習推薦
全部
影片
文章
掌握3個降低Scrapy網頁爬蟲被封鎖的技巧
Q: Scrapy網頁爬蟲框架如何輪流替換User-Agent(使用者代理)?
在Scrapy網頁爬蟲爬取網頁時，網站都會使用User-Agent(使用者代理)來識別所使用的瀏覽器版本資訊，而當Scrapy網頁爬蟲每次爬取都使用相同的User-Agent(使用者代理)，就很容易被懷疑是網頁爬蟲而被封鎖。
所以，如果Scrapy網頁爬蟲在發送請求的過程中，隨機使用不同的User-Agent(使用者代理)，就可以大幅降低被偵測的風險。
而要達到這樣的功能，就能夠利用以下指令來安裝scrapy-user-agents套件，讓Scrapy網頁爬蟲能夠隨機取用不同的User-Agent(使用者代理)：
$ pip install scrapy-user-agents
接著，開啟Scrapy網頁爬蟲專案的settings.py檔案，在DOWNLOAD_MIDDLEWARES的地方，加入以下的設定：
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
}
Q: Scrapy網頁爬蟲框架如何輪流替換Proxy IP(代理服務器IP)?
同樣，如果Scrapy網頁爬蟲都使用相同的IP發送請求，很容易會被反爬蟲網站發現而封鎖。這時候，就會需要隨機使用不同的Proxy IP(代理服務器IP)，降低被偵測的風險。
可以利用以下指令安裝scrapy-rotating-proxies套件，來達成上述的效果：
$ pip install scrapy-rotating-proxies
開啟Scrapy網頁爬蟲傳案的settings.py檔案，加入以下的設定：
ROTATING_PROXY_LIST_PATH = '/path/my_proxies.txt'
DOWNLOADER_MIDDLEWARES = {
'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}
其中，在自訂的Proxy IP檔案(my_proxies.txt)中加入Proxy IP，如下範例：
ROTATING_PROXY_LIST = [
'proxy_ip_1:8000',
'proxy_ip_2:8031',
...
]
Q: Scrapy網頁爬蟲框架如何使用無頭瀏覽器(Headless Browser)?
無頭瀏覽器(Headless Browser)也就是沒有圖形化的使用者介面瀏覽器，能夠模擬使用者在網頁上的操作，降低反爬蟲網站的偵測。
其中，Selenium就是最常被用來啟用無頭瀏覽器(Headless Browser)的套件，而Scrapy結合Selenium套件的實作方式可以參考[Scrapy教學12]在Scrapy框架整合Selenium套件爬取動態網頁的實作指南文章( https://www.learncodewithmike.com/2021/11/scrapy-integrate-with-selenium.html
)。
當然，除了本文所分享的3個Scrapy網頁爬蟲克服反爬蟲網站的方法外，還可以參考[Python爬蟲教學]7個降低Python網頁爬蟲被偵測封鎖的實用方法文章( https://www.learncodewithmike.com/2020/09/7-tips-to-avoid-getting-blocked-while-scraping.html
)，不外乎就是避免像Python網頁爬蟲機器人一樣有規則模式的爬取資料，才有機會不被反爬蟲網站抓到唷。
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/12/3-tips-for-scrapy-without-getting-blocked.html
)網站觀看更多精彩內容。
2
0
428 2
拍手
留言
分享
Line
複製連結
收藏
熱門精選
【最新】2024年11月AI課程熱門排行榜TOP 10：最受歡迎的AI學習課程推薦
從AI基礎知識到應用，市面上提供了各種AI學習課程：AI線上課程、AI實體課程，無論您是初學者還是專業人士，都可以找到適合自己的AI課程。本文將為您揭曉2024年11月最受歡迎的AI課程排行榜，幫助您輕鬆找到優質的AI學習資源，快速掌握AI技能。
本篇透過從104課程中心的用戶學習大數據，整理出大家都在搜尋的TOP 10 熱門課程；可透過排行榜，找到你所需的學習內容，增進職場的職能成長，加強自我競爭力，打造你的職涯藍圖！
第1名。ChatGPT x Excel | 職場必學商務數據分析術
講師將以系統化教學法，教授數據分析常用情境，搭上火紅 ChatGPT ，步驟式實戰，能隨學即用，讓你知道如何在工作中運用所學到的技能！
第2名。AI資料科學家【 聽課全系列 】
「基礎思維」AI資料科學的新朋友，必定要了解一下人工智慧的歷史里程碑與事件，從這裡出發，您也能與不熟悉這個領域的朋友侃侃而談地分享您所學領域的轉變與趨勢，而初學者免不了學習的十字路口，不知道該從哪個部分開始學習AI，這裡也會給您適合適當的指引。常常被混的網頁爬蟲與ETL您真的認識並了解嗎？聽聽看TibaMe的講師們怎麼說吧！
第3名。生成式AI應用速成：商業溝通師-數位行銷課(12/21開課)
🔴報名截止日：2024/12/8🔴
你可以學到
🌟AI 行銷創作零基礎也能秒上手｜不需任何行銷經驗，快速學會生成式 AI 工具，輕鬆打造吸睛行銷素材。
🌟行銷策略效果爆發式成長｜ 有效運用 AI 提升執行力，讓行銷效率飆升、策略效果倍增。
🌟精準鎖定目標受眾，打中痛點｜ 用 AI 技術解析消費者行為，精準掌握市場趨勢，一次抓住受眾需求。
🌟品牌形象全面升級｜ AI 創造獨特行銷風格，讓品牌成為目光焦點，迅速在市場中脫穎而出。
第4名。2小時輕鬆學AI | 基礎觀念與應用
從資料科學的基礎觀念談起、商業智慧、資料探勘、影像辨識等技術應用，最後再討論企業實際導入人工智慧所需的相關流程。
第5名。生成式AI應用速成：創作詠唱師-影音創作課(11/30開課)
🔴報名截止日：2024/11/17🔴
你可以學到
🌟虛擬角色打造 ｜ 從角色設計、到AI影片製作，一站式打造你的專屬虛擬網紅。
🌟短影音製作 ｜ 運用AI工具，快速生成各種特效、濾鏡，製作出精緻的短影音。
🌟內容行銷 ｜ 學習如何利用AI工具製作出更能觸動觀眾的內容。
第6名。生成式AI工具應用實戰 (線上直播課程)
你可以學到
行銷廣告文案+社群策略及內容+SEO生成+BingAI繪圖，一次學會生成式AI工具應用！
本課程「生成式AI工具應用」旨在教導學員如何利用最先進的生成式AI工具，特別是ChatGPT和微軟Bing AI繪圖工具，來提升行銷文案、社群媒體內容、SEO優化、廣告文案創作以及內容行銷的效率和成效。
第7名。生成式AI應用速成：創作詠唱師-繪圖設計課(12/21開課)
🔴報名截止日：2024/12/8🔴
你可以學到
🌟成為AI設計高手｜ 從設計小白變身AI設計達人，自信接下各種設計挑戰。
🌟擴大職涯發展｜ 掌握AI設計技能，提升職場競爭力，開拓更多職涯發展機會。
🌟節省設計成本｜ 減少外包設計費用，提高工作效率，為企業創造更多價值。
🌟實現創意無限｜ 突破傳統設計框架，用AI工具打造出獨一無二的視覺作品。
第8名。AI應用時代｜從邏輯思維到文字溝通，從職場複利到高效生活
藉由AI助手的力量，更高效地完成商務工作、激發靈感。也透過AI協助經營社群，包含工作行程、日常旅遊、飲食規劃等，提高短影音規劃的效率，進而產出斜槓複利。
第9名。一次搞懂 ChatGPT 工作法 | 5分鐘看懂，立即上手 AI 應用觀念！
5分鐘輕巧學：圖解式影音 X 25應用情境 X 30組AI神器
第10名。AI x 產品企劃(產品開發)實務應用班
你可以學到
往在產品企劃及開發上，所面臨到的難以解決的疑難問題，在未來都有機會利用AI工具進一步改善，取得更有效的解決方案。
本課程將教會您如何快速掌握AI在商業分析、創意生成、行銷文案、用戶旅程設計與消費者行為洞察中的應用，並了解如何將這些工具應用於產品企劃流程中。
更多AI課程推薦：
2
0
8479 1
拍手
留言
分享
Line
複製連結
收藏
學習精靈
11/09 00:00
youtube.com
[中文字幕] How do web browsers work? | Web Demystified, Episode 5
1 0
分享
Line
複製連結
收藏
7個降低Python網頁爬蟲被偵測封鎖的實用方法(下)
本文將延續「7個降低Python網頁爬蟲被偵測封鎖的實用方法(上)」，接續分享降低Python網頁爬蟲被偵測封鎖的方法。
Q:如何設定參照位址(Referer)
請求表頭(Request Headers)中另一個重要的欄位就是參照位址(Referer)，用來告訴網站這個請求(Request)是來自於哪一個網站，如下範例：
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Accept-Language": "zh-TW,zh;q=0.9",
"Host": "example.com",
"Sec-Fetch-Dest": "document",
"Sec-Fetch-Mode": "navigate",
"Sec-Fetch-Site": "none",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36",
}
這時候可以使用像SEMRush( https://www.semrush.com/
)的工具，來顯示目標網頁的反向連結，也就是能夠到達目標網頁的其它連結，就可以在Python網頁爬蟲的每一次請求(Request)前，將不同的反向連結設定到參照位址(Referrer)中，讓每一次的來源網站都不相同，降低被網頁偵測到的風險。
Q:如何設定隨機的延遲時間?
在每一次請求(Request)之間，最好設定隨機的延遲時間(Delay)，這樣除了防止每一次的請求(Request)間隔時間不同之外，也沒有固定的請求模式，可以參考以下的範例：
delay_choices = [8, 5, 10, 6, 20, 11]
delay = random.choice(delay_choices)
time.sleep(delay) #延遲
Q:使用無頭瀏覽器(Headless Browser)的方法?
無頭瀏覽器(Headless Browser)和一般瀏覽器不一樣的地方是，它沒有圖形化的使用者介面，通常會使用指令的方式來執行，知名的Selenium套件就可以讓開發人員利用程式碼，自動化控制瀏覽器的執行，模擬人類的操作，降低被偵測到的風險，使用的方式可以參考[Python爬蟲教學]整合Python Selenium及BeautifulSoup實現動態網頁爬蟲文章( https://www.learncodewithmike.com/2020/05/python-selenium-scraper.html
)。
Q:如何避免掉入網頁蜜罐陷阱(Honeypot Traps)
網頁蜜罐陷阱(Honeypot Traps)就是許多網頁會在HTML原始碼中埋入只有網頁爬蟲會讀取到的隱藏連結或屬性，如果在開發Python網頁爬蟲沒有注意或避開時，很容易就會被偵測到而被封鎖，舉例來說，有個隱藏的連結帶有「display:none」或「visibility: hidden」的CSS屬性等，這是正常的使用者看不到，而網頁爬蟲所能讀取到的。
要避免掉入網頁蜜罐陷阱(Honeypot Traps)，除了要注意網頁的HTML原始碼之外，另一個方法就是在開發Python網頁爬蟲時，可以參考該網頁的網站地圖(Sitemap)，其中會列出公開給使用者存取的網頁網址，在開發的過程中，就盡量挑選裡面的公開網址來進行爬取。
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2020/09/7-tips-to-avoid-getting-blocked-while-scraping.html
)網站觀看更多精彩內容
2
0
319 1
拍手
留言
分享
Line
複製連結
收藏
學習精靈
04/18 00:00
youtube.com
Most Popular Web Browsers 1993 - 2020
1 0
分享
Line
複製連結
收藏
推薦給你
意志動詞是什麼？一次學Will、Want、Decide、Hope、Plan、Promise和Intend
在多益考試中，意志動詞（Verbs of Willingness and Intention）是常見的文法考題，這些動詞用來表達說話者的意圖、決心或願意做某事的態度。而這些動詞包括：will、want、decide、hope、plan、promise和intend 等，本篇文章帶你認識這七個意志動詞以及它們的文法規律！
▍七個意志動詞
1. Will – 表示未來的意圖或決定
⇨ Will 是最常見的意志動詞，用來表達說話者的未來計劃或願意做的事情。
• 例句：I will attend the meeting tomorrow.
我明天會參加會議。
• 例句：She will help you with the project.
她會幫你處理這個專案。
2. Want – 表示願望或需求
⇨ Want 表示某人希望或渴望某事。
• 例句：I want to improve my English skills.
我想提高我的英語能力。
• 例句：They want to meet the client next week.
他們想下週見客戶。
3. Decide – 表示做出決定
⇨ Decide 用來表示某人已經做出決定，並且要進行某個行動。
• 例句：We decided to launch the new product next month.
我們決定下個月推出新產品。
• 例句：She decided not to attend the conference.
她決定不參加會議。
4. Hope – 表示希望或期望
⇨ Hope 是一個表達願望或期望的動詞，通常不會直接接動詞原形，會使用 to 或 that 引導的從句。
• 例句：I hope to get a promotion soon.
我希望不久後能升遷。
• 例句：We hope that the project will be completed on time.
我們希望專案能按時完成。
5. Plan – 表示計劃
⇨ Plan 表示某人為未來的某個行動制定計劃。
• 例句：We plan to expand our business to Europe next year.
我們計劃明年將業務擴展到歐洲。
• 例句：She plans to start a new project in the coming months.
她計劃在未來幾個月開始一個新專案。
6. Promise – 表示承諾
⇨ Promise 表示某人保證做某事，通常有強烈的意圖去完成某個目標。
• 例句：I promise to submit the report by Friday.
我保證在週五前提交報告。
• 例句：They promised to provide a solution within 24 hours.
他們保證在24小時內提供解決方案。
7. Intend – 表示打算
⇨ Intend 表示某人計劃或打算做某事。
• 例句：We intend to hold the meeting in the morning.
我們打算在早上召開會議。
• 例句：She intends to leave the company next year.
她打算明年離開公司。
▍文法規律
1. 後接動詞原形 to V
⇨ 這些意志動詞後面通常接動詞的原形，表示將來的動作或意圖。
• 例句：She will attend the meeting.
她會參加會議。
• 例句：They want to improve their performance.
他們希望提高表現。
2. 部分動詞後接 to + 動詞原形
⇨ 部分意志動詞（如 hope, plan, decide, intend）後面接 to 再加動詞原形，這是這些動詞的固定搭配！
• 例句：We hope to finish the project by next week.
我們希望在下週前完成這個專案。
• 例句：They plan to expand the market.
他們計劃擴展市場。
3. 後接名詞或名詞片語
⇨ 這些動詞後接名詞或名詞片語，表達意圖或決定。
• 例句：I decided on a new strategy.
我決定了新的策略。
• 例句：He promised a better outcome.
他承諾會有更好的結果。
4. 特殊情況：hope 的用法
⇨ 雖然 hope 常常後接 to + 動詞原形，但當 hope 用在表達期望的時候，常常會接 that 引導的從句。
• 例句：I hope that the meeting goes well.
我希望會議順利進行。
• 例句：They hope that the project will be completed on time.
他們希望專案能按時完成。
5. 未來意圖的表達
⇨ 這些意志動詞多數與未來相關，表示某人計劃、希望或願意做某事，因此它們的語法結構通常指向未來。
• 例句：We will attend the conference next month.
我們下個月會參加會議。
• 例句：She intends to start a new business.
她打算開創一個新業務。
希望這篇文章對你有幫助！記得加入共學教室掌握我們的最新文章，一起提升多益實力！
0
0
51 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室