7個降低Python網頁爬蟲被偵測封鎖的實用方法(下)
本文將延續「7個降低Python網頁爬蟲被偵測封鎖的實用方法(上)」，接續分享降低Python網頁爬蟲被偵測封鎖的方法。
Q:如何設定參照位址(Referer)
請求表頭(Request Headers)中另一個重要的欄位就是參照位址(Referer)，用來告訴網站這個請求(Request)是來自於哪一個網站，如下範例：
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Accept-Language": "zh-TW,zh;q=0.9",
"Host": "example.com",
"Sec-Fetch-Dest": "document",
"Sec-Fetch-Mode": "navigate",
"Sec-Fetch-Site": "none",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36",
"Referer": "https://www.google.com/" #參照位址
}
response = requests.get(url="https://example.com", headers=headers)
這時候可以使用像SEMRush( https://www.semrush.com/ )的工具，來顯示目標網頁的反向連結，也就是能夠到達目標網頁的其它連結，就可以在Python網頁爬蟲的每一次請求(Request)前，將不同的反向連結設定到參照位址(Referrer)中，讓每一次的來源網站都不相同，降低被網頁偵測到的風險。
Q:如何設定隨機的延遲時間?
在每一次請求(Request)之間，最好設定隨機的延遲時間(Delay)，這樣除了防止每一次的請求(Request)間隔時間不同之外，也沒有固定的請求模式，可以參考以下的範例：
delay_choices = [8, 5, 10, 6, 20, 11]
delay = random.choice(delay_choices)
time.sleep(delay) #延遲
Q:使用無頭瀏覽器(Headless Browser)的方法?
無頭瀏覽器(Headless Browser)和一般瀏覽器不一樣的地方是，它沒有圖形化的使用者介面，通常會使用指令的方式來執行，知名的Selenium套件就可以讓開發人員利用程式碼，自動化控制瀏覽器的執行，模擬人類的操作，降低被偵測到的風險，使用的方式可以參考[Python爬蟲教學]整合Python Selenium及BeautifulSoup實現動態網頁爬蟲文章( https://www.learncodewithmike.com/2020/05/python-selenium-scraper.html )。
Q:如何避免掉入網頁蜜罐陷阱(Honeypot Traps)
網頁蜜罐陷阱(Honeypot Traps)就是許多網頁會在HTML原始碼中埋入只有網頁爬蟲會讀取到的隱藏連結或屬性，如果在開發Python網頁爬蟲沒有注意或避開時，很容易就會被偵測到而被封鎖，舉例來說，有個隱藏的連結帶有「display:none」或「visibility: hidden」的CSS屬性等，這是正常的使用者看不到，而網頁爬蟲所能讀取到的。
要避免掉入網頁蜜罐陷阱(Honeypot Traps)，除了要注意網頁的HTML原始碼之外，另一個方法就是在開發Python網頁爬蟲時，可以參考該網頁的網站地圖(Sitemap)，其中會列出公開給使用者存取的網頁網址，在開發的過程中，就盡量挑選裡面的公開網址來進行爬取。
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2020/09/7-tips-to-avoid-getting-blocked-while-scraping.html )網站觀看更多精彩內容
.png)
&publishFrom=PM%E6%B1%9F%E6%B9%96%E4%BA%BA%E7%94%9F%20(Ernest%20Deng)&title=%E6%B2%92%E6%9C%89%E7%B6%93%E9%A9%97%E7%9A%84%E6%96%B0%E9%AE%AE%E4%BA%BA%E4%B9%9F%E8%83%BD%E9%80%B2%E7%A7%91%E6%8A%80%E6%A5%AD%E7%95%B6PM%E5%97%8E%EF%BC%9F%E9%80%99%E6%98%AF%E6%88%91%E7%95%B6%E5%B9%B4%E9%9D%A2%E8%A9%A6%E5%89%8D%E6%9C%80%E5%A4%A7%E7%9A%84%E7%96%91%E5%95%8F&description=%E6%96%B0%E9%AE%AE%E4%BA%BA%E6%83%B3%E9%80%B2%E5%85%A5%E7%A7%91%E6%8A%80%E6%A5%AD%E6%93%94%E4%BB%BBPM(%E5%B0%88%E6%A1%88%E7%B6%93%E7%90%86)%E5%97%8E%EF%BC%9F%E6%9C%AC%E6%96%87%E4%BD%9C%E8%80%85%E5%88%86%E4%BA%AB%E8%87%AA%E8%BA%AB%E7%B6%93%E9%A9%97%EF%BC%8C%E8%AA%AA%E6%98%8E%E5%8D%B3%E4%BD%BF%E6%B2%92%E6%9C%89%E7%9B%B8%E9%97%9C%E7%B6%93%E9%A9%97%EF%BC%8C%E9%80%8F%E9%81%8E%E7%9E%AD%E8%A7%A3%E5%90%84%E5%85%AC%E5%8F%B8%E5%B0%8D%E6%96%BCPM%E7%9A%84%E6%9C%9F%E6%9C%9B%E3%80%81%E8%AA%BF%E6%95%B4%E6%87%89%E8%A9%A6%E6%96%B9%E5%90%91%EF%BC%8C%E4%B8%A6%E5%9C%A8%E9%9D%A2%E8%A9%A6%E4%B8%AD%E5%B1%95%E7%8F%BE%E6%BD%9B%E5%8A%9B%EF%BC%8C%E4%BB%8D%E6%9C%89%E6%A9%9F%E6%9C%83%E6%88%90%E5%8A%9F%E9%8C%84%E5%8F%96%E3%80%82%E6%96%87%E7%AB%A0%E4%B9%9F%E9%BB%9E%E5%87%BA%E5%85%AC%E5%8F%B8%E6%96%87%E5%8C%96%E3%80%81%E4%B8%BB%E7%AE%A1%E6%9C%9F%E6%9C%9B%E3%80%81%E7%94%A2%E5%93%81%E8%A4%87%E9%9B%9C%E5%BA%A6%E3%80%81%E5%AE%A2%E6%88%B6%E5%B1%AC%E6%80%A7%E7%AD%89%E5%9B%A0%E7%B4%A0%EF%BC%8C%E5%A6%82%E4%BD%95%E5%BD%B1%E9%9F%BF%E6%B1%82%E8%81%B7%E7%B5%90%E6%9E%9C%EF%BC%8C%E4%B8%A6%E5%BC%B7%E8%AA%BF%E6%8F%90%E5%8D%87%E5%B1%A5%E6%AD%B7%E5%8F%8A%E9%9D%A2%E8%A9%A6%E6%8A%80%E5%B7%A7%E7%9A%84%E9%87%8D%E8%A6%81%E6%80%A7%E3%80%82)
