104學習精靈
HTTP協定
HTTP協定
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
HTTP協定 學習推薦
全部
影片
文章
掌握這6個開發重點優化Python網頁爬蟲的效率與穩定度
Q:如何正確設定Python網頁爬蟲的HTTP Headers(標頭)?
由於現在很多人使用Python網頁爬蟲爬取所需的資料，因此，有些網站會針對網頁爬蟲進行偵測，當Python網頁爬蟲沒有設定HTTP Headers(標頭)，很容易就會被擋下來。
所以，Python網頁爬蟲在發送請求時，最好要設定HTTP Headers(標頭)，如下範例：
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}
response = requests.get(url, headers=headers, timeout=5)
如果不知道自己的User Agent(使用者代理)，可以在Google搜尋的地方輸入「what is my user agnet」，按下搜尋即可得到。
Q:如何正確設定Python網頁爬蟲的設定HTTP Request timeout(超時)屬性?
Python網頁爬蟲在發送請求時，如果沒有設定timeout(超時)屬性，當目標網站沒有回應，請求將會持續嘗試和等待回應，除了造成目標網站的困擾，Python網頁爬蟲也無法繼續執行。如下範例：
headers = {
'user-agent': '...'
}
response = requests.get(url, headers=headers, timeout=5)
只要Python網頁爬蟲發送請求後，5秒內沒有接收回應，就會停止嘗試和等待。
Q:Python網頁爬蟲如何檢查HTTP Status Code(狀態碼)?
Python網頁爬蟲接收到網站的回應結果後，最好可以檢查HTTP Status Code(狀態碼)來確認是否正確，如下範例：
if response.status_code == 200: #正確
#接續執行
或是如下範例：
if response.status_code != 200: #不正確
return False
Q:Python網頁爬蟲如何檢查爬取的元素是否存在?
Python網頁爬蟲最普遍會遇到的問題，就是網頁的元素或樣式改變，導致整個網頁爬蟲中斷和發生錯誤。而最好的預防方法就是先檢查爬取的元素(Element)是否存在，再執行其它的任務，如下範例：
if title: #標題元素存在
#接續執行
else:
# 顯示警告訊息或發送訊息給管理人員
Q:Python網頁爬蟲的例外處理機制是什麼?
為了預防Python網頁爬蟲在執行的過程中，發生預期外的錯誤，以及後續能夠有效追蹤問題，最好實作例外處理機制，如下範例：
try:
# 爬蟲邏輯
...
titles = soup.find_all('h3', {'class': 'post_title'})
result = []
for title in titles:
if title:
result.append(title.getText())
else:
print('元素不存在')
else:
print('回應結果錯誤')
except Exception as e:
print("發生其它錯誤")
print(str(e))
Q:Python網頁爬蟲的檔案輸入/出(I/O)機制是什麼?
Python網頁爬蟲爬取到資料後，最常見的就是資料儲存，像是寫入資料庫、CSV或文字檔等，相較於在爬取的迴圈中進行讀、寫操作，會建議先將爬取的資料打包成串列(List)、元組(Tuple)或字典(Dictionary)等，爬取結束時再一次性寫入較有效率。如下範例：
try:
with open('post.txt', 'w') as file:
file.write('\n'.join(result)) #寫入爬取結果
except Exception as ex:
print(str(ex))
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/11/6-tips-to-build-an-efficient-python-scraper.html
)網站觀看更多精彩內容。
2
0
391 2
拍手
留言
分享
Line
複製連結
收藏
熱門精選
【限量:免費報名】利用AI自動化行銷｜直播講座
講座詳細資訊
時間：04/30（二） 20:00 - 21:00
講者：圭話行銷創辦人 何佳勳 / 業界資深的數位廣告行銷專家
主題：行銷新篇章：AI如何革新檔期活動策略
在這個數位化的時代，AI技術正以驚人的速度改變著我們的行銷方式。檔期促銷活動面對的受眾眾多，難以精準定位目標受眾，進而影響活動效果、每次規劃檔期活動都需要創造吸引人的內容和促銷方式，但長期以來，創意卻逐漸耗盡、想要掌握AI如何革新檔期活動策略的最新動向嗎？
你也在苦思如何創造不同以往、有別競品的檔期活動嗎？104學習精靈與緯育TibaMe，攜手邀請到數位廣告界專家 圭話行銷創辦人何佳勳老師。學員們都稱呼他為小圭老師，不僅熱愛與學員社群互動、對學員有問必答，更善於為客戶的製造許多驚喜及營收，一起期待老師分享如何透過 AI 工具提升30%的檔期活動成效吧~
1
0
5310 0
拍手
留言
分享
Line
複製連結
收藏
學習精靈
12/10 00:00
youtube.com
網路應用與管理-HTTP通訊協定 (1)
1695 99
分享
Line
複製連結
收藏
學習精靈
03/02 00:00
youtube.com
Python 爬蟲 http協定教學
218 1
分享
Line
複製連結
收藏
推薦給你
AI 畫圖下prompt指令技巧，提供描述方向、免費指令範本
使用 AI 畫圖最難的部分往往是準確地描述你想要的畫面。要讓 AI 理解並創造出符合你期待的圖像，你需要非常具體和詳細地表達你的想法。這包括顏色、風格、場景、情感等等細節。另外，理解 AI 的限制和可能的創作偏好也是一大挑戰，因為有些細節可能需要通過試錯來完善。
要讓 AI 更好地理解和創建你想要的圖像，以下是一些關鍵細節你可以具體描述來指導 AI：
1. 場景與背景：
描述畫面中的主要場景，比如是室內還是室外？是城市街景、自然風光、還是抽象空間？背景中包含哪些元素？有山、樹、湖泊、建築物、或是其他物件？
- 形容詞：寬敞、繁忙、寂靜、荒涼、鬱鬱蔥蔥
- 描述：現代城市街景、安靜的郊外田園、幽暗的森林小徑、色彩斑斕的海底世界
2. 物件與元素：
清楚指出圖片中應該包含哪些物件，例如人物、動物、植物、家具、車輛等。
每個物件的大概位置、尺寸和相對關係。
- 形容詞：樸實、光滑、細緻、鮮豔
- 描述：中心有一棵老橡樹、天空飛翔的鳥群、街角的咖啡館、前景的擺放花瓶
3. 風格與色彩：
你想要的畫面風格是什麼？比如現實主義、印象派、或是漫畫風格？
主要使用哪些顏色？色調是溫暖還是冷淡？色彩是鮮豔還是柔和？
- 風格：抽象、超現實、傳統、未來主義
- 色彩：深藍與灰白、溫暖的橙色和金色、冷淡的銀灰和藍綠
4. 光線與陰影：
光源位置在哪裡？是自然光還是人造光？
光線對畫面的氛圍造成什麼影響？陰影是強烈還是輕微？
- 光源：夕陽西下、晨光熹微、霓虹燈光、蠟燭搖曳
- 影響：柔和的陰影、鮮明的對比、模糊的輪廓
5. 情感與氛圍：
畫面要傳達什麼樣的情感？是快樂、悲傷、神秘、還是緊張？
氛圍是怎樣的？比如寧靜、喧囂、或是恐怖？
- 情感：憂郁、興奮、寧靜、不安
- 氛圍：祥和的、混亂的、詭異的、活躍的
6. 細節描述：
如有特殊紋理或圖案，詳細描述它們的外觀。
如果有特定文化或歷史元素，也應詳細指出。
- 紋理：錯綜複雜的木紋、磨砂玻璃的透光性、皮革的細膩質感
- 文化元素：東方的竹林、西方的哥特式建築、土耳其的馬賽克瓷磚
-----------------------------------------
【Prompt 指令範本，可以自行套用】
請創建一幅畫面，場景設定在【場景地點，例如：一個安靜的湖邊】，時間是【時間，例如：黃昏】。在畫面的中央位置有【主要物件，例如：一個坐在長椅上的年輕女子】，她穿著【服裝描述，例如：一件簡單的白色長裙】。背景中有【背景物件，例如：綻放的櫻花樹和遠處的小山丘】。
風格方面，我希望這幅畫帶有【風格，例如：印象派】的特點，使用【色調，例如：柔和的粉色和淡黃色】。光線來自【光源方向，例如：西邊的落日】，給整個場景投下溫暖而輕微的陰影。
此畫面應該傳達一種【情感氛圍，例如：寧靜而思念的】感覺。請注意畫面的細節和質感，特別是【特定細節，例如：女子臉上的表情和櫻花的細節】。
關注AI趨勢報，推薦更多好內容給你！
0
0
21 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室