「資料蒐集」在職進修、線上學習、共學教室

職涯夢想實踐家交流平台

關注

陳琮斐

總經理

2022/01/14

職場必殺技-求職密技養成術

1.個人知識累積與管理

2.客觀資料蒐集與透過人脈獲取資訊

3.技能成長與更新

4.多多加入社群

5.不斷學習與創新

6.經驗與智慧的轉化

7.化為明確的行動計畫與執行力

職場像是一場登山探險，每走一步都會有不同的驚喜及挑戰！

準備充足的人，路上將充滿驚喜；沒準備的人，將充滿問號！

1 0 430 0

拍手

留言

分享到：

Line

Facebook

複製連結

取消

104學習精靈精選課程

想提升職場競爭力？專業技能課程看起來👇

VBA網路爬蟲:高效率抓取投資資訊

利用微軟Excel VBA抓取投資資訊，零基礎也能學會！入門VBA程式語言與相關物件操作，讓你不用再慢慢手動抓取資料，擺脫資訊弱勢，將寶貴的時間用在分析資料以及擬定投資策略!

緯育TibaMe

VBA網路爬蟲:高效率抓取投資資訊

利用微軟Excel VBA抓取投資資訊，零基礎也能學會！入門VBA程式語言與相關物件操作，讓你不用再慢慢手動抓取資料，擺脫資訊弱勢，將寶貴的時間用在分析資料以及擬定投資策略!

緯育TibaMe

學習精靈

11/12 00:00

youtube.com

聖約翰科大數位文藝系103 01資料蒐集與專題寫作期中考

121 0

分享到：

Line

Facebook

複製連結

取消

Mike的Python學院

關注

Mike Ku

Learn Code With Mike品牌創辦人

2021/10/14

開發Python網頁爬蟲前需要知道的五個基本觀念

Q: 什麼是網頁爬蟲?

網頁爬蟲可以把它想像成是一種網頁機器人，能夠依照特定的模式或規則，自動化擷取網頁原始碼，來進行解析取得資料，所以被大量的應用在網頁資料蒐集。

當然網頁爬蟲部一定只能使用Python來進行實作，其它像Java、C#及JavaScript等程式語言也可以，而因為Python語法簡潔及擁有許多成熟的套件與框架，所以筆者選擇Python來開發網頁爬蟲。

Q: 網路是如何運作方式呢?

Python網頁爬蟲事實上就是模擬使用者來瀏覽網頁，這時候就需要瞭解網路的基本架構，分為用戶端(Client)及伺服端(Server)。

其中，用戶端(Client)就是使用者瀏覽網頁的裝置(例：本機電腦)，當使用者點擊網頁時，也就代表請求(Request)的動作，存取該網頁連結的伺服端(Server)，而伺服端(Server)接收連結得知使用者所要看的網頁後，將內容回應(Response)給用戶端(Client)。

這樣的網路運作方式就跟點餐的流程非常相似，當我們進到一間餐廳看著菜單，就像到一個網站瀏覽其中的網頁，接著，到櫃檯向老闆點餐的動作就像是看到喜歡的網頁，請求(Request)伺服端(Server)想看的網頁，最後，等待老闆烹飪完成送到餐桌上，像是伺服端(Server)端處理完成回應(Response)給使用者。

Q: 網頁的基本結構是什麼?

網頁是由許多的標籤(Tag)與元素(Elements)組成，並且具有階層式的結構，所以Python網頁爬蟲就需要透過定位，來取得所需的元素(Elements)。

Q: 常見的Python網頁爬蟲套件及框架

常見的Python網頁爬蟲套件及框架包含BeautifulSoup、Selenium及Scrapy。

BeautifulSoup對於HTML及XML的解析非常友善，並且容易入門使用，適用於靜態類型的網頁及小型的Python網頁爬蟲專案。

Selenium同時擁有網頁自動化測試及爬取功能，能夠搭配 JavaScript來進行爬取，所以非常適用於爬取需要滾動捲軸來動態載入資料的網站，像是電子商務或社群平台等。

Scrapy相較於BeautifulSoup及Selenium爬取速度較快且有效率，擁有非同步的功能，所以適用於爬取大量的資料及大型網頁爬蟲專案。

Q: Python網頁爬蟲有沒有標準的開發流程?

開發Python網頁爬蟲的流程，首先，會需要知道想要蒐集什麼樣的資料來進行分析或應用，接著，就可以尋找相關的網站，來分析要爬取的網頁原始碼結構，並且觀察是否有規則或模式可循，然後，選擇程式語言及適當的套件，依照分析的網頁結構及規則開發網頁爬蟲，最後，將爬取的資料依需求寫入資料庫、CSV檔案或雲端等。

如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2020/10/python-web-scraping.html )網站觀看更多精彩內容。