「網頁爬蟲」在職進修、線上學習、共學教室

關注

一零四獨家新知識

nabi總知識長

2023/09/08

在近年的數據中，尤其隨著人工智慧和大數據領域的迅速發展我們可以看到一個鮮明的趨勢：全球超過40%的新進軟體工程師都選擇以Python作為他們的首選語言，95%的數據科學家選擇Python作為他們的主要工具，不僅如此，根據最新的學術研究，學習Python的過程也有助於增強邏輯思維和問題解決能力。這種趨勢和研究結果再次凸顯了「Python自學」的重要性。在這個科技驅動的世界中，「Python自學」不僅是一個選擇，更是一個為未來做準備的必要途徑。如果你希望在這個資訊化時代保持競爭力，那麼「Python自學」絕對值得你投入時間和心力。

【一、為何選擇Python】

選擇學習一門新的程式語言時，首先需要明白為何選擇它。Python是一種高階、解釋型的程式語言，於1991年由Guido van Rossum創建。其主要特點包括：

📌易讀性: Python具有明確的結構和語法，它鼓勵使用空白和縮排來組織代碼，這使得代碼更易於閱讀和維護。

📌標準庫: Python擁有一個豐富的標準庫，提供了眾多實用的模組和函數，能夠支援從文件操作、網路通訊到圖形介面的開發等各種功能。

📌多用途: Python是多用途的語言，被廣泛用於網頁開發、數據分析、人工智慧、機器學習、自動化、遊戲開發等眾多領域。

Python已經成為世界上最受歡迎的程式語言之一，部分原因包括非常適合初學者。此外，Python具有強大的標準庫和第三方庫，適用於網頁開發、數據分析、人工智慧、遊戲開發等多個領域。

【二、Python學習資源】

在自學Python時，有許多免費和付費的學習資源可供選擇。一些熱門的免費學習平台如 Codecademy, Coursera, 和 edX 通常都有提供Python入門課程。而書籍方面，《Python Crash Course》和《Automate the Boring Stuff with Python》是初學者的最佳選擇。另外，Python的官方文件也是一個深入學習的好地方。

而中文的部份，學習Python的中文資源非常多，以下是一些推薦的中文學習資源：

書籍:

📘《簡明Python教程》: 為初學者提供了一個清晰、簡單的Python入門指南。

📘《Python核心編程》: 涵蓋Python的基礎知識到高階技巧，適合有一定程式基礎的讀者深入學習。

📘《Python網頁爬蟲實戰》: 專注於如何使用Python進行網頁資料的抓取。

網路課程:

💻菜鳥教程 (Runoob): 提供了一個完整的Python教學，從基礎語法到進階功能，適合初學者。

💻魚C工作室: 透過視頻形式教授Python，內容生動且深入淺出。

線上平台:

🌐LeetCode: 雖然是一個算法和數據結構的練習平台，但它有許多中文社群和解題教學，可以學習如何用Python解決具體問題。

🌐CSDN: 中國最大的IT社群網站之一，有大量的Python教學和技術博客。

當然，這只是冰山一角，還有許多優質的中文Python學習資源分散在網路上。建議根據自己的學習風格和需求，選擇最適合的資源進行學習。

【三、實際操作】

只閱讀教程或看課程並不足夠。學習程式的最佳方式是通過實際操作。建議您在學習過程中持續撰寫代碼，解決實際問題。可以從小項目開始，如計算機、待辦事項清單或小遊戲，然後再逐步擴大至更複雜的專案。

讓我們從最基礎的一個範例開始：製作一個程式，該程式能夠詢問使用者的名字和年齡，然後計算出使用者在某年的年齡。

def main():

# 取得使用者的名字和當前年齡

name = input("請輸入您的名字: ")

age = int(input("請輸入您的年齡: "))

# 計算使用者在100年後的年齡

age_in_100_years = age + 100

# 輸出結果

print(f"您好, {name}！100年後，您將會是{age_in_100_years}歲。")

if __name__ == "__main__":

main()

這個程式首先定義了一個main函數，該函數會詢問使用者的名字和年齡，然後計算出使用者在100年後的年齡並輸出結果。if __name__ == "__main__":是Python的一個常見模式，確保當這個腳本被執行時，main函數會被呼叫。

當您執行這個程式，您可以輸入您的名字和年齡，然後程式會告訴您在100年後的年齡。

透過這樣的簡單範例，您可以學習到Python的基礎語法，如何定義函數、如何獲取和處理使用者輸入，以及如何輸出結果。隨著時間和練習的增加，您可以開始嘗試更複雜的項目和功能。

看更多

1 1 2617 2

拍手

留言

分享到：

Line

Facebook

複製連結

取消

104學習精靈精選課程

看更多課程

想提升職場競爭力？專業技能課程看起來👇

成為 AI 科學家｜網路爬蟲大師教你快速完成資料擷取

跟隨網路爬蟲大師學習如何透過程式在網站上自動化爬取資料，將爬蟲基本功到爬蟲實作一次學會，課程含括五個爬蟲實作案例，包含PTT電影版最近熱門電影、政府進行中採購資訊、PTT八卦版近期熱門議題、TechOrange科技時事、Dcard熱門議題等，帶你完整掌握網路爬蟲必備關鍵技術，快速完成資料擷取。

緯育TibaMe

Python 資料分析 - 網頁爬蟲與視覺呈現

1. 網頁資料擷取與轉換 2. 運用 Matplotlib 視覺化呈現 3. 運用 Seaborn 進行視覺化呈現

Hahow好學校

Python 進階課程：觀念、語法、專案、爬蟲

1. 學習 Python 的進階觀念與語法 2. 體驗製作專案時的各種細節設計考量 3. 同時見識進階觀念與語法的使用 4. 學會用良好的方式結構具有複雜性的程式專案 5. 學會將專案打包成套件並上傳 6. 學會爬蟲處理不同網站的觀念、爬法 7. 學會使用資料庫 (包括 NoSQL 與 SQL) 8. 延伸教材 - 學會使用 Selenium 瀏覽器自動化 9.延伸教材 - 製作空氣品質監控專案 10.延伸教材 - 認識人工智慧、機器學習、深度學習

Hahow好學校

Python 網頁爬蟲入門實戰

你會學到如何撰寫 Python 與網站或 API 溝通，解構網頁，擷取資訊，儲存資料，有系統寫出爬蟲程式，並完成課程範例 (PTT 網頁爬蟲、Yahoo 奇摩電影爬蟲、FB Graph API 爬蟲等等)，進而寫出屬於你自己需求的爬蟲程式

Hahow好學校

學習精靈

01/18 00:00

learncodewithmike.com

[Python爬蟲教學]7個Python使用BeautifulSoup開發網頁爬蟲的實用技巧

14 0

推薦證照

TQC+ SD-網頁資料擷取與分析

Mike的Python學院

關注

Mike Ku

Learn Code With Mike品牌創辦人

2022/01/19

一定要懂的Scrapy框架結合Gmail寄送爬取資料附件秘訣

本文將爬取的結果存入CSV檔案後，透過Gmail附件郵寄給使用者。在開始之前，大家可以先參考[Python實戰應用]Python寄送Gmail電子郵件實作教學文章( https://www.learncodewithmike.com/2020/02/python-email.html )的第二節步驟，取得Gmail的應用程式密碼，以便能夠利用它的SMTP(簡易郵件傳輸協定)來發送郵件。

Q: Scrapy MailSender結合Gmail發送郵件

在Scrapy網頁爬蟲框架中，想要實作發送電子郵件的功能，可以使用內建的MailSender模組(Module)，透過基本的設定即可達成。開啟Scrapy專案的settings.py設定檔，加入以下的Gmail SMTP設定：

MAIL_HOST = "smtp.gmail.com"

MAIL_PORT = 587

MAIL_FROM = "申請Gmail應用程式密碼所使用的電子郵件帳號"

MAIL_PASS = "Gmail應用程式密碼"

MAIL_TLS = True

並且，將[Scrapy教學7]教你Scrapy框架匯出CSV檔案方法提升資料處理效率文章( https://www.learncodewithmike.com/2021/01/scrapy-export-csv-files.html )中所建立的CsvPipeline資料模型管道設定開啟，如下範例：

ITEM_PIPELINES = {

'news_scraper.pipelines.CsvPipeline': 500,

}

設定完成後，開啟ITEM PIPELINE資料模型管道(pipelines.py)檔案，引用Scrapy框架的設定檔及MailSender模組(Module)，如下範例：

from itemadapter import ItemAdapter

from news_scraper import settings

from scrapy.mail import MailSender

接著，在CsvPipeline類別(Class)的close_spider()方法(Method)中，來建立Scrapy MailSender物件，以及指定Gmail的附件，包含「附件顯示的名稱(attach_name)」、「網際網路媒體類型(mime_type)」及「檔案物件(file_object)」，如下範例：

class CsvPipeline:

...

def close_spider(self, spider):

self.exporter.finish_exporting()

self.file.close()

mail = MailSender(smtphost=settings.MAIL_HOST,

smtpport=settings.MAIL_PORT,

smtpuser=settings.MAIL_FROM,

smtppass=settings.MAIL_PASS,

smtptls=settings.MAIL_TLS)

attach_name = "posts.csv"

mime_type = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"

file_object = open("posts.csv", "rb")

return mail.send(to=["example@gmail.com"],

subject="news",

body="",

attachs=[(attach_name, mime_type, file_object)])

如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-sending-gmail.html

)網站觀看更多精彩內容。

看更多

learncodewithmike.com

[Scrapy教學9]一定要懂的Scrapy框架結合Gmail寄送爬取資料附件秘訣

2 0 368 0

拍手

留言

分享到：

Line

Facebook

複製連結

取消

學習精靈

12/13 00:00

learncodewithmike.com

[Python爬蟲教學]善用多執行緒(Multithreading)提升Python網頁爬蟲的執行效率

10 0

104學習精靈

網頁爬蟲

網頁爬蟲學習推薦

推薦給你

104學習精靈

網頁爬蟲

網頁爬蟲 學習推薦

推薦給你

網頁爬蟲學習推薦