成為 AI 科學家｜網路爬蟲大師教你快速完成資料擷取
跟隨網路爬蟲大師學習如何透過程式在網站上自動化爬取資料，將爬蟲基本功到爬蟲實作一次學會，課程含括五個爬蟲實作案例，包含PTT電影版最近熱門電影、政府進行中採購資訊、PTT八卦版近期熱門議題、TechOrange科技時事、Dcard熱門議題等，帶你完整掌握網路爬蟲必備關鍵技術，快速完成資料擷取。
緯育TibaMe104學習精靈
網頁爬蟲
網頁爬蟲
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
網頁爬蟲 學習推薦
全部
影片
文章
1分鐘讓你了解Python自學的三大要點（附範例）
在近年的數據中，尤其隨著人工智慧和大數據領域的迅速發展我們可以看到一個鮮明的趨勢：全球超過40%的新進軟體工程師都選擇以Python作為他們的首選語言，95%的數據科學家選擇Python作為他們的主要工具，不僅如此，根據最新的學術研究，學習Python的過程也有助於增強邏輯思維和問題解決能力。這種趨勢和研究結果再次凸顯了「Python自學」的重要性。在這個科技驅動的世界中，「Python自學」不僅是一個選擇，更是一個為未來做準備的必要途徑。如果你希望在這個資訊化時代保持競爭力，那麼「Python自學」絕對值得你投入時間和心力。
【一、為何選擇Python】
選擇學習一門新的程式語言時，首先需要明白為何選擇它。Python是一種高階、解釋型的程式語言，於1991年由Guido van Rossum創建。其主要特點包括：
📌易讀性: Python具有明確的結構和語法，它鼓勵使用空白和縮排來組織代碼，這使得代碼更易於閱讀和維護。
📌標準庫: Python擁有一個豐富的標準庫，提供了眾多實用的模組和函數，能夠支援從文件操作、網路通訊到圖形介面的開發等各種功能。
📌多用途: Python是多用途的語言，被廣泛用於網頁開發、數據分析、人工智慧、機器學習、自動化、遊戲開發等眾多領域。
Python已經成為世界上最受歡迎的程式語言之一，部分原因包括非常適合初學者。此外，Python具有強大的標準庫和第三方庫，適用於網頁開發、數據分析、人工智慧、遊戲開發等多個領域。
【二、Python學習資源】
在自學Python時，有許多免費和付費的學習資源可供選擇。一些熱門的免費學習平台如 Codecademy, Coursera, 和 edX 通常都有提供Python入門課程。而書籍方面，《Python Crash Course》和《Automate the Boring Stuff with Python》是初學者的最佳選擇。另外，Python的官方文件也是一個深入學習的好地方。
而中文的部份，學習Python的中文資源非常多，以下是一些推薦的中文學習資源：
書籍:
📘《簡明Python教程》: 為初學者提供了一個清晰、簡單的Python入門指南。
📘《Python核心編程》: 涵蓋Python的基礎知識到高階技巧，適合有一定程式基礎的讀者深入學習。
📘《Python網頁爬蟲實戰》: 專注於如何使用Python進行網頁資料的抓取。
網路課程:
💻菜鳥教程 (Runoob): 提供了一個完整的Python教學，從基礎語法到進階功能，適合初學者。
💻魚C工作室: 透過視頻形式教授Python，內容生動且深入淺出。
線上平台:
🌐LeetCode: 雖然是一個算法和數據結構的練習平台，但它有許多中文社群和解題教學，可以學習如何用Python解決具體問題。
🌐CSDN: 中國最大的IT社群網站之一，有大量的Python教學和技術博客。
當然，這只是冰山一角，還有許多優質的中文Python學習資源分散在網路上。建議根據自己的學習風格和需求，選擇最適合的資源進行學習。
【三、實際操作】
只閱讀教程或看課程並不足夠。學習程式的最佳方式是通過實際操作。建議您在學習過程中持續撰寫代碼，解決實際問題。可以從小項目開始，如計算機、待辦事項清單或小遊戲，然後再逐步擴大至更複雜的專案。
讓我們從最基礎的一個範例開始：製作一個程式，該程式能夠詢問使用者的名字和年齡，然後計算出使用者在某年的年齡。
def main():
# 取得使用者的名字和當前年齡
name = input("請輸入您的名字: ")
age = int(input("請輸入您的年齡: "))
# 計算使用者在100年後的年齡
age_in_100_years = age + 100
# 輸出結果
print(f"您好, {name}！100年後，您將會是{age_in_100_years}歲。")
if __name__ == "__main__":
main()
這個程式首先定義了一個main函數，該函數會詢問使用者的名字和年齡，然後計算出使用者在100年後的年齡並輸出結果。if __name__ == "__main__":是Python的一個常見模式，確保當這個腳本被執行時，main函數會被呼叫。
當您執行這個程式，您可以輸入您的名字和年齡，然後程式會告訴您在100年後的年齡。
透過這樣的簡單範例，您可以學習到Python的基礎語法，如何定義函數、如何獲取和處理使用者輸入，以及如何輸出結果。隨著時間和練習的增加，您可以開始嘗試更複雜的項目和功能。
1
1
2296 1
拍手
留言
分享
Line
複製連結
收藏
熱門精選
產品
06/26 13:22
【PPA開幕慶】活動期間首購單筆滿千以上送100元Line Points點數
活動期間：2024/7/9 11:00- 2024/8/5 23:59
活動說明：活動期間首次於104課程中心付費購買「PPA (PressPlay Academy) 上架課程」，單筆滿$1,000以上 ( 若有使用任何折扣碼優惠，結帳金額於扣除優惠後須超過$1,000以上，且不累計贈送。) 即可獲贈100元Line Points點數回饋。
活動注意事項：
1. 獲贈資格須符合下列說明：
(A) 首購意指：載本活動之前未曾在104課程中心購買「PPA (PressPlay Academy) 上架課程」，於活動期間首次完成消費購買「PPA (PressPlay Academy) 上架課程」。
(B) 購買者必須於104課程中心系統完成付費紀錄。( 特別提醒： 購買者於PPA (PressPlay Academy) 官網線上消費不包含在此次活動資格 )
(C) 訂單成立且完成付款時間皆須於2024年8月5日23:59前，並於7天內完成課程兌換，始符合獲贈點數回饋的資格；最後獲贈者將公告於本活動網站，中間姓名會隱藏。
(D) 單帳號僅有乙次贈送資格，符合上述資格者，因點數作業時間，您的回饋點數最晚將於2024/9/30前寄送至您購買時填寫的e-mail電子郵件信箱。
2. 本次贈送的100元Line Points點數，點數發送後請於規範時間內完成兌換，點數兌換後於180天內須使用完畢，逾期失效。
3. 104課程中心保有最終修改、變更、活動解釋及取消本活動之權利。
5. 如您有任何問題，歡迎來信nabiservice@104.com.tw
0
0
21999 3
拍手
留言
分享
Line
複製連結
收藏
104學習精靈精選課程
看更多課程
想提升職場競爭力？專業技能課程看起來👇
一定要懂的Scrapy框架結合Gmail寄送爬取資料附件秘訣
本文將爬取的結果存入CSV檔案後，透過Gmail附件郵寄給使用者。在開始之前，大家可以先參考[Python實戰應用]Python寄送Gmail電子郵件實作教學文章( https://www.learncodewithmike.com/2020/02/python-email.html
)的第二節步驟，取得Gmail的應用程式密碼，以便能夠利用它的SMTP(簡易郵件傳輸協定)來發送郵件。
Q: Scrapy MailSender結合Gmail發送郵件
在Scrapy網頁爬蟲框架中，想要實作發送電子郵件的功能，可以使用內建的MailSender模組(Module)，透過基本的設定即可達成。開啟Scrapy專案的settings.py設定檔，加入以下的Gmail SMTP設定：
MAIL_HOST = "smtp.gmail.com"
MAIL_PORT = 587
MAIL_FROM = "申請Gmail應用程式密碼所使用的電子郵件帳號"
MAIL_PASS = "Gmail應用程式密碼"
MAIL_TLS = True
並且，將[Scrapy教學7]教你Scrapy框架匯出CSV檔案方法提升資料處理效率文章( https://www.learncodewithmike.com/2021/01/scrapy-export-csv-files.html
)中所建立的CsvPipeline資料模型管道設定開啟，如下範例：
ITEM_PIPELINES = {
'news_scraper.pipelines.CsvPipeline': 500,
}
設定完成後，開啟ITEM PIPELINE資料模型管道(pipelines.py)檔案，引用Scrapy框架的設定檔及MailSender模組(Module)，如下範例：
from itemadapter import ItemAdapter
from news_scraper import settings
from scrapy.mail import MailSender
接著，在CsvPipeline類別(Class)的close_spider()方法(Method)中，來建立Scrapy MailSender物件，以及指定Gmail的附件，包含「附件顯示的名稱(attach_name)」、「網際網路媒體類型(mime_type)」及「檔案物件(file_object)」，如下範例：
class CsvPipeline:
...
def close_spider(self, spider):
self.exporter.finish_exporting()
self.file.close()
mail = MailSender(smtphost=settings.MAIL_HOST,
smtpport=settings.MAIL_PORT,
smtpuser=settings.MAIL_FROM,
smtppass=settings.MAIL_PASS,
smtptls=settings.MAIL_TLS)
attach_name = "posts.csv"
mime_type = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
file_object = open("posts.csv", "rb")
return mail.send(to=["example@gmail.com"],
subject="news",
body="",
attachs=[(attach_name, mime_type, file_object)])
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-sending-gmail.html
)網站觀看更多精彩內容。
2
0
295 0
拍手
留言
分享
Line
複製連結
收藏
推薦給你
投放Google關鍵字廣告的五大優勢！
Google關鍵字廣告可以幫助企業提高銷售、增加品牌曝光和精確觸達目標客戶。投放Google關鍵字廣告（Google Ads）的五大理由如下：
1. 高效目標客戶：Google關鍵字廣告可以讓你精確鎖定正在搜索與你的產品或服務相關的潛在客戶。這意味著你的廣告會出現在那些已經對你的產品有興趣的人的面前，從而提高轉化率。
2. 靈活的預算控制：你可以根據自己的預算靈活設置每日和每次點擊的費用。無論是小企業還是大型公司，都可以根據需要調整廣告支出，以確保不超出預算。
3. 即時效果追踪與優化：Google Ads提供詳細的報告和分析工具，讓你能夠即時追踪廣告的效果。這些數據可以幫助你了解哪些關鍵字和廣告文案最有效，並進行及時的優化，以提高投資回報率。
4. 增加品牌知名度：即使用戶不點擊你的廣告，只要他們在搜索結果頁面上看到你的品牌名稱和信息，就能增加品牌的曝光度和知名度，這對於長期的品牌建設非常有利。
5. 覆蓋廣泛且多樣化的受眾：Google擁有全球最大的搜索引擎，能夠覆蓋世界各地的廣大受眾。無論你是本地企業還是國際公司，都可以通過Google Ads將你的產品或服務展示給不同地域和語言的用戶。
0
0
132 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室