成為 AI 科學家｜網路爬蟲大師教你快速完成資料擷取
跟隨網路爬蟲大師學習如何透過程式在網站上自動化爬取資料，將爬蟲基本功到爬蟲實作一次學會，課程含括五個爬蟲實作案例，包含PTT電影版最近熱門電影、政府進行中採購資訊、PTT八卦版近期熱門議題、TechOrange科技時事、Dcard熱門議題等，帶你完整掌握網路爬蟲必備關鍵技術，快速完成資料擷取。
緯育TibaMe104學習精靈
網頁爬蟲
網頁爬蟲
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
網頁爬蟲 學習推薦
全部
影片
文章
1分鐘讓你了解Python自學的三大要點（附範例）
在近年的數據中，尤其隨著人工智慧和大數據領域的迅速發展我們可以看到一個鮮明的趨勢：全球超過40%的新進軟體工程師都選擇以Python作為他們的首選語言，95%的數據科學家選擇Python作為他們的主要工具，不僅如此，根據最新的學術研究，學習Python的過程也有助於增強邏輯思維和問題解決能力。這種趨勢和研究結果再次凸顯了「Python自學」的重要性。在這個科技驅動的世界中，「Python自學」不僅是一個選擇，更是一個為未來做準備的必要途徑。如果你希望在這個資訊化時代保持競爭力，那麼「Python自學」絕對值得你投入時間和心力。
【一、為何選擇Python】
選擇學習一門新的程式語言時，首先需要明白為何選擇它。Python是一種高階、解釋型的程式語言，於1991年由Guido van Rossum創建。其主要特點包括：
📌易讀性: Python具有明確的結構和語法，它鼓勵使用空白和縮排來組織代碼，這使得代碼更易於閱讀和維護。
📌標準庫: Python擁有一個豐富的標準庫，提供了眾多實用的模組和函數，能夠支援從文件操作、網路通訊到圖形介面的開發等各種功能。
📌多用途: Python是多用途的語言，被廣泛用於網頁開發、數據分析、人工智慧、機器學習、自動化、遊戲開發等眾多領域。
Python已經成為世界上最受歡迎的程式語言之一，部分原因包括非常適合初學者。此外，Python具有強大的標準庫和第三方庫，適用於網頁開發、數據分析、人工智慧、遊戲開發等多個領域。
【二、Python學習資源】
在自學Python時，有許多免費和付費的學習資源可供選擇。一些熱門的免費學習平台如 Codecademy, Coursera, 和 edX 通常都有提供Python入門課程。而書籍方面，《Python Crash Course》和《Automate the Boring Stuff with Python》是初學者的最佳選擇。另外，Python的官方文件也是一個深入學習的好地方。
而中文的部份，學習Python的中文資源非常多，以下是一些推薦的中文學習資源：
書籍:
📘《簡明Python教程》: 為初學者提供了一個清晰、簡單的Python入門指南。
📘《Python核心編程》: 涵蓋Python的基礎知識到高階技巧，適合有一定程式基礎的讀者深入學習。
📘《Python網頁爬蟲實戰》: 專注於如何使用Python進行網頁資料的抓取。
網路課程:
💻菜鳥教程 (Runoob): 提供了一個完整的Python教學，從基礎語法到進階功能，適合初學者。
💻魚C工作室: 透過視頻形式教授Python，內容生動且深入淺出。
線上平台:
🌐LeetCode: 雖然是一個算法和數據結構的練習平台，但它有許多中文社群和解題教學，可以學習如何用Python解決具體問題。
🌐CSDN: 中國最大的IT社群網站之一，有大量的Python教學和技術博客。
當然，這只是冰山一角，還有許多優質的中文Python學習資源分散在網路上。建議根據自己的學習風格和需求，選擇最適合的資源進行學習。
【三、實際操作】
只閱讀教程或看課程並不足夠。學習程式的最佳方式是通過實際操作。建議您在學習過程中持續撰寫代碼，解決實際問題。可以從小項目開始，如計算機、待辦事項清單或小遊戲，然後再逐步擴大至更複雜的專案。
讓我們從最基礎的一個範例開始：製作一個程式，該程式能夠詢問使用者的名字和年齡，然後計算出使用者在某年的年齡。
def main():
# 取得使用者的名字和當前年齡
name = input("請輸入您的名字: ")
age = int(input("請輸入您的年齡: "))
# 計算使用者在100年後的年齡
age_in_100_years = age + 100
# 輸出結果
print(f"您好, {name}！100年後，您將會是{age_in_100_years}歲。")
if __name__ == "__main__":
main()
這個程式首先定義了一個main函數，該函數會詢問使用者的名字和年齡，然後計算出使用者在100年後的年齡並輸出結果。if __name__ == "__main__":是Python的一個常見模式，確保當這個腳本被執行時，main函數會被呼叫。
當您執行這個程式，您可以輸入您的名字和年齡，然後程式會告訴您在100年後的年齡。
透過這樣的簡單範例，您可以學習到Python的基礎語法，如何定義函數、如何獲取和處理使用者輸入，以及如何輸出結果。隨著時間和練習的增加，您可以開始嘗試更複雜的項目和功能。
1
1
2444 1
拍手
留言
分享
Line
複製連結
收藏
熱門精選
【最新】2024年11月AI課程熱門排行榜TOP 10：最受歡迎的AI學習課程推薦
從AI基礎知識到應用，市面上提供了各種AI學習課程：AI線上課程、AI實體課程，無論您是初學者還是專業人士，都可以找到適合自己的AI課程。本文將為您揭曉2024年11月最受歡迎的AI課程排行榜，幫助您輕鬆找到優質的AI學習資源，快速掌握AI技能。
本篇透過從104課程中心的用戶學習大數據，整理出大家都在搜尋的TOP 10 熱門課程；可透過排行榜，找到你所需的學習內容，增進職場的職能成長，加強自我競爭力，打造你的職涯藍圖！
第1名。ChatGPT x Excel | 職場必學商務數據分析術
講師將以系統化教學法，教授數據分析常用情境，搭上火紅 ChatGPT ，步驟式實戰，能隨學即用，讓你知道如何在工作中運用所學到的技能！
第2名。AI資料科學家【 聽課全系列 】
「基礎思維」AI資料科學的新朋友，必定要了解一下人工智慧的歷史里程碑與事件，從這裡出發，您也能與不熟悉這個領域的朋友侃侃而談地分享您所學領域的轉變與趨勢，而初學者免不了學習的十字路口，不知道該從哪個部分開始學習AI，這裡也會給您適合適當的指引。常常被混的網頁爬蟲與ETL您真的認識並了解嗎？聽聽看TibaMe的講師們怎麼說吧！
第3名。生成式AI應用速成：商業溝通師-數位行銷課(12/21開課)
🔴報名截止日：2024/12/8🔴
你可以學到
🌟AI 行銷創作零基礎也能秒上手｜不需任何行銷經驗，快速學會生成式 AI 工具，輕鬆打造吸睛行銷素材。
🌟行銷策略效果爆發式成長｜ 有效運用 AI 提升執行力，讓行銷效率飆升、策略效果倍增。
🌟精準鎖定目標受眾，打中痛點｜ 用 AI 技術解析消費者行為，精準掌握市場趨勢，一次抓住受眾需求。
🌟品牌形象全面升級｜ AI 創造獨特行銷風格，讓品牌成為目光焦點，迅速在市場中脫穎而出。
第4名。2小時輕鬆學AI | 基礎觀念與應用
從資料科學的基礎觀念談起、商業智慧、資料探勘、影像辨識等技術應用，最後再討論企業實際導入人工智慧所需的相關流程。
第5名。生成式AI應用速成：創作詠唱師-影音創作課(11/30開課)
🔴報名截止日：2024/11/17🔴
你可以學到
🌟虛擬角色打造 ｜ 從角色設計、到AI影片製作，一站式打造你的專屬虛擬網紅。
🌟短影音製作 ｜ 運用AI工具，快速生成各種特效、濾鏡，製作出精緻的短影音。
🌟內容行銷 ｜ 學習如何利用AI工具製作出更能觸動觀眾的內容。
第6名。生成式AI工具應用實戰 (線上直播課程)
你可以學到
行銷廣告文案+社群策略及內容+SEO生成+BingAI繪圖，一次學會生成式AI工具應用！
本課程「生成式AI工具應用」旨在教導學員如何利用最先進的生成式AI工具，特別是ChatGPT和微軟Bing AI繪圖工具，來提升行銷文案、社群媒體內容、SEO優化、廣告文案創作以及內容行銷的效率和成效。
第7名。生成式AI應用速成：創作詠唱師-繪圖設計課(12/21開課)
🔴報名截止日：2024/12/8🔴
你可以學到
🌟成為AI設計高手｜ 從設計小白變身AI設計達人，自信接下各種設計挑戰。
🌟擴大職涯發展｜ 掌握AI設計技能，提升職場競爭力，開拓更多職涯發展機會。
🌟節省設計成本｜ 減少外包設計費用，提高工作效率，為企業創造更多價值。
🌟實現創意無限｜ 突破傳統設計框架，用AI工具打造出獨一無二的視覺作品。
第8名。AI應用時代｜從邏輯思維到文字溝通，從職場複利到高效生活
藉由AI助手的力量，更高效地完成商務工作、激發靈感。也透過AI協助經營社群，包含工作行程、日常旅遊、飲食規劃等，提高短影音規劃的效率，進而產出斜槓複利。
第9名。一次搞懂 ChatGPT 工作法 | 5分鐘看懂，立即上手 AI 應用觀念！
5分鐘輕巧學：圖解式影音 X 25應用情境 X 30組AI神器
第10名。AI x 產品企劃(產品開發)實務應用班
你可以學到
往在產品企劃及開發上，所面臨到的難以解決的疑難問題，在未來都有機會利用AI工具進一步改善，取得更有效的解決方案。
本課程將教會您如何快速掌握AI在商業分析、創意生成、行銷文案、用戶旅程設計與消費者行為洞察中的應用，並了解如何將這些工具應用於產品企劃流程中。
更多AI課程推薦：
2
0
8358 1
拍手
留言
分享
Line
複製連結
收藏
104學習精靈精選課程
看更多課程
想提升職場競爭力？專業技能課程看起來👇
一定要懂的Scrapy框架結合Gmail寄送爬取資料附件秘訣
本文將爬取的結果存入CSV檔案後，透過Gmail附件郵寄給使用者。在開始之前，大家可以先參考[Python實戰應用]Python寄送Gmail電子郵件實作教學文章( https://www.learncodewithmike.com/2020/02/python-email.html
)的第二節步驟，取得Gmail的應用程式密碼，以便能夠利用它的SMTP(簡易郵件傳輸協定)來發送郵件。
Q: Scrapy MailSender結合Gmail發送郵件
在Scrapy網頁爬蟲框架中，想要實作發送電子郵件的功能，可以使用內建的MailSender模組(Module)，透過基本的設定即可達成。開啟Scrapy專案的settings.py設定檔，加入以下的Gmail SMTP設定：
MAIL_HOST = "smtp.gmail.com"
MAIL_PORT = 587
MAIL_FROM = "申請Gmail應用程式密碼所使用的電子郵件帳號"
MAIL_PASS = "Gmail應用程式密碼"
MAIL_TLS = True
並且，將[Scrapy教學7]教你Scrapy框架匯出CSV檔案方法提升資料處理效率文章( https://www.learncodewithmike.com/2021/01/scrapy-export-csv-files.html
)中所建立的CsvPipeline資料模型管道設定開啟，如下範例：
ITEM_PIPELINES = {
'news_scraper.pipelines.CsvPipeline': 500,
}
設定完成後，開啟ITEM PIPELINE資料模型管道(pipelines.py)檔案，引用Scrapy框架的設定檔及MailSender模組(Module)，如下範例：
from itemadapter import ItemAdapter
from news_scraper import settings
from scrapy.mail import MailSender
接著，在CsvPipeline類別(Class)的close_spider()方法(Method)中，來建立Scrapy MailSender物件，以及指定Gmail的附件，包含「附件顯示的名稱(attach_name)」、「網際網路媒體類型(mime_type)」及「檔案物件(file_object)」，如下範例：
class CsvPipeline:
...
def close_spider(self, spider):
self.exporter.finish_exporting()
self.file.close()
mail = MailSender(smtphost=settings.MAIL_HOST,
smtpport=settings.MAIL_PORT,
smtpuser=settings.MAIL_FROM,
smtppass=settings.MAIL_PASS,
smtptls=settings.MAIL_TLS)
attach_name = "posts.csv"
mime_type = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
file_object = open("posts.csv", "rb")
return mail.send(to=["example@gmail.com"],
subject="news",
body="",
attachs=[(attach_name, mime_type, file_object)])
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-sending-gmail.html
)網站觀看更多精彩內容。
2
0
154 0
拍手
留言
分享
Line
複製連結
收藏
推薦給你
意志動詞是什麼？一次學Will、Want、Decide、Hope、Plan、Promise和Intend
在多益考試中，意志動詞（Verbs of Willingness and Intention）是常見的文法考題，這些動詞用來表達說話者的意圖、決心或願意做某事的態度。而這些動詞包括：will、want、decide、hope、plan、promise和intend 等，本篇文章帶你認識這七個意志動詞以及它們的文法規律！
▍七個意志動詞
1. Will – 表示未來的意圖或決定
⇨ Will 是最常見的意志動詞，用來表達說話者的未來計劃或願意做的事情。
• 例句：I will attend the meeting tomorrow.
我明天會參加會議。
• 例句：She will help you with the project.
她會幫你處理這個專案。
2. Want – 表示願望或需求
⇨ Want 表示某人希望或渴望某事。
• 例句：I want to improve my English skills.
我想提高我的英語能力。
• 例句：They want to meet the client next week.
他們想下週見客戶。
3. Decide – 表示做出決定
⇨ Decide 用來表示某人已經做出決定，並且要進行某個行動。
• 例句：We decided to launch the new product next month.
我們決定下個月推出新產品。
• 例句：She decided not to attend the conference.
她決定不參加會議。
4. Hope – 表示希望或期望
⇨ Hope 是一個表達願望或期望的動詞，通常不會直接接動詞原形，會使用 to 或 that 引導的從句。
• 例句：I hope to get a promotion soon.
我希望不久後能升遷。
• 例句：We hope that the project will be completed on time.
我們希望專案能按時完成。
5. Plan – 表示計劃
⇨ Plan 表示某人為未來的某個行動制定計劃。
• 例句：We plan to expand our business to Europe next year.
我們計劃明年將業務擴展到歐洲。
• 例句：She plans to start a new project in the coming months.
她計劃在未來幾個月開始一個新專案。
6. Promise – 表示承諾
⇨ Promise 表示某人保證做某事，通常有強烈的意圖去完成某個目標。
• 例句：I promise to submit the report by Friday.
我保證在週五前提交報告。
• 例句：They promised to provide a solution within 24 hours.
他們保證在24小時內提供解決方案。
7. Intend – 表示打算
⇨ Intend 表示某人計劃或打算做某事。
• 例句：We intend to hold the meeting in the morning.
我們打算在早上召開會議。
• 例句：She intends to leave the company next year.
她打算明年離開公司。
▍文法規律
1. 後接動詞原形 to V
⇨ 這些意志動詞後面通常接動詞的原形，表示將來的動作或意圖。
• 例句：She will attend the meeting.
她會參加會議。
• 例句：They want to improve their performance.
他們希望提高表現。
2. 部分動詞後接 to + 動詞原形
⇨ 部分意志動詞（如 hope, plan, decide, intend）後面接 to 再加動詞原形，這是這些動詞的固定搭配！
• 例句：We hope to finish the project by next week.
我們希望在下週前完成這個專案。
• 例句：They plan to expand the market.
他們計劃擴展市場。
3. 後接名詞或名詞片語
⇨ 這些動詞後接名詞或名詞片語，表達意圖或決定。
• 例句：I decided on a new strategy.
我決定了新的策略。
• 例句：He promised a better outcome.
他承諾會有更好的結果。
4. 特殊情況：hope 的用法
⇨ 雖然 hope 常常後接 to + 動詞原形，但當 hope 用在表達期望的時候，常常會接 that 引導的從句。
• 例句：I hope that the meeting goes well.
我希望會議順利進行。
• 例句：They hope that the project will be completed on time.
他們希望專案能按時完成。
5. 未來意圖的表達
⇨ 這些意志動詞多數與未來相關，表示某人計劃、希望或願意做某事，因此它們的語法結構通常指向未來。
• 例句：We will attend the conference next month.
我們下個月會參加會議。
• 例句：She intends to start a new business.
她打算開創一個新業務。
希望這篇文章對你有幫助！記得加入共學教室掌握我們的最新文章，一起提升多益實力！
0
0
6 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室