資料科學：Azure 機器學習工作室入門
1. 具備 Machine Learning 基礎知識
2. 具備 Machine Learning 問題類型梳理的能力
3. 具備 Machine Learning 開發流程的能力
4. 具備使用 Azure 機器學習工作室的能力
5. 具備資料清理、特徵工程、訓練模型、模型驗證和發布模型能力
6. 具備獨立建模的能力
Hahow好學校104學習精靈
資料清理
資料清理
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
資料清理 學習推薦
全部
影片
文章
3個實用的Pandas套件清理重複資料教學
本文以Kaggle網站的Amazon 2009-2019年Top50暢銷書資料集( https://www.kaggle.com/sootersaalu/amazon-top-50-bestselling-books-2009-2019
)為例，教大家如何查找及清理資料集的重複資料，提升資料的品質。
Q: Pandas duplicated()查找重複資料
想要使用Pandas套件查找資料集的重複資料，利用duplicated()方法(Method)可以得到每筆資料的重複狀態，True代表重複，False為沒重複，如下範例：
import pandas as pd
df = pd.read_csv('bestsellers with categories.csv')
print(df.duplicated())
接著，透過Pandas套件的括號[]語法即可檢視重複資料的各欄位資料，如下範例：
df = pd.read_csv('bestsellers with categories.csv')
print(df[df.duplicated()])
Pandas套件的duplicated()方法(Method)除了能夠查找所有欄位資料完全一樣的重複資料外，也提供了以下兩個關鍵字參數，來客製化查找的方式：
1. subset-查找特定欄位的重複資料
2. keep-保留第一筆(first)、最後一筆(last)或全部(False)的重複資料
如下範例：
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
df = df[df.duplicated(subset=column_names, keep=False)]
print(df)
以上範例即是查找Name(書名)、Author(作者)、Year(出版年)及Genre(類型)四個欄位都一樣的重複資料，並且全部保留。
Q: Pandas drop_duplicates()刪除重複資料
從資料集裡找到重複的資料後，接下來，最常見的就是進行刪除或群組處理。
而要刪除完全一樣的重複資料，可以利用Pandas套件的drop_duplicates()方法(Method)，如下範例：
df = pd.read_csv('bestsellers with categories.csv')
df.drop_duplicates(inplace=True)
其中，inplace關鍵字參數代表直接從現有資料集中刪除重複資料。
另外，要刪除特定欄位重複的資料，同樣可以透過subset及keep關鍵字參數來達成，如下範例：
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
df.drop_duplicates(subset=column_names, keep='first', inplace=True)
Q: Pandas groupby()、agg()群組重複資料
除了可以利用Pandas套件的drop_duplicates()方法(Method)刪除重複資料外，有時基於商業邏輯，可以透過群組的方式解決重複資料。
這時候，就可以利用Pandas套件的groupby()方法(Method)群組相同資料的欄位，以及agg()方法(Method)，統計運算剩餘的不同資料欄位，達到合併重複資料成一筆的效果，如下範例：
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
summeries = {'User Rating': 'mean', 'Reviews': 'sum', 'Price': 'mean'}
df = df.groupby(by=column_names).agg(summeries).reset_index()
print(df)
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2022/01/pandas-drop-duplicate-data.html
)網站觀看更多精彩內容。
3
0
1159 0
拍手
留言
分享
Line
複製連結
收藏
熱門精選
【最新】2024年11月AI課程熱門排行榜TOP 10：最受歡迎的AI學習課程推薦
從AI基礎知識到應用，市面上提供了各種AI學習課程：AI線上課程、AI實體課程，無論您是初學者還是專業人士，都可以找到適合自己的AI課程。本文將為您揭曉2024年11月最受歡迎的AI課程排行榜，幫助您輕鬆找到優質的AI學習資源，快速掌握AI技能。
本篇透過從104課程中心的用戶學習大數據，整理出大家都在搜尋的TOP 10 熱門課程；可透過排行榜，找到你所需的學習內容，增進職場的職能成長，加強自我競爭力，打造你的職涯藍圖！
第1名。ChatGPT x Excel | 職場必學商務數據分析術
講師將以系統化教學法，教授數據分析常用情境，搭上火紅 ChatGPT ，步驟式實戰，能隨學即用，讓你知道如何在工作中運用所學到的技能！
第2名。AI資料科學家【 聽課全系列 】
「基礎思維」AI資料科學的新朋友，必定要了解一下人工智慧的歷史里程碑與事件，從這裡出發，您也能與不熟悉這個領域的朋友侃侃而談地分享您所學領域的轉變與趨勢，而初學者免不了學習的十字路口，不知道該從哪個部分開始學習AI，這裡也會給您適合適當的指引。常常被混的網頁爬蟲與ETL您真的認識並了解嗎？聽聽看TibaMe的講師們怎麼說吧！
第3名。生成式AI應用速成：商業溝通師-數位行銷課(12/21開課)
🔴報名截止日：2024/12/8🔴
你可以學到
🌟AI 行銷創作零基礎也能秒上手｜不需任何行銷經驗，快速學會生成式 AI 工具，輕鬆打造吸睛行銷素材。
🌟行銷策略效果爆發式成長｜ 有效運用 AI 提升執行力，讓行銷效率飆升、策略效果倍增。
🌟精準鎖定目標受眾，打中痛點｜ 用 AI 技術解析消費者行為，精準掌握市場趨勢，一次抓住受眾需求。
🌟品牌形象全面升級｜ AI 創造獨特行銷風格，讓品牌成為目光焦點，迅速在市場中脫穎而出。
第4名。2小時輕鬆學AI | 基礎觀念與應用
從資料科學的基礎觀念談起、商業智慧、資料探勘、影像辨識等技術應用，最後再討論企業實際導入人工智慧所需的相關流程。
第5名。生成式AI應用速成：創作詠唱師-影音創作課(11/30開課)
🔴報名截止日：2024/11/17🔴
你可以學到
🌟虛擬角色打造 ｜ 從角色設計、到AI影片製作，一站式打造你的專屬虛擬網紅。
🌟短影音製作 ｜ 運用AI工具，快速生成各種特效、濾鏡，製作出精緻的短影音。
🌟內容行銷 ｜ 學習如何利用AI工具製作出更能觸動觀眾的內容。
第6名。生成式AI工具應用實戰 (線上直播課程)
你可以學到
行銷廣告文案+社群策略及內容+SEO生成+BingAI繪圖，一次學會生成式AI工具應用！
本課程「生成式AI工具應用」旨在教導學員如何利用最先進的生成式AI工具，特別是ChatGPT和微軟Bing AI繪圖工具，來提升行銷文案、社群媒體內容、SEO優化、廣告文案創作以及內容行銷的效率和成效。
第7名。生成式AI應用速成：創作詠唱師-繪圖設計課(12/21開課)
🔴報名截止日：2024/12/8🔴
你可以學到
🌟成為AI設計高手｜ 從設計小白變身AI設計達人，自信接下各種設計挑戰。
🌟擴大職涯發展｜ 掌握AI設計技能，提升職場競爭力，開拓更多職涯發展機會。
🌟節省設計成本｜ 減少外包設計費用，提高工作效率，為企業創造更多價值。
🌟實現創意無限｜ 突破傳統設計框架，用AI工具打造出獨一無二的視覺作品。
第8名。AI應用時代｜從邏輯思維到文字溝通，從職場複利到高效生活
藉由AI助手的力量，更高效地完成商務工作、激發靈感。也透過AI協助經營社群，包含工作行程、日常旅遊、飲食規劃等，提高短影音規劃的效率，進而產出斜槓複利。
第9名。一次搞懂 ChatGPT 工作法 | 5分鐘看懂，立即上手 AI 應用觀念！
5分鐘輕巧學：圖解式影音 X 25應用情境 X 30組AI神器
第10名。AI x 產品企劃(產品開發)實務應用班
你可以學到
往在產品企劃及開發上，所面臨到的難以解決的疑難問題，在未來都有機會利用AI工具進一步改善，取得更有效的解決方案。
本課程將教會您如何快速掌握AI在商業分析、創意生成、行銷文案、用戶旅程設計與消費者行為洞察中的應用，並了解如何將這些工具應用於產品企劃流程中。
更多AI課程推薦：
2
0
8463 1
拍手
留言
分享
Line
複製連結
收藏
104學習精靈精選課程
想提升職場競爭力？專業技能課程看起來👇
教你用Pandas套件清理資料中的常見資料型態問題(下)
想要實作資料分析，讀取資料是第一步所要執行的動作，而如果沒有正確的進行資料前處理(Data Preprocessing)，就會影響最後分析結果的準確性及可靠性。
本文就先針對「資料型態」，來和大家分享如何有效找出髒資料(Dirty Data)，並且利用Pandas套件來進行資料處理或清理，避免髒資料(Dirty Data)導致分析的副作用。
Q: Pandas類別資料型態(category)處理
在實作機器學習或分類資料的時候，有時會以數字來分別表示不同類別的資料。
同樣以Kaggle網站的ASUS筆電資料集( https://www.kaggle.com/bhageshcodebeast/asus-laptops-2020-jun
)為例，為了進行示範，Mike將「Category筆電類別欄位」利用以下三個數字表示：
0-其他
1-Premium
2-Platinum
Pandas讀取資料集後，如下範例：
import pandas as pd
df = pd.read_csv('AsusLaptops.csv')
print(df)
而各欄位的資料型態，如下範例：
import pandas as pd
df = pd.read_csv('AsusLaptops.csv')
print(df.info())
可以看到Pandas套件判定「Category筆電類別欄位」為int64(整數)型態，當利用Pandas套件的describe()方法(Method)進行摘要性統計的時候，就會看到數字型態的統計結果，如下範例：
import pandas as pd
df = pd.read_csv('AsusLaptops.csv')
print(df['Category'].describe())
但事實上，「Category筆電類別欄位」為類別資料型態(category)，如果沒有將欄位進行轉型，就有可能誤導後續的操作或統計。
解決方法，可以使用Pandas套件的astype()方法(Method)，將「Category筆電類別欄位」轉型為類別型態(category)，這時候，再透過describe()方法(Method)來查看摘要性統計的時候，就會是類別型態(category)的統計結果，如下範例：
import pandas as pd
df = pd.read_csv('AsusLaptops.csv')
df['Category'] = df['Category'].astype('category') #轉型
print(df['Category'].describe())
以上就是在進行資料分析的過程中，常見的資料型態問題，本文和大家分享了利用Pandas套件的info()方法(Method)，來查看各欄位的資料型態是否與需求相符，如果其中含有髒資料(Dirty Data)，可以使用strip()方法(Method)進行資料清理，以及透過astype()方法(Method)轉型為正確的資料型態。
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/12/processing-data-type-with-pandas.html
)網站觀看更多精彩內容。
2
0
376 0
拍手
留言
分享
Line
複製連結
收藏
推薦給你
意志動詞是什麼？一次學Will、Want、Decide、Hope、Plan、Promise和Intend
在多益考試中，意志動詞（Verbs of Willingness and Intention）是常見的文法考題，這些動詞用來表達說話者的意圖、決心或願意做某事的態度。而這些動詞包括：will、want、decide、hope、plan、promise和intend 等，本篇文章帶你認識這七個意志動詞以及它們的文法規律！
▍七個意志動詞
1. Will – 表示未來的意圖或決定
⇨ Will 是最常見的意志動詞，用來表達說話者的未來計劃或願意做的事情。
• 例句：I will attend the meeting tomorrow.
我明天會參加會議。
• 例句：She will help you with the project.
她會幫你處理這個專案。
2. Want – 表示願望或需求
⇨ Want 表示某人希望或渴望某事。
• 例句：I want to improve my English skills.
我想提高我的英語能力。
• 例句：They want to meet the client next week.
他們想下週見客戶。
3. Decide – 表示做出決定
⇨ Decide 用來表示某人已經做出決定，並且要進行某個行動。
• 例句：We decided to launch the new product next month.
我們決定下個月推出新產品。
• 例句：She decided not to attend the conference.
她決定不參加會議。
4. Hope – 表示希望或期望
⇨ Hope 是一個表達願望或期望的動詞，通常不會直接接動詞原形，會使用 to 或 that 引導的從句。
• 例句：I hope to get a promotion soon.
我希望不久後能升遷。
• 例句：We hope that the project will be completed on time.
我們希望專案能按時完成。
5. Plan – 表示計劃
⇨ Plan 表示某人為未來的某個行動制定計劃。
• 例句：We plan to expand our business to Europe next year.
我們計劃明年將業務擴展到歐洲。
• 例句：She plans to start a new project in the coming months.
她計劃在未來幾個月開始一個新專案。
6. Promise – 表示承諾
⇨ Promise 表示某人保證做某事，通常有強烈的意圖去完成某個目標。
• 例句：I promise to submit the report by Friday.
我保證在週五前提交報告。
• 例句：They promised to provide a solution within 24 hours.
他們保證在24小時內提供解決方案。
7. Intend – 表示打算
⇨ Intend 表示某人計劃或打算做某事。
• 例句：We intend to hold the meeting in the morning.
我們打算在早上召開會議。
• 例句：She intends to leave the company next year.
她打算明年離開公司。
▍文法規律
1. 後接動詞原形 to V
⇨ 這些意志動詞後面通常接動詞的原形，表示將來的動作或意圖。
• 例句：She will attend the meeting.
她會參加會議。
• 例句：They want to improve their performance.
他們希望提高表現。
2. 部分動詞後接 to + 動詞原形
⇨ 部分意志動詞（如 hope, plan, decide, intend）後面接 to 再加動詞原形，這是這些動詞的固定搭配！
• 例句：We hope to finish the project by next week.
我們希望在下週前完成這個專案。
• 例句：They plan to expand the market.
他們計劃擴展市場。
3. 後接名詞或名詞片語
⇨ 這些動詞後接名詞或名詞片語，表達意圖或決定。
• 例句：I decided on a new strategy.
我決定了新的策略。
• 例句：He promised a better outcome.
他承諾會有更好的結果。
4. 特殊情況：hope 的用法
⇨ 雖然 hope 常常後接 to + 動詞原形，但當 hope 用在表達期望的時候，常常會接 that 引導的從句。
• 例句：I hope that the meeting goes well.
我希望會議順利進行。
• 例句：They hope that the project will be completed on time.
他們希望專案能按時完成。
5. 未來意圖的表達
⇨ 這些意志動詞多數與未來相關，表示某人計劃、希望或願意做某事，因此它們的語法結構通常指向未來。
• 例句：We will attend the conference next month.
我們下個月會參加會議。
• 例句：She intends to start a new business.
她打算開創一個新業務。
希望這篇文章對你有幫助！記得加入共學教室掌握我們的最新文章，一起提升多益實力！
0
0
46 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室