104學習精靈
data pipeline
data pipeline
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
data pipeline 學習推薦
全部
影片
文章
Python程式設計：探索人工智慧的奇妙世界
隨著科技的進步，人工智慧已從科幻電影走進現實生活。語音辨識、影像辨識和自然語言處理等領域不斷取得重大進展，使得人工智慧應用如Apple的Siri和Google的Google小姐成為日常生活的一部分。
在全球AI化的浪潮中，學習Python程式設計成為打開人工智慧之門的關鍵。以下是一個快速而全面的3個月程式設計課程，從Python基礎開始，逐步深入機器學習和人工智慧的世界。
人工智慧（Artificial Intelligence，簡稱AI）已不再只存在於科幻電影的畫面中，而是逐漸成為現實生活中不可或缺的一部分。在這場AI的革命中，Python程式設計扮演了重要的角色，成為開發人工智慧應用的首選語言。
一個顯著的例子是語音辨識技術，通過多年的研究和競賽，如CHiME，語音辨識已達到了與人類相當的辨識度。這使得像Apple的Siri和Google的Google Assistant等智能語音助手成為日常生活中的常見工具。
影像辨識是另一個引人注目的領域，目前在一般圖片的辨識已達到人類水平。然而，在動態影像的辨識上，仍然存在挑戰，尤其在自動駕駛等應用中。雖然已取得一定成就，但動態影像辨識的準確度仍處於研究和實用之間。
自然語言處理（Natural Language Processing，簡稱NLP）則透過對語言的各種層面進行分析，實現對自然語言的理解和生成。從分解詞性、最小字義單位到語法和語意分析，NLP為Chatbot等應用提供了基礎。生成文法理論使得機器能夠按照一定規則生成自然語言文本，這使得Chatbot等應用能夠更自然地與使用者進行對話。
而在這個充滿挑戰和機遇的領域中，Python脫穎而出，成為人工智慧開發者的首選語言。其簡潔、易讀的語法，以及豐富的第三方庫和工具生態系統，讓開發者能夠更輕鬆地建構和實現各種AI應用。
總體而言，Python程式設計在推動人工智慧的發展中扮演著關鍵的角色。從語音辨識到影像辨識，再到自然語言處理，Python為我們打開了通往人工智慧奇妙世界的大門。
1
0
964 0
拍手
留言
分享
Line
複製連結
收藏
熱門精選
行銷思維大升級！AI浪潮下的新媒體：翻轉品牌、應用社群大數據
🚀 讓我們帶你，探索數位行銷的新境界 🚀
第1場：聚焦於AI大數據的威力，揭示真實聲音的秘密
第2場：則以《500輯》為例，展現傳統媒體品牌的翻轉之路
從大數據的洞察到新媒體的創新，開啟媒體產業的全新時代 ！
名額有限，熱烈報名中
2
1
3456 0
拍手
留言
分享
Line
複製連結
收藏
學習精靈
07/08 00:00
youtube.com
DataDirect Hybrid Data Pipeline - 單一界面訪問任何雲端數據源
83 0
分享
Line
複製連結
收藏
有效利用Pandas套件的pipe方法打造資料處理流程管道
想要在機器學習或資料分析的過程中順利實作，資料集的前置處理就非常重要，像是資料清理或篩選等，而這些動作通常都是一個有順序性的流程，雖然能透過一次一次的呼叫Pandas套件方法(Method)來達成，但是如果想要讓程式碼可讀性高，以及自動化重複性的資料處理流程，就需要建置資料處理管道(Pipeline)。
而Pandas套件也內建了pipe()方法(Method)，能夠透過鏈接(Chain)多個自訂函式(Function)，實現資料處理流程管道(Pipeline)，本文將和大家分享其中的應用方式。
Q:Pandas如何檢視資料集?
首先，利用Pandas 套件的read_csv()方法(Method)讀取Kaggle網站的「電子商務運輸資料集」( https://www.kaggle.com/prachi13/customer-analytics
)，如下範例：
import pandas as pd
df = pd.read_csv('Train.csv')
print(df)
Q:Pandas如何自訂函式(Function)?
假設本文想要分析每個商品重要性等級的運輸方式評價，這時候為了後續程式碼的重用性，就可以分別建立兩個自訂函式(Function)，分別為篩選商品重要性(Product_importance)欄位，如下範例：
import pandas as pd
def filt_product_importance(dataframe, level):
filt = (dataframe['Product_importance'] == level)
return dataframe.loc[filt]
df = pd.read_csv('Train.csv')
與群組運輸方式(Mode_of_Shipment)欄位，並且計算客戶評價(Customer_rating)欄位的平均值，如下範例：
import pandas as pd
def filt_product_importance(dataframe, level):
filt = (dataframe['Product_importance'] == level)
return dataframe.loc[filt]
def shipment_rating(dataframe):
dataframe = dataframe.groupby('Mode_of_Shipment')['Customer_rating'].mean()
return dataframe
df = pd.read_csv('Train.csv')
Q:Pandas pipe()方法(Method)如何使用?
接下來，就可以透過Pandas套件的pipe()方法(Method)，鏈接這兩個自訂函式(Function)，形成一個資料處理流程管道(Pipeline)，如下範例：
import pandas as pd
def filt_product_importance(dataframe, level):
filt = (dataframe['Product_importance'] == level)
return dataframe.loc[filt]
def shipment_rating(dataframe):
dataframe = dataframe.groupby('Mode_of_Shipment')['Customer_rating'].mean()
return dataframe
df = pd.read_csv('Train.csv')
pipeline = df.pipe(filt_product_importance, 'high').pipe(shipment_rating)
print(pipeline)
執行結果就是篩選出高重要性商品資料後，計算各運輸方式的平均評價。
利用Pandas套件的pipe()方法(Method)鏈接特性，即可快速的建立一個資料處理流程管道(Pipeline)，除了有很好的可讀性，能夠一目了然知道資料的處理順序外，未來也可以輕鬆的加以擴充與自動化，提升資料分析的前置處理效率。
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/06/pandas-pipe-method.html
)網站觀看更多精彩內容。
2
0
324 2
拍手
留言
分享
Line
複製連結
收藏
學習精靈
01/20 00:00
youtube.com
Data Engineer 巨量資料分析就業養成班 - 心得分享 - MR.柯
24 0
分享
Line
複製連結
收藏
推薦給你
產品經理怎麼看？競爭對手的四種類型
競爭對手的類型可以分為以下幾種：
1. 直接競爭對手：這些公司直接提供與你的產品或服務相同或非常相似的產品或服務，並且在同一目標市場上競爭。他們可能是你最直接的競爭對手，因為他們的產品和服務與你的直接競爭，顧客須在你跟你的競爭對手間做選擇。
2. 間接競爭對手：這些公司提供的產品或服務可能與你的相似，但並非直接競爭。它們可能滿足相同的客戶需求，但以不同的方式或在不同的市場定位，雖然不直接競爭，但它們仍然可以影響你的業務。
3. 替代品競爭對手：這些是完全不同的產品或服務，但滿足了相同的客戶需求。當客戶發現有替代品可以滿足他們的需求時，他們可能會轉向這些替代品，從而影響你的業務。
4. 新進入者：這些是新進入市場的公司，可能對你的業務構成潛在威脅，他們可能帶來新的技術、創新或競爭策略，挑戰現有競爭者的地位。
了解這些不同類型的競爭對手可以幫助你制定更全面和有效的競爭策略，並做好應對各種情況的準備，須確保我們在直接競爭者面前保有競爭力、不會因間接競爭者而失去過多客群以即確保自己是潛能替代品競爭者。
0
0
174 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室