104學習精靈

data pipeline
data pipeline
關注
邀請朋友
邀請朋友

Line

Facebook

複製連結

取消
關於教室
關注人數 17 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室，提供大家進行共學互動。
學習主持人
持續分享知識，
有機會成為官方教室主持人
教室標籤
  • data pipeline
    • 關於教室
    關注人數 17 人
    104人力銀行從職缺中挑選出常見技能所成立的官方教室，提供大家進行共學互動。
    學習主持人
    持續分享知識，
    有機會成為官方教室主持人
    教室標籤
  • data pipeline
    • Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
    我要分享
    我要提問

    data pipeline 學習推薦

    全部
    影片
    文章
    巨匠電腦逢甲認證中心-軟體設計學院
    關注
    巨匠電腦逢甲認證中心

    巨匠電腦逢甲認證中心

    01/11 17:01

    Python程式設計：探索人工智慧的奇妙世界
    隨著科技的進步，人工智慧已從科幻電影走進現實生活。語音辨識、影像辨識和自然語言處理等領域不斷取得重大進展，使得人工智慧應用如Apple的Siri和Google的Google小姐成為日常生活的一部分。
    在全球AI化的浪潮中，學習Python程式設計成為打開人工智慧之門的關鍵。以下是一個快速而全面的3個月程式設計課程，從Python基礎開始，逐步深入機器學習和人工智慧的世界。
    人工智慧（Artificial Intelligence，簡稱AI）已不再只存在於科幻電影的畫面中，而是逐漸成為現實生活中不可或缺的一部分。在這場AI的革命中，Python程式設計扮演了重要的角色，成為開發人工智慧應用的首選語言。
    一個顯著的例子是語音辨識技術，通過多年的研究和競賽，如CHiME，語音辨識已達到了與人類相當的辨識度。這使得像Apple的Siri和Google的Google Assistant等智能語音助手成為日常生活中的常見工具。
    影像辨識是另一個引人注目的領域，目前在一般圖片的辨識已達到人類水平。然而，在動態影像的辨識上，仍然存在挑戰，尤其在自動駕駛等應用中。雖然已取得一定成就，但動態影像辨識的準確度仍處於研究和實用之間。
    自然語言處理（Natural Language Processing，簡稱NLP）則透過對語言的各種層面進行分析，實現對自然語言的理解和生成。從分解詞性、最小字義單位到語法和語意分析，NLP為Chatbot等應用提供了基礎。生成文法理論使得機器能夠按照一定規則生成自然語言文本，這使得Chatbot等應用能夠更自然地與使用者進行對話。
    而在這個充滿挑戰和機遇的領域中，Python脫穎而出，成為人工智慧開發者的首選語言。其簡潔、易讀的語法，以及豐富的第三方庫和工具生態系統，讓開發者能夠更輕鬆地建構和實現各種AI應用。
    總體而言，Python程式設計在推動人工智慧的發展中扮演著關鍵的角色。從語音辨識到影像辨識，再到自然語言處理，Python為我們打開了通往人工智慧奇妙世界的大門。
    1 0 955 0

    熱門精選

    新鮮人求職攻略🔥 找工作與技能養成請進
    關注
    陳立婕

    產品行銷專案經理

    04/18 12:31

    🔥104人力銀行「2024職涯博覽會」開始報名啦📢
    一年就這一次！應屆預備找工作搶先報名 👉 https://tw104.pse.is/5u86r4
    微軟、緯穎、德州儀器、遊戲橘子、東京威力科創、KPMG、IKEA、星巴克、宜得利、迪卡儂等，上百家頂尖知名企業現場徵才🤩
    📍 6/15(六) 資訊科技、顧問金融業
    企業名單看這邊➡️ https://tw104.pse.is/5u834l
    📍 6/16(日) 電子製造業、零售服務業
    企業名單看這邊➡️ https://tw104.pse.is/5u83bn
    連續兩日，優質企業將在現場釋出數千個工作機會💼
    另有中高階獵才、職涯諮詢、趨勢論壇、夜fun職場等系列活動，
    主題精采多元，除部分講座收費，其餘活動皆 免費！免費！免費！
    心動不如立即搶先報名👉 https://tw104.pse.is/5u86r4
    🔥104人力銀行「2024職涯博覽會」開始報名啦📢
    tw104.pse.is
    104人力銀行－「青春無畏 後生可敬」2024 職涯博覽會｜104職場力
    1 2 3444 0
    學習精靈

    07/08 00:00

    youtube.com
    DataDirect Hybrid Data Pipeline -  單一界面訪問任何雲端數據源
    81 0
    Mike的Python學院
    關注
    Mike Ku

    Learn Code With Mike品牌創辦人

    2021/12/29

    有效利用Pandas套件的pipe方法打造資料處理流程管道
    想要在機器學習或資料分析的過程中順利實作，資料集的前置處理就非常重要，像是資料清理或篩選等，而這些動作通常都是一個有順序性的流程，雖然能透過一次一次的呼叫Pandas套件方法(Method)來達成，但是如果想要讓程式碼可讀性高，以及自動化重複性的資料處理流程，就需要建置資料處理管道(Pipeline)。
    而Pandas套件也內建了pipe()方法(Method)，能夠透過鏈接(Chain)多個自訂函式(Function)，實現資料處理流程管道(Pipeline)，本文將和大家分享其中的應用方式。
    Q:Pandas如何檢視資料集?
    首先，利用Pandas 套件的read_csv()方法(Method)讀取Kaggle網站的「電子商務運輸資料集」( https://www.kaggle.com/prachi13/customer-analytics )，如下範例：
    import pandas as pd
    df = pd.read_csv('Train.csv')
    print(df)
    Q:Pandas如何自訂函式(Function)?
    假設本文想要分析每個商品重要性等級的運輸方式評價，這時候為了後續程式碼的重用性，就可以分別建立兩個自訂函式(Function)，分別為篩選商品重要性(Product_importance)欄位，如下範例：
    import pandas as pd
    def filt_product_importance(dataframe, level):
    filt = (dataframe['Product_importance'] == level)
    return dataframe.loc[filt]
    df = pd.read_csv('Train.csv')
    與群組運輸方式(Mode_of_Shipment)欄位，並且計算客戶評價(Customer_rating)欄位的平均值，如下範例：
    import pandas as pd
    def filt_product_importance(dataframe, level):
    filt = (dataframe['Product_importance'] == level)
    return dataframe.loc[filt]
    def shipment_rating(dataframe):
    dataframe = dataframe.groupby('Mode_of_Shipment')['Customer_rating'].mean()
    return dataframe
    df = pd.read_csv('Train.csv')
    Q:Pandas pipe()方法(Method)如何使用?
    接下來，就可以透過Pandas套件的pipe()方法(Method)，鏈接這兩個自訂函式(Function)，形成一個資料處理流程管道(Pipeline)，如下範例：
    import pandas as pd
    def filt_product_importance(dataframe, level):
    filt = (dataframe['Product_importance'] == level)
    return dataframe.loc[filt]
    def shipment_rating(dataframe):
    dataframe = dataframe.groupby('Mode_of_Shipment')['Customer_rating'].mean()
    return dataframe
    df = pd.read_csv('Train.csv')
    pipeline = df.pipe(filt_product_importance, 'high').pipe(shipment_rating)
    print(pipeline)
    執行結果就是篩選出高重要性商品資料後，計算各運輸方式的平均評價。
    利用Pandas套件的pipe()方法(Method)鏈接特性，即可快速的建立一個資料處理流程管道(Pipeline)，除了有很好的可讀性，能夠一目了然知道資料的處理順序外，未來也可以輕鬆的加以擴充與自動化，提升資料分析的前置處理效率。
    如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/06/pandas-pipe-method.html
    )網站觀看更多精彩內容。
    有效利用Pandas套件的pipe方法打造資料處理流程管道
    learncodewithmike.com
    [Pandas教學]有效利用Pandas套件的pipe方法打造資料處理流程管道
    2 0 322 2
    學習精靈

    01/20 00:00

    youtube.com
    Data Engineer 巨量資料分析就業養成班 - 心得分享 - MR.柯
    22 0

    推薦給你

    職場必備英文：實力、戰力，生存力
    關注
    104學習精靈

    產品

    21小時前

    10個適合用在句首的單字，簡單好記，又有變化！附上例句說明
    1. Totally (完全地)：
    Totally, I agree with your point of view.
    2. Absolutely (絕對)：
    Absolutely, we should go with that option.
    3. Definitely (肯定地)：
    Definitely, let's schedule a meeting for tomorrow.
    4. Certainly (當然)：
    Certainly, I can help you with that task.
    5. Surely (無疑地)：
    Surely, you can count on me for support.
    6. Indeed (的確)：
    Indeed, it was a challenging project.
    7. Absolutely (絕對)：
    Absolutely, we should proceed with caution.
    8. Certainly (當然)：
    Certainly, that's a valid point you raised.
    9. Definitely (肯定地)：
    Definitely, I'll look into it right away.
    10. Absolutely (絕對)：
    Absolutely, let's aim for excellence in our work.
    1 0 484 0
    你可能感興趣的教室