104學習

CCNA認證（Cisco Certified Network Associate）是針對網管與系統研發人才設計的入門級別網路架構與網路協定專業認證。無論是想進一步了解網路基礎概念，還是尋求提升職場競爭力，CCNA都是不可錯過的重要憑證。本文將帶大家認識CCNA認證內容、報考條件、考試準備資源，讓你輕鬆踏上網路專業之路。 CCNA認證是什麼？ CCNA是Cisco Certified Network Associate的縮寫，是Cisco提供的基础網路認證。它重點在基本網路構造、LAN和WAN原理、IP通信和網路安全等基础能力。通過CCNA，您可以認識網路基本運作原理，並增加解決網路問題的能力。 CCNA認證好考嗎？ 雖然CCNA認證在難度上屬於網路專業認證的入門款，但還是需要一定的準備和學習。CCNA考試包括理論和實作兩部分，考生需要熟悉IP網路概念、LAN和WAN構造、VLAN和網路處理功能。對於新手而言，有網路基礎知識背景將會將考試過程簡單化。 CCNA認證好用嗎？ 根據104學習精靈的資料，有近30%的網管工程師職缺要求求職者須具備CCNA認證資格，但除了這張證照之外，工程師的實務操作能力，以及程式語言、資料庫系統架構、框架工具使用技能...等專業技術也至為重要，甚至有的企業會要求專案型的工程師達到CCNP（CCNA再高一級的認證）以上等級，因此，證照技能兩不誤，才能凸顯能力價值。 工程師必備技能課程：https://nabi.104.com.tw/nabisearch/course?keyword=%E5%B7%A5%E7%A8%8B%E5%B8%AB&jobcat=2007000000 報考CCNA認證需要具備什麼條件？ 報考CCNA認證沒有限制，任何對網路技術有興趣的人都可以參加。不過，具備以下基礎知識會有助於增加過關機率： ● 基本電腦操作知識：熟悉電腦硬體和軟體的基本操作。 ● 網路基礎概念：如IP地址分配、子網路劃分、路由和交換等。 ● IT基礎英語能力：CCNA考試的內容多為英文，理解基本的技術英語是必需的。 如何報考CCNA認證？ 報考CCNA的步驟如下： 1. 註冊Cisco帳號：前往Cisco官方網站（Cisco官方網站）註冊個人帳號。 2. 選擇考試科目：目前CCNA的主要考試代碼為200-301，請確認最新的考試資訊。 3. 選擇考試中心或線上考試：登錄Pearson VUE考試平台，選擇您方便的考試中心或選擇線上遠端監考模式。 4. 支付考試費用：CCNA考試的費用約為300美元，依所在地區可能有所變動，支付後即可完成報名。 5. 準備考試：利用Cisco學習網頁、教材或其他學習資源進行充分準備。 6. 參加考試：在預約的時間和地點參加考試，也可申請遠距考試。 CCNA的考試範圍內容為何？ CCNA考試範圍涵蓋多個網路基礎領域，主要包括以下內容： ● 網路基礎：了解網路運作的基本概念，如OSI模型、IP尋址、子網劃分等。 ● 交換與路由技術：包括VLAN配置、路由協議（如OSPF、EIGRP）及靜態路由的設置。 ● 無線網路基礎：涵蓋無線網路配置與故障排除的基本知識。 ● 網路安全：基礎防火牆配置、訪問控制列表（ACL）的使用及網路威脅防護。 ● 自動化與可程式化網路：基礎網路自動化工具（如Python）和SDN（軟體定義網路）概念。 ● 這些內容結合了理論與實務，旨在提升考生對實際網路操作與問題解決的能力。 因此，CCNA認證是通往網路管理專業的入門證照之一，搭配多樣性的工具技能專才，幫助你在職涯發展上更順利。 CCNA 可以做什麼工作？(104人力銀行統計企業職務要求排行榜) Top1: 網路管理工程師 Top2: 系統工程師 Top3: 資訊設備管制人員 Top4: 網路安全分析師 Top5: MIS / 網管主管 證照資訊： https://nabi.104.com.tw/ability/10000637 相關免費課程影片： https://nabi.104.com.tw/nabisearch/film?keyword=CCNA 需要CCNA的職缺需求： https://bit.ly/3TXgEl4

▉ 從 AI 素養基礎到 Microsoft Foundry 工具理解，一篇整理 AI-900 準備重點、考試範圍，以及 AI-901趨勢命題的完整心得。▉ 這篇文章想用比較實際的方式，分享小編自己的備考流程、讀書方法，以及觀察到的考題方向。如果你和小編一樣，先前已經有其他 AI 素養證照基礎，例如 iPAS AI 應用規劃師初級，那麼 AI-900 的準備門檻其實不算太高；真正需要額外補強的，反而是 Microsoft AI 生態系中的工具定位、服務差異，以及各種情境題到底該選哪一個服務。 什麼是Microsoft AI-900？主要內容考什麼？ Microsoft AI-900 是 Microsoft Azure AI Fundamentals 基礎認證，主要測驗內容以人工智慧基本概念為主，不需要程式背景，強調AI的核心應用場景，例如機器學習、電腦視覺、自然語言處理與生成式 AI，同時也會測驗Azure相關 AI 服務的用途與差異，以及包含公平性、隱私、安全與透明性等AI治理原則。 因此，這張證照適合初學者、商務人員、在學學生，或想快速建立 Microsoft AI 生態系基礎知識的考生。簡單來說，AI-900 是一張幫助你理解「AI 能做什麼、在 Microsoft 平台上怎麼應用」的入門證照。 Microsoft AI-900認證資訊：https://nabi.104.com.tw/ability/10047979 考試內容： ● 人工智慧工作負載與責任式 AI：理解常見 AI 應用類型，例如預測、電腦視覺、NLP、生成式 AI，以及公平性、可靠性與安全性、隱私與安全、包容性、透明性、問責等責任式 AI 原則。 ● 機器學習基本原理：認識監督式學習、非監督式學習、回歸、分類、分群等概念，並理解 Azure 中機器學習的基本使用方式。 ● 電腦視覺：影像分類、物件偵測、臉部分析、OCR 光學辨識、影像描述等情境，知道對應服務能做什麼。 ● 自然語言處理（NLP）：情緒分析、關鍵字擷取、實體辨識、翻譯、語音辨識、語音合成等文字與語音相關能力。 ● 生成式 AI：大型語言模型、提示詞、生成內容、負責任使用生成式 AI，以及Azure上相關服務的定位。 微軟 AI 認證如何計分？ 微軟認證採用 1000 分制，及格門檻為 700 分。不過，這裡的 700 分並不等於答對 70% ，因為微軟使用的是量尺分數（Scaled Scoring），會依題目難易度與權重套用計分公式。也就是說，最終成績並不是單純以答對題數直接換算百分比，而是經過加權後得出的結果。這套計分公式目前微軟並未公開。 ● 題數通常約為 40–60 題；以小編這次實際應試為例，共考了 42 題。 ● 題型：多數題目為單選題，作答通常不倒扣。部分題型會以題組方式出現，例如一組包含 3 個是非題，或 3 題拖放配對題。 ● 考試結束後通常會立即顯示成績與成績單，證照通常可於 48 小時內下載。 備考 AI-900策略 小編大約花了兩週準備 AI-900。因為先前已經取得 iPAS AI 應用規劃師初級證照，所以對機器學習、AI 基本概念、常見應用場景不算陌生。這讓我在準備AI-900時，不需要從零開始理解什麼是分類、迴歸、電腦視覺或自然語言處理，而是把重點放在「Microsoft 的服務怎麼對應這些場景」。 因此，AI-900 最需要額外熟悉的地方，就是 Microsoft Foundry（前身為 Azure AI Foundry，是微軟 AI 生態系工具與平台）的服務定位與功能特色。很多題目其實不是考你會不會寫程式，而是考你看到一個需求時，能不能快速判斷應該用哪個工具。例如，題目：「如何辨識圖片上的文字」，就要聯想到電腦視覺中的 OCR（光學字元辨識）能力；如果題目問的是文字情緒分析、關鍵字萃取、語言偵測，就要想到語言服務；如果題目是在問生成內容、提示詞互動、模型能力，重點就會轉向生成式 AI 與相關平台能力。 ◆ 第 1 週：快速建立全貌，先把 AI-900 的五大主題跑過一次。 ◆ 第 2 週：考古題+AI集中刷題，反覆確認每一種情境要對應哪個 Microsoft AI 服務。 ◆ 考前最後整理：把容易混淆的工具功能整理成對照表，例如 OCR、影像分析、翻譯、文字分析、生成式 AI 的適用情境。 獨家準備心法：官方資源＋AI 整理筆記＋大量刷題 小編的準備方式其實不複雜，核心就是三件事：先看官方學習資源、再用 AI 幫忙整理筆記、最後透過刷題把概念轉成「看情境就能選服務」的反應速度。 第一步，我會先上 Microsoft 官方學習平台，把 AI-900 對應模組全部看過一次。官方內容的好處是架構清楚，而且用語和考題很接近。 第二步，我會把每個主題透過AI整理成自己的筆記，尤其是「服務名稱－功能－適用情境」三欄對照，這對應付選擇題很有幫助。 第三步，不斷刷題：利用微軟學習平台上的免費練習評量，進行考古題練習，免費測驗總共50題，每次出題都不同，每個題目都有詳細解析，可以幫助考生把容易混淆的地方反覆記熟。只要練習到評量平均超過90分，正式考試時大多可輕鬆過關。 如果你已經取得其他 AI 素養認證，或本來就具備一些機器學習演算法概念，我會建議你不要花太多時間糾結在理論細節，而是把重點放在「微軟這套服務如何落地」。AI-900 很多題目考的是應用判斷，不是深度技術實作，所以越接近情境、越容易得分。 如何報名考證（所有微軟認證都適用） ● 透過Google搜尋或微軟認證官網(https://learn.microsoft.com/zh-tw/ )，可直接進入微軟AI-900認證網站。 ● 點選認證頁面「與Pearson Vue排程」、用英文輸入所在地址，並填入手機與Email ● 選擇「親自前往考試中心考試」，或「通過OnVUE在線考試」。 ● 若選擇前往考試中心，系統會提醒考試注意事項，以及選擇考試語言，這裡，你可以選擇繁體中文或英語，接著，選擇適合的考試時間與你想要選擇的考試中心地點，目前台灣北中南都有微軟合作的訓練中心可選擇 ● 若選擇「通過OnVUE在線考試」，你需要下載微軟官方指定的考試平台程式OnVUE，這個程式同時是遠端監考系統也是考試介面，一旦發現有違規狀況，例如離開鏡頭或非自然考試行為，監考官有權終止考試 ● 選好考試方式與日期、時間，完成付費，即報名完成。 AI-900 即將退場！AI-900 與 AI-901 的差別 就難度上來說，AI-901難度大於AI-900。 根據目前微軟官方已公開的 AI-901 考試資訊，這張認證相較於 AI-900 更強調考生對 Microsoft Foundry 的理解，以及如何在 Azure 情境中實際應用 AI 服務。官方也提到，應試者需具備基礎的 Python 語法概念，並熟悉 Azure 資源、REST API、SDK 與CLI 等基本使用觀念。相較之下，AI-900 仍以 AI 基礎概念、常見工作負載與服務辨識為主，因此對沒有平台實作經驗的初學者相對友善；而AI-901 則更進一步，要求考生不只理解概念，也要能掌握 Microsoft Foundry 在生成式 AI、agents 與應用建置上的角色與使用情境。 ● 考試定位：AI-900 偏向 AI 概念與 Azure AI 服務辨識；AI-901 更強調以 Microsoft Foundry 為核心的實作理解。 ● 內容重心：AI-900 著重在機器學習、電腦視覺、NLP、生成式 AI 的基礎概念；AI-901 則更明確納入生成式 AI app、agent、Foundry 工具與模型應用。 ● 技術期待：AI-900 對非技術背景較友善；AI-901 雖然仍是 Fundamentals，但官方已提到候選人需要具備基礎 Python 語法與 Azure 資源配置概念。 ● 學習方式：AI-900 可以靠概念理解與刷題快速通過；AI-901 可能更需要搭配平台操作經驗與情境實作理解。 考 AI-900 還是直接準備 AI-901？ 根據微軟官方公告，AI-900於2026年6月30日正式退場，並由AI-901取代。 如果你已經在準備 AI-900，而且能在2026年6年30 前完成考試，我會認為仍然值得考。因為這張屬於Fundamentals基礎證照，已取得的認證仍然有效，不會因為考試退場就失效。 另一方面，如果你現在才剛開始，或希望學到的是更貼近 Microsoft 最新 AI 平台方向的內容，那就可以直接把重心放到 AI-901。 從官方訊息來看，AI-901 代表的是 Microsoft 對新一代 AI 基礎能力的重新定義：不只是知道 AI 是什麼，而是更重視你能不能用 Microsoft Foundry 理解並實作現代 AI 應用，特別是生成式 AI、AI agents、以及更貼近實務的建置思維。 在送出最後一題，系統會彙整考生標籤過不確定的題目，讓你再確認或修改答案，最終確認送出提交所有答案後，系統立刻給分，最終小編以788分，拿到了微軟AI-900認證，官方也在兩、三個小時內，就透過Email發出電子認證。 整體來說，小編覺得 AI-900 是一張很適合建立 Microsoft AI 全貌的入門證照。它不會要求你有很深的技術背景，但會幫你建立「看到需求、判斷工具、理解場景」的基本能力。如果你本來就有一些 AI 素養基礎，兩週其實是有機會準備完成的。至於未來如果想接軌 Microsoft 更新的 AI 發展方向，AI-901 也很值得提早關注，尤其是 Microsoft Foundry、生成式 AI、AI agents 這幾個主題，很可能會成為接下來的核心趨勢。 ▉ 學習資源 Microsoft Learn 官方學習路徑：https://learn.microsoft.com/zh-tw/credentials/certifications/azure-ai-fundamentals/ 104獨家考證課程：生成式AI｜三證合一速攻班｜高分思維 × 解題框架 × 刷題實戰｜：https://nabi.104.com.tw/course/104nabi/ee5e6072-07e8-486f-9e11-2d7d5bfb2f2d

每個月，台灣企業正在搶10萬名AI人才 根據104學習最新發布的《2026 AI人才趨勢報告》，今年企業平均每月招募AI相關職缺已達10萬人，近5年AI人才需求成長97.6%，幾乎是整體招募市場同期成長速度的4倍。 這場搶人大戰，缺的不是想學AI的人，缺的是真正具備企業要的能力的人 ❇️【企業到底想要什麼？三項硬技能排名】 報告明確列出2026年AI職缺最常見的技能需求： 1️⃣ 流程自動化（近5年成長233%） 從製造到行政業務，效率提升最直接的技能，不只是工程職需要，製程規劃、生產管理、品保品管都在找 2️⃣ 機器學習演算法（近5年成長64%） 監督式學習的核心，廣泛應用於分類與預測任務，資料分析、產品開發、研究職高度相關 3️⃣ 自然語言處理（近5年成長147%） 文本理解與語義分析，適用於客服、行銷、法務等多個職類，不需要自己建模型，但要懂得如何應用 ❇️【工具會用哪些？企業點名這三個】 技能之外，企業也直接在職缺中點名求職者要會使用的AI工具： • ChatGPT：從辦公自動化到創意協作、文字生成，已成企業首要指定工具 • PyTorch：深度學習模型訓練，AI研發職位的主流框架 • TENSORFLOW：企業 AI 應用首選，支援模型部署與擴展 ▶ ChatGPT、Gemini雙雙入榜，說明LLM的應用已不只是技術人員的工具，而是各職類工作者的日常配備 ❇️當技能相近時，證照是讓履歷被看見的加速器 • iPAS+ AI應用規劃師：經濟部核發的國家級AI應用認證，是企業評估數位轉型人才的判斷標準之一 • 證照資訊：https://nabi.104.com.tw/nabisearch/certify?keyword=ipas%2BAI ▶️【點我免費做 iPAS+ AI應用規劃師 初級模擬測驗】 https://nabi.104.com.tw/assess/6c2efe0a-8456-4694-bdc3-a1813f66ee19 ▶️【初級】衝刺班｜速攻考點 × 模擬實戰 × GPT刷題攻略】 https://nabi.104.com.tw/course/104nabi/19ba2cdd-5ae1-44a0-a975-01f989c92691 ▶️【中級】衝刺班｜命題精析 × 實戰解題 × AI刷題 https://nabi.104.com.tw/course/104nabi/3987ebea-3686-4f67-a292-c46c3cc2128e • 機器人工程師證照：針對製造業自動化場景，是企業識別硬體整合型AI人才的重要指標 https://nabi.104.com.tw/ability/10049172 ❇️【從哪裡開始？】 中央大學資管系兼任助理教授劉書銘指出，AI變化太快，學習AI不只是學一門課，而是要獲得「理解未來的核心能力」。 三個月學一項技術的節奏已跟不上市場。重要的是找到自己職務最需要的AI技能，精準切入，而不是什麼都學一點。 💡求職者： 想知道你的職務最需要哪項AI技能？104學習AI專區會自動帶入你的當前職務，分析技能缺口、提供測驗與推薦課程 👉 立即進入104學習AI專區 https://nabi.104.com.tw/ai ➡️【免費下載｜2026 AI 人才趨勢報告】適合新鮮人、在職者與想轉職的人 https://nabi.104.com.tw/posts/nabi_post_e6bc6bfe-0bf0-4d19-82ca-a2d1090738db 💡企業主： 想讓員工系統性補上AI能力？104人資市集提供AI企業內訓課程，協助實現員工AI化目標 👉 了解104企業AI內訓方案 https://tw104.pse.is/98mx3p

不得不說，現在要申請一個美國的企業帳戶，竟然比在台灣開公司戶還方便、快速又不麻煩 Relay銀行寄來的這張卡質感超好，整個流程全部線上搞定，不用飛美國跑銀行、不用等臨櫃、不用準備一堆有的沒的文件。 身為企業主真的很感動，時間就是金錢，美國銀行系統這點真的先進很多。 還在用個人帳戶跑生意的朋友，強烈建議你也了解一下開設海外企業帳戶這條路。不只分散兩岸政治風險，開發國際市場也更方便了！ 【資金分散，從開設美國帳戶開始！】 當全球局勢多變，資金安全不容忽視。現在正是開立美國銀行帳戶、建立美國公司，分散風險的好時機！ 為什麼要開立美國銀行帳戶？ 面對戰爭、地緣政治風險、關稅等不確定性，將部分資金合法轉移至美國銀行，可有效分散風險，保障資產安全與流動性。 1. 申請美國公司，布局海外第一步 開設美國公司是開立銀行帳戶、信用卡、PayPal、Stripe等商業服務的關鍵門票！ 立即申請美國公司：ai.com.tw/a/1c 2. 申請美國手機門號，有美國門號，開戶、綁定雙重驗證、申請服務都超方便！ 免費申請方式：ai.com.tw/a/1d 3. 全遠端開立美國 Mercury 商業銀行帳戶（需有美國公司及EIN稅務號） • 無月費、支援多幣別 • 完全線上申請，簡單快速 線上開戶：https://mercury.com/r/nssgroup 附贈虛擬及實體簽帳卡 讓我們協助你成立美國公司及銀行開戶，邁向國際市場！ https://www.nss.com.tw/register-us-company

大數據時代來臨，企業數位轉型的需求應運而生，因此數據工程師（資料工程師）在企業中所扮演的角色也日益重要。本文盤點要成為數據工程師，強烈推薦要學的 12 項必備技能。一起來看看【數據工程師】工作日常以及104人力銀行上有數據工程師工作機會。 成為數據工程師的 12 項必備技能（點擊可跳至章節）： 基本技能（程式語言與資料架構） 網路概念 資料庫 Database 數據湖 Data Lake 與物件存儲 數據倉儲 Data Warehouse 分散式系統 數據處理 機器學習 Machine Learning 作業編排管理 前端與儀表板 後端框架 自動化與部署 如何開始數據工程師之路？了解數據工程師工作日常 【數據／資料工程師】推薦職缺 【數據／資料工程師】職場常見證照整理 【數據／資料工程師】職場再進修課程推薦 文／LnData 麟數據科技 數據工程師的必備技能樹 (Source: Anuj Syal) 一、基本技能 首先，以下是最基本的必修技能，也是想進入這個行業需要的優先入手技能，包含： SQL：SQL即「Structured Query Language」，也稱做「結構化查詢語言」，是一種用於管理和查詢關聯式資料庫的語言，用於處理和操作大量數據。它允許數據工程師對資料庫執行各種操作，如數據檢索、修改和定義，且幾乎所有資料庫和數據倉儲都使用SQL。 程式語言：數據工程師必備技能當然包括使用不同的程式語言來處理數據，如 R、Scala、Java等，但首推 Python，因為Python容易上手，並且擁有許多免費且開源的資料科學工具和資源，使其成為處理數據相關工作的理想選擇。不僅如此，Python還有豐富的開發者社群，讓你輕鬆找到相關的學習資源和解決問題的方法。 Git：即「Global Information Tracker」，Git是版本控制的重要工具，可以追蹤、保存和管理軟體代碼的所有更改和操作，幫助資料工程師協作開發數據工程項目，並確保團隊成員之間的協同工作，可避免有人亂改或誤刪代碼。 Linux指令和Shell腳本：Linux是一種常用的作業系統，數據工程師經常使用它來處理數據，常見的版本如Ubuntu、Fedora。熟悉Linux命令（例如cd、pwd、cp、mv等）和Shell腳本可以幫助數據工程師自動化任務、管理伺服器和處理大量數據。 資料結構和演算法：數據工程師需要對資料結構（Data Structures）和演算法（Algorithms）有足夠的理解和解決問題的技能，以優化數據處理和分析。初學者可透過初級到中難度的LeetCode問題進行練習。 二、網路概念 由於現在大半數據都在線上，因此工程師常需接觸與處理VM（虛擬機）、伺服器和 API（應用程式介面），而此時就需要對 IP（互聯網協議）、DNS（域名伺服器）、VPN 等基本網路概念有基本了解。 API（應用程式介面）概念示意( Source: Geeks For Geek) 三、資料庫 資料庫是按照數據結構來組織、存儲和管理數據的倉庫，相關概念包含： 基礎知識：資料庫是存儲數據的空間，包含表（Table）、行（Column）、列（Row）、鍵（Key）、連接（Join）、合併（Merge）和模式（Schema）等基本概念。 SQL：雖然前面提過了，但要知道在使用這些資料庫時，SQL可說是最泛用也最不可或缺的語法，因此這邊再提一次。。 ACID：是原子性（Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久性（Durability）的縮寫，旨在確保數據操作的有效性和穩定性。 資料庫建模：指在設計資料庫時考慮如何組織資料的過程，包括星型模式、平面設計和雪花模式等不同方法。 資料庫擴展：包括垂直擴展和水平擴展，它們用於增加資料庫的性能和容量。 OLTP與OLAP：OLAP（在線分析處理）、OLTP（在線交易處理）是不同類型的數據處理系統。OLTP是設計用於處理日常業務交易和交互式操作的系統；OLAP則是設計用於分析和探索大量數據的系統。 關係型資料庫：Relational Database，是大多數應用程式使用的傳統資料庫，用於結構化數據。常用的資料庫有PostgreSQL和MySQL。 非關係型資料庫：Non-relational Database，也稱為NoSQL資料庫。跟傳統的關聯型資料庫不同，它們不使用固定的表格模式，而是以更靈活的方式存儲數據，適合處理大量非結構化數據。非關係型數據還可分為三種類型： 鍵值資料庫：如Redis、DynamoDB、FireBase 圖形資料庫：如Neo4j、ArangoDB 寬列資料庫：如Apache Cassandra、Google BigTable 常用的關係型資料庫 MySQL 四、數據湖 Data Lake 與物件存儲 數據湖是一種大規模集中式數據存儲系統，它允許組織以原始、半結構化或非結構化的形式存儲數據，而無需建立嚴格的資料結構。這意味著數據湖可以包含來自不同來源、不同格式和不同質量的數據，可以是文本、圖像、影音等，也包含報表、視覺化、資料分析、機器學習等轉換後資料。 數據湖通常使用分佈式或物件存儲（Object Storage）系統來存儲大量數據，如Hadoop HDFS、Amazon S3等。數據以原始文件或對象的形式存儲，每個對象都包含數據本身、元數據（metadata）和唯一識別子。這種方式使得數據能夠以平面結構組織，並且具有元數據以描述數據的特徵和用途，能夠更好地管理和查詢數據。 五、數據倉儲 Data Warehouse 數據倉儲（Data Warehouse）是一種專為組織和管理大量數據而設計的數據存儲和管理系統。它的主要目標是將來自不同來源的數據整合到一個統一的、易於查詢和分析的資料庫中，以支持企業的決策制定、報告和分析需求。例如 Google 的 BigQuery、AWS Redshift、Azure Synapse、Snowflake、ClickHouse 和 Hive。須了解的相關概念包含： SQL（略） 規範化與非規範化：在數據倉儲中，數據可以以規範化（Normalized）或非規範化（Denormalized）的方式進行組織和存儲，具體選擇取決於業務需求和查詢性能的考慮。規範化主要為求消除數據中的冗余或不一致性；而非規範化則是將數據合併到一個表中以提高數據更改速度。 OLAP與OLTP（略） 六、分散式系統 包含大數據、Hadoop、分佈式文件系統、MapReduce等概念。在分散式系統中，多台機器（稱為節點或伺服器）組成叢集並共同協作，這些機器可以在不同的地方執行，彼此通信並共同完成任務。分散式系統的好處是可提高性能、可用性和擴展性，同時減少單點故障的風險。 由於其複雜性，這些系統擁有各自獨立的技術組件。因此，為了開發與佈署這些系統，數據工程師需要使用叢集管理技術或工具，如Kubernetes、Databricks，或者自行建立Hadoop叢集等。此外，還有許多開源技術可供利用。 Kubernetes 也稱為 K8s，是一個熱門的分散式系統開發和支撐平台(Source: DevOps Mojo) 七、數據處理 數據處理是指使用程式語言來轉換數據的過程，這包括清理數據以及驗證數據的準確性。在進行數據處理時，通常會使用各種工具和框架，具體選擇取決於任務的性質和規模。 以下是一些常用的數據處理工具和框架： Pandas：Pandas是一個好用的Python套件，常被用於處理和分析數據。它提供了豐富的數據結構和函數，適合用於數據轉換和清理。 SQL：（沒錯，又是它）由於多數數據倉庫支持SQL語言，因此SQL是一個常用的工具，用於執行數據轉換操作，尤其適用於處理結構化數據。 Spark：Apache Spark是一個用於大數據處理的強大框架，它提供了分佈式數據處理和分析計算。Spark通常用於處理大規模數據轉換操作，性能高且具有可擴展性。 Spark Streaming：Spark Streaming是Spark的一個模塊，用於處理流式數據。它可以實時處理數據流，非常適合需要即時分析的應用。 Spark是常用於處理大數據的強大框架(Source: Data Mechanics) 八、機器學習 Machine Learning 機器學習（Machine Learning）是一種人工智慧（AI）的子領域，它教導電腦如何從數據中學習，以自動改進和做出決策，而不需要明確的程式指令。機器學習可以應用於多個領域，如圖像辨識、語音識別、自然語言處理、醫療診斷、金融預測以及自駕車技術等。 人工智慧、機器學習、深度學習都是資料科學中的熱門領域 對於數據工程師來說，了解機器學習的不同類型，包括監督學習、非監督學習和增強學習，以及相關的模型(如邏輯回歸、決策樹、K-最近鄰算法等)很重要。他們需要知道何時應該使用哪種模型，並學會處理數據、調整模型參數，以及評估模型的預測準確性。 操作機器學習的平台有Vertex AI、Kubeflow等，這些平台可以協助數據工程師輕鬆部署模型，並構建更準確的工作流程，幫助數據科學家做出更精確的決策。 Vertex AI 是Google Cloud上的一個機器學習平台 此外，還有一些集成平台可讓數據工程師將工作流程整合到一個地方，如AWS Sagemaker、Databricks和Hugging Face等。這些平台通過共用的應用程式接口和圖形界面，使應用軟體功能不受特定硬體、作業系統、網路協議或資料庫管理系統的限制。 AWS Sagemaker也是不少人的ML開發選擇(Source: AWS) 九、作業編排管理 編排（orchestration）是一種用於管理和協調組織各種任務和工作流程的方法。它幫助我們確保工作按照預定的順序執行，以達到我們的目標。 最佳的編排工具之一是Airflow。它使用基於Python的有向無環圖（DAG）來記錄工作流程，讓您可以清楚地定義和規劃工作。Airflow特別適用於複雜的工作流程，並且在大數據和數據工程領域中廣泛使用。 其他工具包含Luigi、Nifi和Jenkins。每個工具都有其獨特的特點和使用場景，可以根據你的項目需求來選擇適合的編排工具，可以幫助數據工程師自動化和管理各種任務，提高工作效率。 Airflow是開發時常用的工作流程管理工具(Source: Airflow) 十、前端與儀表板 前端和儀表板（dashboard）是用來展示數據結果和互動的工具。它們讓我們能夠以圖表、圖像和表格的形式呈現數據，並讓用戶與數據進行互動。 舉例來說，Jupyter Notebook 是一種常用的工具，它可以幫助數據科學家和分析師在筆記本中直接進行數據分析並建立視覺化圖表。 Jupyter Notebook是好用的互動式開發工具，是許多資料科學工作者選擇 此外，儀表板或所謂BI工具如 PowerBI 和 Tableau，以及 Python 套件如Dash 和 Gradio，也被廣泛使用。這些工具允許我們建立互動性強的儀表板，讓用戶輕鬆探索數據，查看不同的視覺化結果，並根據需求進行操作。 Tableau是業界常用的商業智慧(Business Intelligence)工具，建立企業數據儀表板 十一、後端框架 後端框架與軟體工程有關，它們有助於構建網站和應用程序的後端部分。舉例來說，如果您想建立一個網站或應用，可能需要一個後端框架來處理用戶發出的請求、管理資料庫，以及提供信息給前端顯示。 基於 Python 的後端框架包含 Flask、Django 和 FastAPI 等。Flask 是一個輕量級的框架、Django則提供了更多的內置功能、FastAPI 則專注於建立API。 除了這些，還有一些雲端技術可供使用，例如G oogle Cloud Platform（GCP）的 Vertex AI API 和 AutoML APIs，這些技術可以用於模型部署和機器學習應用。 Flask 是一個 Python 網頁應用程式框架，因輕量靈活而受許多開發者喜愛 十二、自動化與部署 自動化和部署是指使用不同的工具和技術，來讓程式碼的建立和執行過程更加自動化和簡化，有助於提高效率、降低錯誤，並讓應用程式更容易管理和維護。 這個過程包括以下幾個主要方面： 基礎設施即程式碼（Infrastructure as Code）：這是使用工具如Terraform、Ansible和Shell指令來管理和配置伺服器和基礎設施的過程。這些工具可讓你將基礎設施視為程式碼來處理，使其更易管理和自動化。 持續集成/持續部署（CI/CD）：指透過GitHub Actions和Jenkins等工具來自動化程式碼的測試、集成、部署和交付的過程。有助於確保程式碼的品質，並使新功能能夠快速部署到生產環境。 容器化：即使用Docker和Docker Compose等工具，將應用程式和其相關的依賴項打包成容器的過程，可使應用程式在不同環境中更容易部署和執行。 Docker工作流程示意 想當數據工程師，如何培養能力？ 在學生可以學習統計、資工、資料科學等科系的課程，或是透過相關實習或競賽來摸索對此領域的興趣。此外，網路上有許多付費課程、YouTube上的免費資源，也可以在kaggle、LnData等平台取得更多練習與交流機會、相關知識、技巧或資源！ 要記得，這些相關技術日新月異，即使是正在工作中的數據工程師也必須時時學習與了解最新技術。相對的，正因為技術不停在改變，你也不需要強求把上面所有技能練到精通，而是掌握重要的基本概念與保持開放的學習態度。 數據工程師可以為企業做什麼？ 數據工程師日常就是與數據打交道，主要包含收集、讀取、清理，探勘與管理企業的資料，以抓取符合企業分析需求的數據。這些數據則能進一步透過機器學習、演算法，產生更有價值的結果或應用方式，幫助企業做出更好的決策、優化業務流程，例如降低成本、提高獲益、優化產品、留住熟客及開發新客群。因此，數據工程師對於企業的重要性不言而喻。 然而，企業想挖掘數據最大價值，並不能只靠數據工程師。一個完整的數據團隊，通常包含數據工程師、數據科學家、數據分析師三種角色，各司其職、專業分工。他們在日常工作流程中扮演各自的角色，互相協作，完成各種不同的專案——這也是為何我們最後要強調，除了技術以外，溝通與協作等軟技能也非常重要！ （原文標題：2023 年想成為數據工程師的 12 項必備技能） [joblist_plugin title='推薦【數據／資料工程師】工作機會' url='https://www.104.com.tw/jobs/search/?ro=0&keyword=%E6%95%B8%E6%93%9A%E5%B7%A5%E7%A8%8B%E5%B8%AB&expansionType=area,spec,com,job,wf,wktm&jobsource=blogc&langFlag=0&langStatus=0&recommendJob=1&hotJob=0' amount='3'] 【數據／資料工程師】職場常見證照整理： 序號證照證照介紹發照單位1DP-203 Azure資料工程師技術師身為此認證的應試者，您應該具備主題專業知識，能夠將各種結構化、非結構化和串流資料系統中的資料，整合...＜詳情＞Microsoft2Google專業資料工程師認證專業資料工程師透過收集、轉換和發布資料來實現以資料所驅動的決策。資料工程師應該能夠設計、建置、操作...＜詳情＞Google3SSE 大數據國際認證隨著有關大數據的程式語言、運算平台、基礎理論，以及虛擬化、容器化的技術成熟...＜詳情＞Silicon Stone Education4AWS認證的數據庫-專業級認證報考資格：1.接觸資料庫技術至少 5 年、2.實際使用 AWS 至少 2 年...＜詳情＞Amazon Web Services5台灣風險數據分析師除了相關法遵外，應具備在風險數據分析、質量方法運用、風險預測建模等高階專業...＜詳情＞社團法人台灣風險管理協會更多數據相關證照＜前往＞ 【數據／資料工程師】職場再進修課程推薦： 課程名稱課程介紹【真人直播】零基礎Python數據分析與即時看板實作在這堂課程中，我們將帶你從學習基礎 Python 出發，了解各種常見資料檔案格式與編碼，透過 Python 進行資料表單或檔案的自動化彙整與分析...＜課程介紹＞GA4+GTM網站數據分析實戰課專業的教學設計，以第一線網站數據分析工作者角度，剖析 GA4 四大要領，從觀念的理解到上手實作，提升你的數據分析能力。…＜課程介紹＞成為數據分析師的第一把鑰匙：用Python實作三個資料分析專案以非工科生成功轉為數據分析師的經驗、第一線職場實戰角度出發，來設計這門課程，適合零基礎、初入門、想轉職作數據分析師的你!…＜課程介紹＞零基礎成為Python金融數據分析師｜金融資訊爬蟲X視覺化應用課程單元從 Python 程式基礎開始，包含變數、資料型態、流程控制、函式、例外處理等 金融主題的網路爬蟲程式教學，製作Python爬蟲工具…＜課程介紹＞更多數據相關課程＜前往＞