C# .Net Framework系統基礎實作攻略
104學習
Visual C#
C# (唸成 C sharp) 是一種程式語言，設計用來建置可在 .NET Framework 上執行的多種應用程式。C# 是簡單、強大、型別安全且以物件為導向的語言。C# 中使用了許多創新的做法，能夠提供快速的應用程式開發，同時保留了 C 樣式語言的表達能力與雅緻。 Visual C# 是由 Microsoft 提供的 C# 語言的實作。Visual Studio 支援 Visual C#，包含功能完整的程式碼編輯器、編譯器、專案範本、設計工具、程式碼精靈、強大且易於使用的偵錯工具，以及其他各種工具。.NET Framework 類別庫對於廣泛的作業系統服務，以及其他有用、設計良好、可顯著加速開發週期的類別，提供存取的支援。
提升你的實力，朝專業更進一步
精選課程
充實自己，讓能力持續成長
C# 從零開始前進.NET物件導向程式全攻略
Line Bot聊天機器人-C#介接AI影像辨識導覽系統設計
Azure雲端整合開發 | 打造獲客神器 用C#實作Line Beacon推播系統
C語言控制Raspberry Pi I/O【本課程為線上課，報名後專員會提供上課資訊】
APCS程式檢定(C++)【本課程為線上課，報名後專員會提供上課資訊】
APCS程式檢定(C語言)【本課程為線上課，報名後專員會提供上課資訊】
.NET開發資料庫應用系統全方位－ADO.NET與Entity Framework(.NET Core)攻略
Linux Socket網路程式設計【本課程為線上課，報名後專員會提供上課資訊】
AI工程師與企業開發必修！FastAPI後端精通：全面入門與進階實戰指南
精選證照
考取專業證照，讓能力被市場看見
TQC+ C＃程式設計專業人員
為提供產業界符合新時代的專業人才，認證依照職場人才需求趨勢推動「TQC＋專業設計人才認證」，藉由嚴謹的認證職能體系架構與專業完善的考試服務，培育出符合企業職場需要的人才。
財團法人中華民國電腦技能基金會
物件導向程式語言 (Java/C#)
「物件導向程式語言 (Java/C#)」證照旨在驗證開發者對物件導向核心概念與實務開發的掌握度。取得此認證代表持證者能熟練運用 Java 或 C# 語言，將封裝、繼承、多型等理論轉化為高維護性的軟體應用程式。這不僅證明其具備優良的系統設計與解題素養，更是企業評估現代軟體人才的客觀指標，能有效提升專業職場競爭力。
尚未查核發照單位
基礎物件導向程式語言 (Java/C#)
「基礎物件導向程式語言 (Java/C#)」證照旨在驗證初學者對於物件導向核心觀念與基礎語法的理解與實作能力。持證者已掌握 Java 或 C# 的基本邏輯、資料型態與流程控制，並能運用封裝、繼承及多型等基本物件導向特性進行初階程式設計與問題解決。此認證是進入軟體開發領域的重要基石，能證明持證者具備良好的邏輯思維與工程潛力，有效提升初入職場的競爭優勢。
尚未查核發照單位
程式設計Visual Basic 2008
Visual Basic 2008證照驗證持有者具備使用Visual Basic 2008開發應用程式的基本能力，涵蓋程式設計語法、物件導向概念、事件驅動設計及資料庫連接等技能。證照強調實務操作與問題解決能力，適合希望從事軟體開發、系統維護及相關資訊工作者，提升就業競爭力與專業技術水準。
財團法人中華民國電腦技能基金會
物件導向視窗及資料庫程式設計 (Java/C#/VisualBasic)
「物件導向視窗及資料庫程式設計」證照核心旨在驗證開發者融合物件導向理論、視窗圖形使用者介面與資料庫應用的綜合實務能力。不論使用 Java、C# 或 Visual Basic 語法，持證者皆具備利用類別與物件建構視窗應用程式的技術，並能熟練處理事件驅動程式設計。此外，持證者亦精通資料庫連線、SQL 指令操作及資料存取邏輯，具備將前台介面與後端資料庫無縫整合的關鍵職能，是企業評估現代視窗軟體開發與資料庫應用人才的專業客觀指標。
尚未查核發照單位
程式語言 (C/Python)
TQC+ 程式語言C認證之測驗對象，為從事軟體設計相關工作1至2年之社會人士，或是受過軟體設計領域之專業訓練，欲進入該領域就職之人員。
TQC+ 程式語言Python 3認證之測驗對象，為從事軟體設計相關工作1至2年之社會人士，或是受過軟體設計領域之專業訓練，欲進入該領域就職之人員。
學科技能規範：無技能規範
術科技能規範：
1. 基本程式設計
2. 選擇敘述
3. 迴圈敘述
4. 進階控制流程
5. 函式（Function）
6. 串列（List）的運作（一維、二維以及多維）
7. 數組（Tuple）、集合（Set）以及詞典（Dictionary）
8. 字串（String）的運作
9. 檔案與異常處理
財團法人中華民國電腦技能基金會
精選貼文，掌握第一手知識
C# ASP.NET CORE X 智能體工程 開發實戰線上課
過去幾個月，「Vibe Coding」與「Agentic Engineering」正在重塑矽谷的開發邏輯。軟體開發正從「手工業」轉向「指揮官模式」。
身為開發者，你是要繼續在語法細節中掙扎，還是要領先成為學會指揮 AI 智能體（Agent）作戰的架構師？
X School 再次突破業界框架，帶來【全台首創】的實戰課程。
我們不只單純教Vibe Coding，
更要帶你掌握智能體工程開發精髓。
將特斯拉前 AI 主管倡導的開發思維，深度植入日常的專案開發。
這不是實驗，這是即將發生的產業革命。
🚀 為什麼這堂課值得學習？
✨全台首創： 唯一整合 Vibe Coding 與智能體工程（Agentic Engineering）的系統化課程。
✨拒絕黑盒： 解決 AI 隨機生成的技術債，掌握可驗證、可管理的開發流程。
✨實戰導向： 從 建立 AI 協作開發思維、精通 AI 驅動的 SQL 資料庫技術、掌握最新 AI Coding 工具、開發具備執行力的 AI Agent 核心、實現 OCR 企業進銷存自動化到打造全天候 Line Bot 智能助理，5 件成品帶你直接對接產業需求。
✨小班精修： 為了確保教學品質，本班上限僅 15 人。
AI 不會取代工程師，但會取代不會用 AI 開發的工程師。
【60 小時掌握 AI 核心實力】
👉早鳥優惠實施中，現省 NT$14,400
👉名額僅 15 位，我們只留給最渴望掌握未來技術的人。
🔥 手刀搶佔先機，成為企業爭奪的頂尖人才！
立即報名👇
https://user135527.pse.is/8yxtn4
精選 推薦: 2026 iPAS AI應用規劃師為何爆滿？CCChen解析考照熱潮與高效備考方法
如果你正在準備 iPAS AI應用規劃師考試，除了熟悉考科與題型，更重要的是理解：為什麼這張證照近年受到這麼多關注？企業真正想找的，又是什麼樣的 AI 人才？
104學習合作講師 CcCHEN 從產業趨勢、人才需求與實際備考角度，整理 iPAS AI應用規劃師值得關注的原因。文章不只談考證照本身，也進一步提醒，企業需要的已不只是會使用 AI 工具的人，而是能把 AI 與原有專業結合、實際應用在工作情境中的跨域人才。
如果你正在備考，或想了解這張證照對職涯發展的實際幫助，推薦閱讀 CcCHEN 老師的完整解析，也可以藉此重新檢視自己的學習方向：目標不只是考過，而是真正建立能帶進職場的 AI 應用能力。
https://vocus.cc/article/6a9224fcfd89780001d21287
CCChen 老師課程 :
【2026年－考試筆記(V1版本)】iPAS AI應用規劃師初級｜全科攻略ｘ考點精華ｘ擬真題庫｜104學習
https://nabi.104.com.tw/course/104nabi/07779700-a980-43d2-8b34-bae808edea61
iPAS AI應用規劃師【中級】衝刺班｜命題精析 × 實戰解題 × AI刷題｜104獨家iPAS AI考證衝刺
https://nabi.104.com.tw/course/104nabi/3987ebea-3686-4f67-a292-c46c3cc2128e
CATIA Visual Scripting 晶格鞋CAD案例分享
CATIA Visual Scripting 晶格鞋CAD案例分享
https://www.tw-qingteng.com/CATIA_V5/catia_succe_7.html
案例具體效益
1.打破生產技術對創意的限制，實現品牌的創新需求，放大設計過程，提高創意靈活性，並探索更多設計替代方案或各種複雜的3D圖案紋樣式。
2. 縮短產品開發時程，8分鐘可更換現有花紋至其他3D CAD造型上。重複使用設計演算法，最大程度提高團隊效率和協作能力，並降低人為繪製所造成的品質瑕疵風險。
3. 透過演算法直接繪製重複造型或花紋，維持產品質量和造型一致性。
2.png)
超越設計極限：#catia 如何實現 #人形機器人 安全且高效能的「黃金比例」#運動學 #動力學 #輕量化
在複雜的人型機器人設計中，您是否總在運動學、動力學與輕量化之間面臨難以平衡的衝突？
CATIA 能夠模擬運動範圍，最佳化重量並整合電子元件，從而確保機器人安全且有效率地執行任務。
✅ 運動學 (Kinematics) 模擬：實現擬人化動作的精準控制。
✅ 動力學 (Dynamics) 分析：確保系統穩定性並處理複雜負載。
✅ 輕量化 (Lightweighting) 優化：關鍵參數調整，延長續航力並提升效率。
實戰案例分享：Gabriel Shupe 和他的團隊在導師的幫助下，利用 CATIA 設計了這個人形機器人腿🦿！這個團隊的靈感來自 KOREATECH 的 Hyperleg 專案。 CATIA 多學科整合能力的最佳證明。
瞭解更多： 瞭解更多 CATIA 應用如何突破您的工程瓶頸，就在 青騰國際https://line.me/R/ti/p/@qingteng?from=page
影片出自：Dassault Systèmes
AI生成設計趨勢！CATIA Visual Scripting 與Lattice晶格鞋的技術分享
CATIA Visual Scripting 的功能展示以鞋子設計為例
案例影片:https://youtu.be/C9pJOqVeSj8
如何運用 AI演算法 來生成設計，應用在 Lattice晶格鞋 的創新設計上。本影片針對當前的 AI生成設計趨勢，並分享實際案例，幫助設計師和工程師更好地理解如何利用 CATIA 進行產品設計的最佳化。透過對 Lattice晶格結構 的應用分析，你將學到如何結合 CATIA 和 AI技術 來實現更輕量化與高效能的設計方案。
無論你是對 CATIA GGR 功能評估感興趣，還是想了解更多關於 AI生成設計 和 Lattice結構 的應用，本影片都將為你提供豐富的技術分享與實例解析。
#CATIA #Lattice結構 #CATIAGGR #AI生成設計 #VisualScripting #產品設計 #晶格結構 #鞋子設計趨勢 #3dexperience
#CATIA 操作卡住？工程師必學的 #樹狀圖編輯 與視圖恢復技巧 #視圖
你是否曾在 CATIA 中點選樹狀圖後，發現零件無法編輯、整個畫面變灰？
別慌！這是進入樹狀圖編輯模式的提示。
✅ 點一次：進入樹狀圖編輯，可拖曳縮放
✅ 再點一次：切回零件編輯模式
✅ 坐標軸也能切換模式
✅ 樹狀圖縮到看不到？右鍵 → 重設圖形，馬上恢復！
CATIA 內建超強工具，讓設計流程更順暢。
工程師們，你掌握這招了嗎？
#CATIA #工程師日常 #CAD技巧 #設計流程優化 #CATIAtips #製造業 #產品設計 #工程師必備 #CAD設計 #工業設計
【#ENOVIA 2026】#CATIA V5 跨平台整合 x 全新 Merge 獨立分支！助企業啟動全方位數位轉型 #
全新 ENOVIA 2026 迎來跨平台整合重大升級！從機電一體化協同到極速大數據載入，全面幫您打造順暢無阻的研發工作流，開啟企業全方位數位轉型！
💡 ENOVIA 2026 核心亮點總覽：
1️⃣ 跨平台機電協同：CATIA V5 支援直接載入專業電子電路設計數據，提高數據同步率，消除下游溝通障礙！
2️⃣ 完美解決版本混亂：全新 Merge 功能支援多團隊獨立分支探索，一鍵按需合併，搭配顏色標示讓決策更直觀！
3️⃣ 極速效能體驗：巨量數據載入時間大幅縮短至 10 秒以內！
4️⃣ 靈活投資模式：精準配置「專家」與「協同者」方案，極大化投資報酬率！
生成式設計（#GenerativeDesign)的發展
生成式設計（#GenerativeDesign)的發展
2010年代初期，隨著人工智慧和機器學習技術的發展，生成式設計逐漸成為一種新的設計方法。
2018年，推出功能驅動的生成設計（功能性最佳化設計 Functional driven generative designer）解決方案。
2022年，CATIA的生成式設計又依照需求區分成：功能生成設計Functional Generative Design與結構生成設計Structural Generative Design的App，兩者的差別在於...https://bit.ly/401sWx3
#增材製造 #功能驅動的生成設計
CATIA AI技術助您快速實現 永續製造 #淨零策略
CATIA AI技術助您快速實現 #永續製造！https://bit.ly/3UiC1hs
如何達到「高效」、「低碳」、「更智慧的製程」的目標呢？
除了淘汰老舊設備外，您還需要引進軟體的升級。
💥💥💥軟體是隱形的資產，非常容易被忽略！
但其在「自動化、智慧化」中，扮演重要的腳色🤯
👉透過 #軟體虛擬模擬能降低風險，省下更多不必要的成本（設備非例行的保養、重做的時間/材料/人力、售後回收的公關危機等等）。
【CATIA V5 教學】選擇性貼上功能｜Paste Special 指令快速解說 #Shorts
在產品設計與 CAD 建模過程中，如何控制「複製貼上」後的資料關聯，往往是影響設計效率與協作品質的關鍵。
在 CATIA V5 中，「選擇性貼上 (Paste Special)」功能，提供了工程師更多的靈活度：
．As Result With Link：保留來源連結，設計修改可即時同步
．As Result：僅保留幾何結果，避免後續干擾
．As Specified in Part：完整複製設計規格，適合延伸設計
這不只是「貼上」的選擇，而是 資料管理與設計策略 的一部分。
前端工程師在 To B 和 To C 開發中的角色差異＆選擇指南：複雜度？設計考量？使用者需求？
作為前端工程師，你是否在考慮 To B （企業對企業）和 To C（企業對消費者）開發的不同需求？瞭解這些差異不僅能幫助你做出更好的技術選擇，還能提升你的專業能力。這篇文章將深入探討 To B 與 To C 開發的主要差異，以及如何針對不同的開發環境做出最佳選擇，讓你在職業生涯中脫穎而出。
在前端開發的領域中，To B（企業對企業）和 To C（企業對消費者）的開發不僅僅是針對不同的受眾，還涉及到設計思維、功能實現、技術選擇以及性能優化等多方面的差異。理解這些差異有助於前端工程師在不同的項目中更有效地工作，並根據特定需求做出正確的決策。
▍1. 使用者需求的差異
To B 和 To C 的最大區別在於使用者需求的不同。To B 產品的使用者多為專業人士或企業內部員工，他們對產品的功能性、效率性以及穩定性有著更高的要求。這些使用者通常處理大量數據，並依賴高效的工具來完成複雜的工作任務。因此，To B 的前端開發需要注重功能的深度和操作的便捷性。
相對而言，To C 的使用者則是普通消費者，他們更在意的是應用的簡單易用、美觀以及流暢的使用體驗。由於這些應用面向的是大眾市場，設計和開發過程中需要特別注意使用者的直觀感受，讓他們在使用過程中感到愉悅和滿意。
▍2. 設計考量與用戶體驗
To B 和 To C 的設計考量上也有很大不同。To B 產品的設計風格通常偏向簡潔和專業，強調功能的整合性與信息的清晰展示。由於 B 端產品可能涉及多個功能模塊和大量數據，前端工程師在設計時需要確保介面的直觀性和易操作性，避免讓使用者感到困惑或負擔過重。
To C 產品則更加注重視覺效果和情感連結，設計中常融入豐富的色彩、動畫效果以及交互細節，目的是吸引使用者的注意力並保持他們的興趣。在這種情況下，前端工程師不僅要考慮功能的實現，還要確保整體設計風格與使用者的審美和操作習慣相契合。
▍3. 功能實現的複雜度
To B 和 To C 的功能複雜度差異顯著。To B 應用通常需要處理更為複雜的邏輯，支援多使用者協作以及大量數據的處理和報表生成等。這要求前端工程師具備良好的系統架構設計能力，以確保系統的穩定性和擴展性。
相比之下，To C 應用的功能通常較為簡單，專注於滿足個別使用者的需求，如購物、娛樂、社交等。前端工程師在開發 To C 產品時，重點在於確保應用的流暢性和使用者操作的一致性，避免因功能過多而使介面顯得複雜或難以操作。
▍4. 技術選擇與開發策略
在技術選擇方面，To B 和 To C 也有不同的考量。To B 開發通常偏向穩定性和長期可維護性，前端工程師在選擇技術時會更傾向於成熟的框架和工具，確保系統在長期使用中的穩定性和安全性。此外，由於 To B 產品的生命週期較長，前端工程師需要考慮技術的可擴展性以及未來的技術支援。
而 To C 開發則更強調技術的靈活性和開發效率。由於 C 端產品需要快速迭代，並且經常更新功能以滿足市場需求，前端工程師通常會選擇更先進的技術來提升產品的競爭力。同時，C 端產品面對的是大規模的使用者群體，技術選擇上必須考慮到不同設備和網路環境下的表現。
▍5. 性能優化的重點
性能優化是前端開發中不可忽視的一部分。To B 和 To C 在這方面的優化重點也有所不同。To B 應用通常涉及大量數據的處理和複雜操作，因此優化重點在於系統的穩定性和高效處理能力。即使系統的使用者數量相對較少，但每個使用者的操作可能涉及大量數據，這對前端性能提出了更高的要求。
反觀 To C 應用，優化的重點在於頁面加載速度和操作流暢性。由於 C 端應用面向的是廣泛的大眾市場，使用者可能來自不同的網路環境和設備，因此前端工程師必須確保應用在各種情況下都能保持良好的性能表現，從而提高使用者的滿意度和留存率。
To B 和 To C 的前端開發在許多方面存在差異，前端工程師需要根據具體需求做出相應的技術選擇和設計決策。了解並掌握這些差異不僅能幫助你在不同的項目中游刃有餘，還能提升你的專業素養，成為一名更加全能的前端工程師。無論你是專注於 To B 還是 To C 開發，掌握相關的技巧和知識都將讓你在職業生涯中更具競爭力。
➤ 歡迎在104學習精靈關注【AI趨勢報－科技愛好者的產地】獲得更多科技新知！
「數據／資料工程師」12個必備技能、推薦職缺、證照進修
大數據時代來臨，企業數位轉型的需求應運而生，因此數據工程師（資料工程師）在企業中所扮演的角色也日益重要。本文盤點要成為數據工程師，強烈推薦要學的 12 項必備技能。一起來看看【數據工程師】工作日常以及104人力銀行上有數據工程師工作機會。
成為數據工程師的 12 項必備技能（點擊可跳至章節）：
基本技能（程式語言與資料架構）
網路概念
資料庫 Database
數據湖 Data Lake 與物件存儲
數據倉儲 Data Warehouse
分散式系統
數據處理
機器學習 Machine Learning
作業編排管理
前端與儀表板
後端框架
自動化與部署
如何開始數據工程師之路？了解數據工程師工作日常
【數據／資料工程師】推薦職缺
【數據／資料工程師】職場常見證照整理
【數據／資料工程師】職場再進修課程推薦
文／LnData 麟數據科技
數據工程師的必備技能樹 (Source: Anuj Syal)
一、基本技能
首先，以下是最基本的必修技能，也是想進入這個行業需要的優先入手技能，包含：
SQL：SQL即「Structured Query Language」，也稱做「結構化查詢語言」，是一種用於管理和查詢關聯式資料庫的語言，用於處理和操作大量數據。它允許數據工程師對資料庫執行各種操作，如數據檢索、修改和定義，且幾乎所有資料庫和數據倉儲都使用SQL。
程式語言：數據工程師必備技能當然包括使用不同的程式語言來處理數據，如 R、Scala、Java等，但首推 Python，因為Python容易上手，並且擁有許多免費且開源的資料科學工具和資源，使其成為處理數據相關工作的理想選擇。不僅如此，Python還有豐富的開發者社群，讓你輕鬆找到相關的學習資源和解決問題的方法。
Git：即「Global Information Tracker」，Git是版本控制的重要工具，可以追蹤、保存和管理軟體代碼的所有更改和操作，幫助資料工程師協作開發數據工程項目，並確保團隊成員之間的協同工作，可避免有人亂改或誤刪代碼。
Linux指令和Shell腳本：Linux是一種常用的作業系統，數據工程師經常使用它來處理數據，常見的版本如Ubuntu、Fedora。熟悉Linux命令（例如cd、pwd、cp、mv等）和Shell腳本可以幫助數據工程師自動化任務、管理伺服器和處理大量數據。
資料結構和演算法：數據工程師需要對資料結構（Data Structures）和演算法（Algorithms）有足夠的理解和解決問題的技能，以優化數據處理和分析。初學者可透過初級到中難度的LeetCode問題進行練習。
二、網路概念
由於現在大半數據都在線上，因此工程師常需接觸與處理VM（虛擬機）、伺服器和 API（應用程式介面），而此時就需要對 IP（互聯網協議）、DNS（域名伺服器）、VPN 等基本網路概念有基本了解。
API（應用程式介面）概念示意( Source: Geeks For Geek)
三、資料庫
資料庫是按照數據結構來組織、存儲和管理數據的倉庫，相關概念包含：
基礎知識：資料庫是存儲數據的空間，包含表（Table）、行（Column）、列（Row）、鍵（Key）、連接（Join）、合併（Merge）和模式（Schema）等基本概念。
SQL：雖然前面提過了，但要知道在使用這些資料庫時，SQL可說是最泛用也最不可或缺的語法，因此這邊再提一次。。
ACID：是原子性（Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久性（Durability）的縮寫，旨在確保數據操作的有效性和穩定性。
資料庫建模：指在設計資料庫時考慮如何組織資料的過程，包括星型模式、平面設計和雪花模式等不同方法。
資料庫擴展：包括垂直擴展和水平擴展，它們用於增加資料庫的性能和容量。
OLTP與OLAP：OLAP（在線分析處理）、OLTP（在線交易處理）是不同類型的數據處理系統。OLTP是設計用於處理日常業務交易和交互式操作的系統；OLAP則是設計用於分析和探索大量數據的系統。
關係型資料庫：Relational Database，是大多數應用程式使用的傳統資料庫，用於結構化數據。常用的資料庫有PostgreSQL和MySQL。
非關係型資料庫：Non-relational Database，也稱為NoSQL資料庫。跟傳統的關聯型資料庫不同，它們不使用固定的表格模式，而是以更靈活的方式存儲數據，適合處理大量非結構化數據。非關係型數據還可分為三種類型：
鍵值資料庫：如Redis、DynamoDB、FireBase
圖形資料庫：如Neo4j、ArangoDB
寬列資料庫：如Apache Cassandra、Google BigTable
常用的關係型資料庫 MySQL
四、數據湖 Data Lake 與物件存儲
數據湖是一種大規模集中式數據存儲系統，它允許組織以原始、半結構化或非結構化的形式存儲數據，而無需建立嚴格的資料結構。這意味著數據湖可以包含來自不同來源、不同格式和不同質量的數據，可以是文本、圖像、影音等，也包含報表、視覺化、資料分析、機器學習等轉換後資料。
數據湖通常使用分佈式或物件存儲（Object Storage）系統來存儲大量數據，如Hadoop HDFS、Amazon S3等。數據以原始文件或對象的形式存儲，每個對象都包含數據本身、元數據（metadata）和唯一識別子。這種方式使得數據能夠以平面結構組織，並且具有元數據以描述數據的特徵和用途，能夠更好地管理和查詢數據。
五、數據倉儲 Data Warehouse
數據倉儲（Data Warehouse）是一種專為組織和管理大量數據而設計的數據存儲和管理系統。它的主要目標是將來自不同來源的數據整合到一個統一的、易於查詢和分析的資料庫中，以支持企業的決策制定、報告和分析需求。例如 Google 的 BigQuery、AWS Redshift、Azure Synapse、Snowflake、ClickHouse 和 Hive。須了解的相關概念包含：
SQL（略）
規範化與非規範化：在數據倉儲中，數據可以以規範化（Normalized）或非規範化（Denormalized）的方式進行組織和存儲，具體選擇取決於業務需求和查詢性能的考慮。規範化主要為求消除數據中的冗余或不一致性；而非規範化則是將數據合併到一個表中以提高數據更改速度。
OLAP與OLTP（略）
六、分散式系統
包含大數據、Hadoop、分佈式文件系統、MapReduce等概念。在分散式系統中，多台機器（稱為節點或伺服器）組成叢集並共同協作，這些機器可以在不同的地方執行，彼此通信並共同完成任務。分散式系統的好處是可提高性能、可用性和擴展性，同時減少單點故障的風險。
由於其複雜性，這些系統擁有各自獨立的技術組件。因此，為了開發與佈署這些系統，數據工程師需要使用叢集管理技術或工具，如Kubernetes、Databricks，或者自行建立Hadoop叢集等。此外，還有許多開源技術可供利用。
Kubernetes 也稱為 K8s，是一個熱門的分散式系統開發和支撐平台(Source: DevOps Mojo)
七、數據處理
數據處理是指使用程式語言來轉換數據的過程，這包括清理數據以及驗證數據的準確性。在進行數據處理時，通常會使用各種工具和框架，具體選擇取決於任務的性質和規模。
以下是一些常用的數據處理工具和框架：
Pandas：Pandas是一個好用的Python套件，常被用於處理和分析數據。它提供了豐富的數據結構和函數，適合用於數據轉換和清理。
SQL：（沒錯，又是它）由於多數數據倉庫支持SQL語言，因此SQL是一個常用的工具，用於執行數據轉換操作，尤其適用於處理結構化數據。
Spark：Apache Spark是一個用於大數據處理的強大框架，它提供了分佈式數據處理和分析計算。Spark通常用於處理大規模數據轉換操作，性能高且具有可擴展性。
Spark Streaming：Spark Streaming是Spark的一個模塊，用於處理流式數據。它可以實時處理數據流，非常適合需要即時分析的應用。
Spark是常用於處理大數據的強大框架(Source: Data Mechanics)
八、機器學習 Machine Learning
機器學習（Machine Learning）是一種人工智慧（AI）的子領域，它教導電腦如何從數據中學習，以自動改進和做出決策，而不需要明確的程式指令。機器學習可以應用於多個領域，如圖像辨識、語音識別、自然語言處理、醫療診斷、金融預測以及自駕車技術等。
人工智慧、機器學習、深度學習都是資料科學中的熱門領域
對於數據工程師來說，了解機器學習的不同類型，包括監督學習、非監督學習和增強學習，以及相關的模型(如邏輯回歸、決策樹、K-最近鄰算法等)很重要。他們需要知道何時應該使用哪種模型，並學會處理數據、調整模型參數，以及評估模型的預測準確性。
操作機器學習的平台有Vertex AI、Kubeflow等，這些平台可以協助數據工程師輕鬆部署模型，並構建更準確的工作流程，幫助數據科學家做出更精確的決策。
Vertex AI 是Google Cloud上的一個機器學習平台
此外，還有一些集成平台可讓數據工程師將工作流程整合到一個地方，如AWS Sagemaker、Databricks和Hugging Face等。這些平台通過共用的應用程式接口和圖形界面，使應用軟體功能不受特定硬體、作業系統、網路協議或資料庫管理系統的限制。
AWS Sagemaker也是不少人的ML開發選擇(Source: AWS)
九、作業編排管理
編排（orchestration）是一種用於管理和協調組織各種任務和工作流程的方法。它幫助我們確保工作按照預定的順序執行，以達到我們的目標。
最佳的編排工具之一是Airflow。它使用基於Python的有向無環圖（DAG）來記錄工作流程，讓您可以清楚地定義和規劃工作。Airflow特別適用於複雜的工作流程，並且在大數據和數據工程領域中廣泛使用。
其他工具包含Luigi、Nifi和Jenkins。每個工具都有其獨特的特點和使用場景，可以根據你的項目需求來選擇適合的編排工具，可以幫助數據工程師自動化和管理各種任務，提高工作效率。
Airflow是開發時常用的工作流程管理工具(Source: Airflow)
十、前端與儀表板
前端和儀表板（dashboard）是用來展示數據結果和互動的工具。它們讓我們能夠以圖表、圖像和表格的形式呈現數據，並讓用戶與數據進行互動。
舉例來說，Jupyter Notebook 是一種常用的工具，它可以幫助數據科學家和分析師在筆記本中直接進行數據分析並建立視覺化圖表。
Jupyter Notebook是好用的互動式開發工具，是許多資料科學工作者選擇
此外，儀表板或所謂BI工具如 PowerBI 和 Tableau，以及 Python 套件如Dash 和 Gradio，也被廣泛使用。這些工具允許我們建立互動性強的儀表板，讓用戶輕鬆探索數據，查看不同的視覺化結果，並根據需求進行操作。
Tableau是業界常用的商業智慧(Business Intelligence)工具，建立企業數據儀表板
十一、後端框架
後端框架與軟體工程有關，它們有助於構建網站和應用程序的後端部分。舉例來說，如果您想建立一個網站或應用，可能需要一個後端框架來處理用戶發出的請求、管理資料庫，以及提供信息給前端顯示。
基於 Python 的後端框架包含 Flask、Django 和 FastAPI 等。Flask 是一個輕量級的框架、Django則提供了更多的內置功能、FastAPI 則專注於建立API。
除了這些，還有一些雲端技術可供使用，例如G oogle Cloud Platform（GCP）的 Vertex AI API 和 AutoML APIs，這些技術可以用於模型部署和機器學習應用。
Flask 是一個 Python 網頁應用程式框架，因輕量靈活而受許多開發者喜愛
十二、自動化與部署
自動化和部署是指使用不同的工具和技術，來讓程式碼的建立和執行過程更加自動化和簡化，有助於提高效率、降低錯誤，並讓應用程式更容易管理和維護。
這個過程包括以下幾個主要方面：
基礎設施即程式碼（Infrastructure as Code）：這是使用工具如Terraform、Ansible和Shell指令來管理和配置伺服器和基礎設施的過程。這些工具可讓你將基礎設施視為程式碼來處理，使其更易管理和自動化。
持續集成/持續部署（CI/CD）：指透過GitHub Actions和Jenkins等工具來自動化程式碼的測試、集成、部署和交付的過程。有助於確保程式碼的品質，並使新功能能夠快速部署到生產環境。
容器化：即使用Docker和Docker Compose等工具，將應用程式和其相關的依賴項打包成容器的過程，可使應用程式在不同環境中更容易部署和執行。
Docker工作流程示意
想當數據工程師，如何培養能力？
在學生可以學習統計、資工、資料科學等科系的課程，或是透過相關實習或競賽來摸索對此領域的興趣。此外，網路上有許多付費課程、YouTube上的免費資源，也可以在kaggle、LnData等平台取得更多練習與交流機會、相關知識、技巧或資源！
要記得，這些相關技術日新月異，即使是正在工作中的數據工程師也必須時時學習與了解最新技術。相對的，正因為技術不停在改變，你也不需要強求把上面所有技能練到精通，而是掌握重要的基本概念與保持開放的學習態度。
數據工程師可以為企業做什麼？
數據工程師日常就是與數據打交道，主要包含收集、讀取、清理，探勘與管理企業的資料，以抓取符合企業分析需求的數據。這些數據則能進一步透過機器學習、演算法，產生更有價值的結果或應用方式，幫助企業做出更好的決策、優化業務流程，例如降低成本、提高獲益、優化產品、留住熟客及開發新客群。因此，數據工程師對於企業的重要性不言而喻。
然而，企業想挖掘數據最大價值，並不能只靠數據工程師。一個完整的數據團隊，通常包含數據工程師、數據科學家、數據分析師三種角色，各司其職、專業分工。他們在日常工作流程中扮演各自的角色，互相協作，完成各種不同的專案——這也是為何我們最後要強調，除了技術以外，溝通與協作等軟技能也非常重要！
（原文標題：2023 年想成為數據工程師的 12 項必備技能）
[joblist_plugin title='推薦【數據／資料工程師】工作機會' url='https://www.104.com.tw/jobs/search/?ro=0&keyword=%E6%95%B8%E6%93%9A%E5%B7%A5%E7%A8%8B%E5%B8%AB&expansionType=area,spec,com,job,wf,wktm&jobsource=blogc&langFlag=0&langStatus=0&recommendJob=1&hotJob=0' amount='3']
【數據／資料工程師】職場常見證照整理：
序號證照證照介紹發照單位1DP-203 Azure資料工程師技術師身為此認證的應試者，您應該具備主題專業知識，能夠將各種結構化、非結構化和串流資料系統中的資料，整合...＜詳情＞Microsoft2Google專業資料工程師認證專業資料工程師透過收集、轉換和發布資料來實現以資料所驅動的決策。資料工程師應該能夠設計、建置、操作...＜詳情＞Google3SSE 大數據國際認證隨著有關大數據的程式語言、運算平台、基礎理論，以及虛擬化、容器化的技術成熟...＜詳情＞Silicon Stone Education4AWS認證的數據庫-專業級認證報考資格：1.接觸資料庫技術至少 5 年、2.實際使用 AWS 至少 2 年...＜詳情＞Amazon Web Services5台灣風險數據分析師除了相關法遵外，應具備在風險數據分析、質量方法運用、風險預測建模等高階專業...＜詳情＞社團法人台灣風險管理協會更多數據相關證照＜前往＞
【數據／資料工程師】職場再進修課程推薦：
課程名稱課程介紹【真人直播】零基礎Python數據分析與即時看板實作在這堂課程中，我們將帶你從學習基礎 Python 出發，了解各種常見資料檔案格式與編碼，透過 Python 進行資料表單或檔案的自動化彙整與分析...＜課程介紹＞GA4+GTM網站數據分析實戰課專業的教學設計，以第一線網站數據分析工作者角度，剖析 GA4 四大要領，從觀念的理解到上手實作，提升你的數據分析能力。…＜課程介紹＞成為數據分析師的第一把鑰匙：用Python實作三個資料分析專案以非工科生成功轉為數據分析師的經驗、第一線職場實戰角度出發，來設計這門課程，適合零基礎、初入門、想轉職作數據分析師的你!…＜課程介紹＞零基礎成為Python金融數據分析師｜金融資訊爬蟲X視覺化應用課程單元從 Python 程式基礎開始，包含變數、資料型態、流程控制、函式、例外處理等 金融主題的網路爬蟲程式教學，製作Python爬蟲工具…＜課程介紹＞更多數據相關課程＜前往＞
有任何收穫或想分享的，都來和大家一起聊聊吧！