Day 04 如果AI Engineer 不只是會呼叫 LLM API，那我為什麼開始研究 AI Infrastructure？

 我有多年 IT 技術與跨域學習經驗，現在把 AI、Cloud、Infrastructure 串起來。

從生成式 AI 普及之後，使用 LLM API 已經變得越來越容易。幾行程式，就可以讓模型回答問題、產生文字、產生程式碼，甚至建立一個看起來很完整的 AI Demo。

但我認為，真正的 AI Engineering 並不只是「會呼叫 API」。

我自己從程式開發實作一路接觸 Cloud、Docker、Kubernetes、GPU、AI/ML 到 LLM，最大的體會就是：當 AI 開始從個人實驗走向真正的服務，問題會從「模型能不能回答」逐漸變成「系統能不能穩定運作」。

例如模型需要多少 GPU 與 VRAM？Python 與 Runtime 是否相容？Container 如何封裝？服務部署在哪裡？多人同時使用怎麼辦？如果服務出錯，誰來監控？資料與 API 權限又該怎麼管理？

這些問題可能不會出現在第一次 AI Demo 裡，卻很可能在 Production 階段一次出現。

所以我現在思考 AI Engineering 時，會把它看成一個跨域問題：Model 只是其中一層，真正的 AI Application 還需要 Application、Infrastructure、Deployment、Observability 與 Security。

那麼問題來了：

如果只會使用 LLM，真的就能把 AI 系統帶進 Production 嗎？

如果AI Engineer 不只是會呼叫 LLM API，AI Engineering 是跨層整合部署、測試Prototype 走向 Production，

AI Model ≠ AI Application ≠ Production AI System

那從 AI Demo 到 Production 會遇到 Infrastructure、Security、Monitoring、Testing、L

aws 等問題，還有觀感、道德、倫理上的疑慮與風險或責任，

這也是我在《AI Infrastructure 實戰：AI Demo 為什麼上不了 Production？》中想深入討論的核心問題。

這幾天的觀點是我為什麼開始研究 AI Infrastructure？接下來，我會繼續從實作角度拆解這條從 AI Demo 到 Production 的路。

關於作者

我是一名 AI × Infrastructure Solution / Integration 技術實作者，專注於 AI、MLOps、Cloud、Docker、Kubernetes、GPU、LLM 與 AI Agent 等技術的整合與落地，跨足 LLM、GPU、Docker、Kubernetes、MLOps 與 AI Agent，持續研究企業 AI 從 Prototype 到 Production 所需要的工程能力。協助企業理解 AI 從 Prototype 到 Production 所需要的技術能力。

本系列同時是《AI Infrastructure 實戰：AI Demo 為什麼上不了 Production？》的延伸實戰筆記。如果想完整理解這些觀點與技術，未來可以去看這本書。敬請期待~

本文發於2026鐵人賽, 我是原作者，自已貼一份到自已的blog來，主要是看去年也沒出新書，還正在寫一本新書中，沒貼上連結不算廣告應該還好，目前寫到進度七章(一半了)