Day 04 如果AI Engineer 不只是會呼叫 LLM API,那我為什麼開始研究 AI Infrastructure?
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 從生成式 AI 普及之後,使用 LLM API 已經變得越來越容易。幾行程式,就可以讓模型回答問題、產生文字、產生程式碼,甚至建立一個看起來很完整的 AI Demo。 但我認為,真正的 AI Engineering 並不只是「會呼叫 API」。 我自己從程式開發實作一路接觸 Cloud、Docker、Kubernetes、GPU、AI/ML 到 LLM,最大的體會就是:當 AI 開始從個人實驗走向真正的服務,問題會從「模型能不能回答」逐漸變成「系統能不能穩定運作」。 例如模型需要多少 GPU 與 VRAM?Python 與 Runtime 是否相容?Container 如何封裝?服務部署在哪裡?多人同時使用怎麼辦?如果服務出錯,誰來監控?資料與 API 權限又該怎麼管理? 這些問題可能不會出現在第一次 AI Demo 裡,卻很可能在 Production 階段一次出現。 所以我現在思考 AI Engineering 時,會把它看成一個跨域問題:Model 只是其中一層,真正的 AI Application 還需要 Application、Infrastructure、Deployment、Observability 與 Security。 那麼問題來了: 如果只會使用 LLM,真的就能把 AI 系統帶進 Production 嗎? 如果AI Engineer 不只是會呼叫 LLM API,AI Engineering 是跨層整合部署、測試Prototype 走向 Production, AI Model ≠ AI Application ≠ Production AI System 那從 AI Demo 到 Production 會遇到 Infrastructure、Security、Monitoring、Testing、L aws 等問題,還有觀感、道德、倫理上的疑慮與風險或責任, 這也是我在《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》中想深入討論的核心問題。 這幾天的觀點是我為什麼開始研究 AI Infrastructure?接下來,我會繼續從實作角度拆解這條從 AI Demo 到 Producti...