發表文章

Day 05 如果AI Demo 成功,不代表 AI 專案成功,因為AI Engineer 的價值,不只是會使用 AI AGNET

 我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 實做 AI Demo 的時候,我們通常會先問一個問題:「它能不能跑?」 模型成功載入、Prompt 有結果、畫面可以展示,甚至可以讓使用者輸入問題並得到漂亮的回答,這時候很容易產生一種「專案成功了」的感覺。現在可能只需要幾個 Prompt 或幾行程式架構就能讓AI AGENT自動逐步完成。這也讓我開始思考:當 AI與 AI AGENT越來越會寫程式,工程師真正的價值會變成什麼? 但我在接觸 AI Infrastructure 的過程中,開始發現: AI Demo 成功,其實只代表 AI Prototype 通過了第一個關卡而已。一個 AI 專案可能同時涉及模型、資料、API、GPU、Runtime、Container、Cloud 與使用者需求。如果只熟悉其中一個環節,往往很難看見整個系統真正的問題。 當我開始從 GPU、Runtime、Docker、Cloud 與 Kubernetes 等不同層面思考 AI 系統時,才發現真正的 Production 問題完全不同。模型要部署在哪裡?GPU 資源夠不夠?多人同時使用會怎麼樣?服務故障誰會發現?如何監控效能與成本?更新模型時又要如何避免影響既有服務? 我自己的技術學習一直不是只集中在單一領域,而是從程式開發、Python,一路接觸 Cloud、Docker、Kubernetes、GPU、AI/ML 到現在的 LLM 與 AI Agent。過程中我逐漸發現,真正困難的往往不是「某一個技術會不會用」,而是能不能理解不同技術之間如何連接? 這些問題在第一次 AI Demo 時可能完全看不到,卻可能決定一個 AI 專案最後能不能真正被使用。 當你用的TOKEN越多,看的CODE越多,或懂的越多,或經驗越多,你會發現那些號稱打造0元企業級代理(或龍蝦或XXX),免費的最貴!(他圖的是什麼?) 所以我現在看一個 AI 專案,不會只問「模型準不準」或「Demo 漂不漂亮」,而會進一步思考它是否具備從 Prototype 走向 Production 的條件。因此,我認為 AI 時代的工程能力,正在從「把程式寫出來」,逐漸走向「把 AI、Software 與 Infrastructure 整合起來」。 那麼問題來了: 當一個 ...

Day 04 如果AI Engineer 不只是會呼叫 LLM API,那我為什麼開始研究 AI Infrastructure?

 我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 從生成式 AI 普及之後,使用 LLM API 已經變得越來越容易。幾行程式,就可以讓模型回答問題、產生文字、產生程式碼,甚至建立一個看起來很完整的 AI Demo。 但我認為,真正的 AI Engineering 並不只是「會呼叫 API」。 我自己從程式開發實作一路接觸 Cloud、Docker、Kubernetes、GPU、AI/ML 到 LLM,最大的體會就是:當 AI 開始從個人實驗走向真正的服務,問題會從「模型能不能回答」逐漸變成「系統能不能穩定運作」。 例如模型需要多少 GPU 與 VRAM?Python 與 Runtime 是否相容?Container 如何封裝?服務部署在哪裡?多人同時使用怎麼辦?如果服務出錯,誰來監控?資料與 API 權限又該怎麼管理? 這些問題可能不會出現在第一次 AI Demo 裡,卻很可能在 Production 階段一次出現。 所以我現在思考 AI Engineering 時,會把它看成一個跨域問題:Model 只是其中一層,真正的 AI Application 還需要 Application、Infrastructure、Deployment、Observability 與 Security。 那麼問題來了: 如果只會使用 LLM,真的就能把 AI 系統帶進 Production 嗎? 如果AI Engineer 不只是會呼叫 LLM API,AI Engineering 是跨層整合部署、測試Prototype 走向 Production, AI Model ≠ AI Application ≠ Production AI System 那從 AI Demo 到 Production 會遇到 Infrastructure、Security、Monitoring、Testing、L aws 等問題,還有觀感、道德、倫理上的疑慮與風險或責任, 這也是我在《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》中想深入討論的核心問題。 這幾天的觀點是我為什麼開始研究 AI Infrastructure?接下來,我會繼續從實作角度拆解這條從 AI Demo 到 Producti...

2026 iThome 鐵人賽 Day 03 如果我已經先跑多 AI Agent了,我為什麼開始研究 AI Infrastructure?

  如果企業已經成功做出 AI Demo,接下來要具備哪些 Infrastructure 能力,才能讓它真正走進 Production? 這也是我撰寫《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》這本書的原因。 這本書不是單純介紹某一個 AI 工具,而是希望從 Infrastructure 的角度,整理 AI 從 Prototype、Deployment 到 Production 過程中真正會遇到的許多問題。 接下來 27 天,我會一邊持續實作,一邊分享這些思考,也把這段寫書與探索 AI Infrastructure 的過程公開記錄下來。用短篇文章分享我的實作、觀察與思考,如果想完整看這個系列可以追一下與期待一下這本書,我正在努力完成這一本書,把一些內容去蕪存菁、從沉思到靈光啟發寫出更有深度的文章內容。 關於作者 我是一名 AI × Infrastructure Solution / Integration 技術實作者,專注於 AI、MLOps、Cloud、Docker、Kubernetes、GPU、LLM 與 AI Agent 等技術的整合與落地,跨足 LLM、GPU、Docker、Kubernetes、MLOps 與 AI Agent,持續研究企業 AI 從 Prototype 到 Production 所需要的工程能力。協助企業理解 AI 從 Prototype 到 Production 所需要的技術能力。 本系列同時是《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》的延伸實戰筆記。如果想完整理解這些問題,未來可以去看這本書。敬請期待~ 本文發於2026鐵人賽, 我是原作者,自已貼一份到自已的blog來,主要是看去年也沒出新書,還正在寫一本新書中,沒貼上連結不算廣告應該還好,目前寫到進度七章(一半了)

2026 iThome 鐵人賽 Day 02 如果 AI Demo 已經可以跑了,下一步到底需要什麼,才能真正走進 Production?

  我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 我發現 AI Demo 很容易,為什麼上不了 Production? 這幾年 AI、LLM 與生成式 AI 發展非常快,使用 Google AI Studio、Gemini API 或各種開源模型,很快就能做出一個可以展示的 AI Demo。 但我越來越覺得,真正困難的問題不是「AI 能不能跑」,而是「AI 能不能成為一個可以長期運作的服務」。 三天前,看到新出了 Gemini Spark ,您的 24/7 個人人工智慧代理。Google讓Gemini Spark透過Chrome使用登入讓AI直接操作網站,Google也自7月30日起,將Spark陸續開放給另外160多個國家的Google AI Pro訂閱者(正式上Production了)。 我自己在接觸 AI AGENT、AI、GPU、Cloud、Docker、Kubernetes 與 MLOps 的過程中,開始注意到一個很有趣的落差:模型在自己的電腦上成功載入,只代表完成了 Prototype;當需求變成多人使用、資源管理、部署、監控、安全性與成本控制時,問題才真正開始出現。 這也是我開始投入 AI × Infrastructure Solution / Integration 的原因。我希望從 Infrastructure 的角度重新思考 AI,而不是只停留在「如何呼叫 LLM API」。 所以我想問一個問題: 如果 AI Demo 已經可以跑了,下一步到底需要什麼,才能真正走進 Production? 這也是我正在撰寫《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》時,反覆思考的核心問題。 接下來 28 天,我會用短篇文章分享我的實作、觀察與思考,從 AI Prototype 一路談到 Deployment、Cloud、Kubernetes、Monitoring 與 Production,記錄一名 AI × Infrastructure 技術實作者如何理解 AI 真正落地所需要的工程能力。 關於作者 我是一名 AI × Infrastructure Solution / Integration 技術實作者,專注於 AI、MLOps、Cloud、D...

2026鐵人賽 Day 01 AI 已經可以快速完成 Demo,但真正進入 Production,問題才正式開始。

  我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 AI 已經可以快速完成 Demo,但真正進入 Production,問題才正式開始。 本系列以 AI Infrastructure 為核心角度,從一名 AI × Infrastructure Solution / Integration 技術實作者的角度,分享 AI 從 Prototype 到 Production 所面對的實際工程問題。我將結合 Python、LLM、GPU、Docker、Cloud、Kubernetes、MLOps、AI Agent、RAG、Monitoring 與 Security 等技術,逐步拆解模型、Runtime、Container、Infrastructure 與企業系統之間的關係。 我希望透過 30 天的短篇實作與經驗分享,讓讀者看見「會使用 AI」與「能讓 AI 上線」之間的差距,也整理自己多年 IT 與 AI 技術學習、實作與跨域整合的經驗。 本系列同時作為《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》的延伸內容,透過公開文章介紹我的技術觀點與實作方法,並持續探索 AI 真正落地所需要的 Infrastructure 能力。 Google 現在的產品方向本身也越來越強調企業 AI Agent 的完整生命週期,包括 build、deploy、govern、optimize,以及安全、權限與企業資料整合。 上周notebooklm剛改名為gemini notebook,今天看到gemini notebook內部測試建app, 很期待未來能看到這個新功能,AI Demo 很容易,真正讓 AI 進入 Production 卻是另一回事。 關於作者 我是一名 AI × Infrastructure Solution / Integration 技術實作者,專注於 AI、MLOps、Cloud、Docker、Kubernetes、GPU、LLM 與 AI Agent 等技術的整合與落地,跨足 LLM、GPU、Docker、Kubernetes、MLOps 與 AI Agent,持續研究企業 AI 從 Prototype 到 Production 所需要的工程能力。協助企業理解 A...

chatgpt分析變得更厲害了?!

 我把過去的學習記錄足跡(下面連結這篇)給chatgpt分析 https://linwang1226.blogspot.com/2023/08/blog-post.html q:這是我過去19年以來的學習記錄足跡,有什麼建議嗎? 我認真看了你這份「過去19年以來的學習記錄足跡」,第一個感想是: 這不像一般人的學習紀錄,比較像一個人長期累積的人生知識資料庫。 這份紀錄本身就展現出你長期、自主學習的習慣,以及跨領域探索的特質。 不過,如果我是以 AI、科技業、招聘主管、YouTube、自媒體、40歲後職涯 幾個角度來看,我會給你下面幾個建議。 我看到你的優勢 1. 好奇心非常強(這是最大的優勢) 你的學習內容跨越很多領域 一般人大概只會碰其中一兩項。 你幾乎都碰過。 這種人比較像 T 型人才(T-shaped) 甚至已經接近 Comb-shaped(梳子型人才) 很多領域都有涉略。 2. 自主學習能力很高 你不是因為公司要求才學。 很多都是 自己花時間找課程 從2008開始一直到AI時代。 這代表: 你的學習不是三分鐘熱度。 3. 能接受新技術 很多人40歲還在抗拒AI。 你反而 Stable Diffusion LLM Docker Kubernetes Azure AWS GCP MCP HuggingFace Gemma ROCm 一路都願意研究。 這是非常大的優勢。 我看到最大的問題 其實只有一個。 每個都很棒。 但是在人資眼中會變成: 「到底你的專長是什麼?」 Google看到你 不知道: 你最強的是什麼? AMD看到你 不知道: 代表作品? Microsoft看到你 不知道: 代表作品? 你其實做很多: 紀錄片 AI 教學 遊戲 IoT 雲端 Python 但是缺少一個 大家一想到你就想到的東西。 例如: 「那個做AI教育的人」 或 「那個Gemma專家」 或 「AI + IoT實作者」 (略) 但是問:現在薪水高又適合我的公司/產業有那些? chatgpt推我 根據你的背景(AI、Python、Docker、Kubernetes、GCP/AWS/Azur...

2026 First Half Learning Footprint Record

 After reading your study footprint from 2024, 2025 to the first half of 2026, I have a very obvious feeling: You are no longer an "AI beginner", but an "AI technology integrator (AI Integrator)". This is where a lot of people don’t find themselves. 2026 This has changed the most. I noticed that almost all of your courses become AI Agent For example MCP ADK Gemini CLI Cloud Run Agent Antigravity Spec Driven Development ComfyUI Workflow Whisper Workflow AI website AI teaching assistant Google Opal Agent Showcase Even started to contact Business Intelligence (BI) Excel Automation Customer Prediction Business Intelligence This means Your focus is no longer How to use AI Rather How AI helps businesses work This is also the direction that the entire industry is heading in 2026: everyone is moving from making Agent prototypes to gradually moving toward deployable, manageable, and maintainable AI systems. Google's ADK, MCP, Cloud Run and other technologies are designed...