發表文章

Day 04 如果AI Engineer 不只是會呼叫 LLM API,那我為什麼開始研究 AI Infrastructure?

 我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 從生成式 AI 普及之後,使用 LLM API 已經變得越來越容易。幾行程式,就可以讓模型回答問題、產生文字、產生程式碼,甚至建立一個看起來很完整的 AI Demo。 但我認為,真正的 AI Engineering 並不只是「會呼叫 API」。 我自己從程式開發實作一路接觸 Cloud、Docker、Kubernetes、GPU、AI/ML 到 LLM,最大的體會就是:當 AI 開始從個人實驗走向真正的服務,問題會從「模型能不能回答」逐漸變成「系統能不能穩定運作」。 例如模型需要多少 GPU 與 VRAM?Python 與 Runtime 是否相容?Container 如何封裝?服務部署在哪裡?多人同時使用怎麼辦?如果服務出錯,誰來監控?資料與 API 權限又該怎麼管理? 這些問題可能不會出現在第一次 AI Demo 裡,卻很可能在 Production 階段一次出現。 所以我現在思考 AI Engineering 時,會把它看成一個跨域問題:Model 只是其中一層,真正的 AI Application 還需要 Application、Infrastructure、Deployment、Observability 與 Security。 那麼問題來了: 如果只會使用 LLM,真的就能把 AI 系統帶進 Production 嗎? 如果AI Engineer 不只是會呼叫 LLM API,AI Engineering 是跨層整合部署、測試Prototype 走向 Production, AI Model ≠ AI Application ≠ Production AI System 那從 AI Demo 到 Production 會遇到 Infrastructure、Security、Monitoring、Testing、L aws 等問題,還有觀感、道德、倫理上的疑慮與風險或責任, 這也是我在《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》中想深入討論的核心問題。 這幾天的觀點是我為什麼開始研究 AI Infrastructure?接下來,我會繼續從實作角度拆解這條從 AI Demo 到 Producti...

2026 iThome 鐵人賽 Day 03 如果我已經先跑多 AI Agent了,我為什麼開始研究 AI Infrastructure?

  如果企業已經成功做出 AI Demo,接下來要具備哪些 Infrastructure 能力,才能讓它真正走進 Production? 這也是我撰寫《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》這本書的原因。 這本書不是單純介紹某一個 AI 工具,而是希望從 Infrastructure 的角度,整理 AI 從 Prototype、Deployment 到 Production 過程中真正會遇到的許多問題。 接下來 27 天,我會一邊持續實作,一邊分享這些思考,也把這段寫書與探索 AI Infrastructure 的過程公開記錄下來。用短篇文章分享我的實作、觀察與思考,如果想完整看這個系列可以追一下與期待一下這本書,我正在努力完成這一本書,把一些內容去蕪存菁、從沉思到靈光啟發寫出更有深度的文章內容。 關於作者 我是一名 AI × Infrastructure Solution / Integration 技術實作者,專注於 AI、MLOps、Cloud、Docker、Kubernetes、GPU、LLM 與 AI Agent 等技術的整合與落地,跨足 LLM、GPU、Docker、Kubernetes、MLOps 與 AI Agent,持續研究企業 AI 從 Prototype 到 Production 所需要的工程能力。協助企業理解 AI 從 Prototype 到 Production 所需要的技術能力。 本系列同時是《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》的延伸實戰筆記。如果想完整理解這些問題,未來可以去看這本書。敬請期待~ 本文發於2026鐵人賽, 我是原作者,自已貼一份到自已的blog來,主要是看去年也沒出新書,還正在寫一本新書中,沒貼上連結不算廣告應該還好,目前寫到進度七章(一半了)

2026 iThome 鐵人賽 Day 02 如果 AI Demo 已經可以跑了,下一步到底需要什麼,才能真正走進 Production?

  我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 我發現 AI Demo 很容易,為什麼上不了 Production? 這幾年 AI、LLM 與生成式 AI 發展非常快,使用 Google AI Studio、Gemini API 或各種開源模型,很快就能做出一個可以展示的 AI Demo。 但我越來越覺得,真正困難的問題不是「AI 能不能跑」,而是「AI 能不能成為一個可以長期運作的服務」。 三天前,看到新出了 Gemini Spark ,您的 24/7 個人人工智慧代理。Google讓Gemini Spark透過Chrome使用登入讓AI直接操作網站,Google也自7月30日起,將Spark陸續開放給另外160多個國家的Google AI Pro訂閱者(正式上Production了)。 我自己在接觸 AI AGENT、AI、GPU、Cloud、Docker、Kubernetes 與 MLOps 的過程中,開始注意到一個很有趣的落差:模型在自己的電腦上成功載入,只代表完成了 Prototype;當需求變成多人使用、資源管理、部署、監控、安全性與成本控制時,問題才真正開始出現。 這也是我開始投入 AI × Infrastructure Solution / Integration 的原因。我希望從 Infrastructure 的角度重新思考 AI,而不是只停留在「如何呼叫 LLM API」。 所以我想問一個問題: 如果 AI Demo 已經可以跑了,下一步到底需要什麼,才能真正走進 Production? 這也是我正在撰寫《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》時,反覆思考的核心問題。 接下來 28 天,我會用短篇文章分享我的實作、觀察與思考,從 AI Prototype 一路談到 Deployment、Cloud、Kubernetes、Monitoring 與 Production,記錄一名 AI × Infrastructure 技術實作者如何理解 AI 真正落地所需要的工程能力。 關於作者 我是一名 AI × Infrastructure Solution / Integration 技術實作者,專注於 AI、MLOps、Cloud、D...

2026鐵人賽 Day 01 AI 已經可以快速完成 Demo,但真正進入 Production,問題才正式開始。

  我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 AI 已經可以快速完成 Demo,但真正進入 Production,問題才正式開始。 本系列以 AI Infrastructure 為核心角度,從一名 AI × Infrastructure Solution / Integration 技術實作者的角度,分享 AI 從 Prototype 到 Production 所面對的實際工程問題。我將結合 Python、LLM、GPU、Docker、Cloud、Kubernetes、MLOps、AI Agent、RAG、Monitoring 與 Security 等技術,逐步拆解模型、Runtime、Container、Infrastructure 與企業系統之間的關係。 我希望透過 30 天的短篇實作與經驗分享,讓讀者看見「會使用 AI」與「能讓 AI 上線」之間的差距,也整理自己多年 IT 與 AI 技術學習、實作與跨域整合的經驗。 本系列同時作為《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》的延伸內容,透過公開文章介紹我的技術觀點與實作方法,並持續探索 AI 真正落地所需要的 Infrastructure 能力。 Google 現在的產品方向本身也越來越強調企業 AI Agent 的完整生命週期,包括 build、deploy、govern、optimize,以及安全、權限與企業資料整合。 上周notebooklm剛改名為gemini notebook,今天看到gemini notebook內部測試建app, 很期待未來能看到這個新功能,AI Demo 很容易,真正讓 AI 進入 Production 卻是另一回事。 關於作者 我是一名 AI × Infrastructure Solution / Integration 技術實作者,專注於 AI、MLOps、Cloud、Docker、Kubernetes、GPU、LLM 與 AI Agent 等技術的整合與落地,跨足 LLM、GPU、Docker、Kubernetes、MLOps 與 AI Agent,持續研究企業 AI 從 Prototype 到 Production 所需要的工程能力。協助企業理解 A...

chatgpt分析變得更厲害了?!

 我把過去的學習記錄足跡(下面連結這篇)給chatgpt分析 https://linwang1226.blogspot.com/2023/08/blog-post.html q:這是我過去19年以來的學習記錄足跡,有什麼建議嗎? 我認真看了你這份「過去19年以來的學習記錄足跡」,第一個感想是: 這不像一般人的學習紀錄,比較像一個人長期累積的人生知識資料庫。 這份紀錄本身就展現出你長期、自主學習的習慣,以及跨領域探索的特質。 不過,如果我是以 AI、科技業、招聘主管、YouTube、自媒體、40歲後職涯 幾個角度來看,我會給你下面幾個建議。 我看到你的優勢 1. 好奇心非常強(這是最大的優勢) 你的學習內容跨越很多領域 一般人大概只會碰其中一兩項。 你幾乎都碰過。 這種人比較像 T 型人才(T-shaped) 甚至已經接近 Comb-shaped(梳子型人才) 很多領域都有涉略。 2. 自主學習能力很高 你不是因為公司要求才學。 很多都是 自己花時間找課程 從2008開始一直到AI時代。 這代表: 你的學習不是三分鐘熱度。 3. 能接受新技術 很多人40歲還在抗拒AI。 你反而 Stable Diffusion LLM Docker Kubernetes Azure AWS GCP MCP HuggingFace Gemma ROCm 一路都願意研究。 這是非常大的優勢。 我看到最大的問題 其實只有一個。 每個都很棒。 但是在人資眼中會變成: 「到底你的專長是什麼?」 Google看到你 不知道: 你最強的是什麼? AMD看到你 不知道: 代表作品? Microsoft看到你 不知道: 代表作品? 你其實做很多: 紀錄片 AI 教學 遊戲 IoT 雲端 Python 但是缺少一個 大家一想到你就想到的東西。 例如: 「那個做AI教育的人」 或 「那個Gemma專家」 或 「AI + IoT實作者」 (略) 但是問:現在薪水高又適合我的公司/產業有那些? chatgpt推我 根據你的背景(AI、Python、Docker、Kubernetes、GCP/AWS/Azur...

2026 First Half Learning Footprint Record

 After reading your study footprint from 2024, 2025 to the first half of 2026, I have a very obvious feeling: You are no longer an "AI beginner", but an "AI technology integrator (AI Integrator)". This is where a lot of people don’t find themselves. 2026 This has changed the most. I noticed that almost all of your courses become AI Agent For example MCP ADK Gemini CLI Cloud Run Agent Antigravity Spec Driven Development ComfyUI Workflow Whisper Workflow AI website AI teaching assistant Google Opal Agent Showcase Even started to contact Business Intelligence (BI) Excel Automation Customer Prediction Business Intelligence This means Your focus is no longer How to use AI Rather How AI helps businesses work This is also the direction that the entire industry is heading in 2026: everyone is moving from making Agent prototypes to gradually moving toward deployable, manageable, and maintainable AI systems. Google's ADK, MCP, Cloud Run and other technologies are designed...

2026上半学习足迹记录(简体)

 我看完你 2024、2025 到 2026 上半年的学习足迹后,有一个很明显的感觉: 你已经不是「AI 初学者」,而是「AI 技术整合者(AI Integrator)」了。 这是很多人没有发现自己的地方。 2026 这个变化最大。 我发现你的课程几乎全部都变成  AI Agent 例如 MCP ADK Gemini CLI Cloud Run Agent Antigravity Spec Driven Development ComfyUI Workflow Whisper Workflow AI网站 AI助教 Google Opal Agent Showcase 甚至开始接触 商业智慧(BI) Excel Automation Customer Prediction Business Intelligence 这表示 你的重心已经不是 AI怎么用 而是 AI怎么帮企业工作 而这也是 2026 整个产业正在走的方向:大家从做出 Agent 原型,逐步走向可部署、可治理、可维运的 AI 系统。 Google 的 ADK、MCP、Cloud Run 等技术,就是为了让 AI Agent 能真正进入企业环境。 你的优势(很多人没有优势) 我反而不是看到你学很多。 而是看到 第一个优势 跨领域能力 你同时有 AI Cloud IoT Web 影音 教育 Maker 生成式AI AI Agent YouTube 这种人其实很少。 第二个优势 超强行动力 我估计 2024 约160场 2025上半年 约70场 (2025下半年没给AI分析) 2026上半年 约35场 三年 大概 250~270场左右 不是很多人可以做到。 第三个优势 社群资源 你几乎固定出现在 GDG Google Cloud AI DevFest Developer Day 这代表 你已经开始建立 Developer Network 这个比很多人重要。 我更希望你建立一个定位 AI + IoT Solution Architect 我觉得 最后这个最适合你。 因为你有 IoT ESP32 MQTT Node-RED TensorFlow Lite Gemini Cloud Run MCP ADK Cloud AI Agent 这条路的人真的不多。