幾乎每一位重度使用生成式 AI 的使用者都曾有過類似經驗。
明明只是想完成一項工作,卻在數十分鐘後發現自己已經進行了十幾輪對話;原本以為只需要一個提示就能完成的任務,最後卻演變成一場漫長的來回修正。
從撰寫文章、建立網站、設計產品規格,到規劃商業策略,許多人都將這種現象歸因於模型不夠聰明、回應不夠精準,或者額度計算方式不夠透明。
然而,當研究人員開始分析大型語言模型(Large Language Models, LLMs)的實際使用模式後,發現一個有趣的現象:
使用成本的快速增加,往往不是因為模型做了太多工作,而是因為模型花了大量時間試圖理解使用者真正想要什麼。
筆者透過 AIMochi 筆記工具,整理多方公開資訊和最新報導內容,來探討這是一個看似微小,卻極具影響力的差異。
在傳統軟體世界中,程式只會執行明確指令。
但大型語言模型不同。
當使用者輸入:幫我建立一個客戶管理系統。
對人類而言,這句話看起來十分清楚。
然而對 AI 而言,這可能代表數百種不同的可能性。
是單人使用還是團隊協作?需要哪些資料欄位?
是否需要權限管理?是否需要自動化流程?
是否需要與電子郵件系統整合?
每一項未說明的資訊,都迫使模型進行推測。
而每一次推測,都可能產生偏差。
當結果與期待不符時,使用者便開始補充資訊、修改需求、重新說明背景。
於是,一個原本看似簡單的任務,逐漸演變成數十次互動。
這種現象可以被稱為:Human Ambiguity Cost(人類模糊性成本)。
成本的來源並非模型本身,而是需求表達的不完整。
許多人認為自己是在使用 AI 執行工作。
但實際上,在大量案例中,AI 扮演的第一個角色並不是執行者,而是需求分析師。
它需要先理解:
使用者真正想做什麼
哪些需求是核心需求
哪些需求是隱含需求
哪些條件尚未被提出
可以這麼理解,模型往往在正式工作之前,就已經投入大量資源進行需求探索。
這與企業軟體開發中的「需求訪談階段」極為相似。
在軟體專案管理領域,需求不清楚通常被認為是造成專案延誤與成本超支的主要原因之一。
而在生成式 AI 時代,同樣的問題被重新放大。
差別只是,過去由專案經理承擔的工作,現在轉移到了大型語言模型身上。
許多使用者只關注單次回覆的品質。
但大型語言模型真正消耗資源的地方,往往是上下文管理(Context Management)。
每一次互動,模型都需要重新理解:專案背景、歷史決策、既有架構、使用者偏好與任務目標
當對話變得越來越長時,模型需要處理的上下文也隨之增加。
研究機構普遍指出,長上下文雖然提升了模型理解能力,但同時也提高了推理與運算成本。
當使用者反覆重建相同背景資訊時,實際上是在為相同知識重複付費。
而這種成本,往往難以被察覺。
因為它並非一次性支出,而是透過數十次、數百次互動逐漸累積。
2023 年至 2024 年期間,Prompt Engineering 幾乎成為生成式 AI 領域最熱門的關鍵字之一。
大量教學都在討論:
如何寫出更好的提示詞
如何設計角色設定
如何提升回答品質
如何透過技巧獲得更準確結果
然而到了 2025 年之後,產業焦點開始出現轉變。
原因很簡單,模型能力正在快速提升。
許多過去必須依賴複雜提示技巧才能完成的任務,如今只需要簡單描述即可達成。
因此,真正的瓶頸逐漸從提示本身,轉移到資訊管理。
問題不再是:我該怎麼寫提示?
而是:AI 是否擁有足夠上下文理解我的需求?
這也促使一個新概念開始受到重視:Context Engineering。
Context Engineering 可以被理解為:為 AI 提供正確資訊的工程學。
它關注的不只是單一句提示,而是整體資訊架構。
包含:專案記憶、文件管理、知識庫、工作流程、狀態追蹤、任務分工
在這種模式下,AI 不再依賴使用者每次重新解釋需求。
相反地,它能夠直接取得完成工作所需的背景資訊。
這種變化與網際網路發展歷程十分相似。
早期網站競爭的是頁面設計。
後來競爭的是資料架構。
而在 AI 時代,競爭核心正逐漸從提示設計轉向上下文架構設計。
另一個容易被忽略的成本來源,是試錯循環。
當使用者透過:試一次>>修改一次>>再試一次>>再修改一次的方式進行開發時,每次互動都會產生成本。
更重要的是,許多失敗嘗試並沒有直接創造價值。
它們只是幫助使用者確認哪些方法不可行。
從學習角度來看,這種探索具有意義。
但從成本角度來看,它卻可能成為最大的浪費來源。
這也是為什麼越來越多企業開始建立:標準化工作流程、模板系統、知識庫、Agent Framework
因為每減少一次試錯,就意味著減少一次資源消耗。
大型語言模型的下一步並不只是更聰明,而是更有組織能力。
當 AI Agent 開始普及後,系統不再只是單純回答問題。
它們開始:記住目標、管理任務、追蹤進度、協調工具、維護上下文
這種變化代表:使用者與 AI 的關係正在從問答模式,轉向協作模式。
過去的互動方式是:人類提出問題,AI 提供答案。
未來的互動方式則更接近:人類設定方向,AI 負責推進流程。
這也是 Agent 工作流受到關注的重要原因。
當上下文管理、記憶系統、工作流程與 Agent 能力開始整合後,一個更大的趨勢逐漸浮現。
那就是 AI OS(Artificial Intelligence Operating System)。
如果說過去十年是:行動作業系統的時代。
那麼未來十年,很可能是:人工智慧作業系統的時代。
在這種架構下,AI 不再只是聊天工具。
它將成為:個人知識管理中心、工作流程協調中心、專案管理中心、決策輔助中心
甚至可能成為個人的第二層認知系統。
屆時,真正重要的將不再是模型本身。
因為模型能力可能快速商品化。
真正形成差異化的,將是:誰能管理最多有效上下文、誰能建立最完整記憶系統、誰能設計最高效率的工作流程。
當人們抱怨 AI 額度消耗太快時,最直覺的反應往往是質疑價格。
然而,從產業發展趨勢來看,問題的核心可能並非價格,更是流程。
大型語言模型最擅長的是推理、生成與決策輔助。
但如果它們必須花費大量時間猜測需求、重建背景、修補上下文缺口,那麼成本自然會迅速增加。
這也是為什麼生成式 AI 的下一階段競爭,不再只是模型能力競賽。
真正的關鍵,正在轉向 Context Engineering、Agent Workflow 與 AI OS。
從 Prompt Engineering 到 Context Engineering,代表的不只是技術演進。
它反映的是一個更深層的變化:未來最有價值的能力,不是讓 AI 更努力工作,而是讓 AI 從一開始就知道該做什麼。
當模糊性被消除、上下文被保留、工作流被優化時,AI 所創造的價值才會真正開始被釋放。
而這,或許才是生成式 AI 時代最重要的一課。
以上僅供參考與資訊分享之用!若想快速了解更多資訊,透過 AIMochi 台灣本土筆記工具,幫我們從海量資料中,梳理出關鍵資訊,讓我們精準掌握重要訊息!