負責推理與語言能力
LLM 判斷下一步、產生文字、選擇工具,但它本身不保證長任務穩定,也不天然知道什麼時候該停止。
AI 代理 架構入門|把聰明模型包成可靠系統
裸 LLM 像一顆聰明 CPU,但缺少記憶體管理、設備驅動、權限邊界、錯誤恢復與驗證機制。
LLM 判斷下一步、產生文字、選擇工具,但它本身不保證長任務穩定,也不天然知道什麼時候該停止。
包含上下文管理、工具註冊、狀態保存、錯誤處理、護欄、安全權限、觀測與驗證。
企業要的不是一次 示範 成功,而是多次執行後仍能保持一致、可除錯、可審核、可回復。
一個穩定 代理 通常不是「問模型一次就結束」,而是 Observe → Think → Act → Verify → Recover 的閉環。
以下整理成工程師教學版本:每個模組都對應一個真實問題,不只是名詞。
載入設定、模型、工具、權限、專案規則,避免每次啟動狀態不一致。
控制 代理 如何觀察、思考、行動、回收結果,避免無限迴圈。
決定哪些資訊要進模型,哪些要摘要、屏蔽或延後載入。
把 API、檔案、資料庫、瀏覽器操作包成清楚 schema,讓模型安全呼叫。
區分短期任務記憶、長期知識、使用者偏好與可重用工作流程。
把大任務拆解成步驟,並在中途依觀察結果調整。
保存進度,失敗後可從中間恢復,不必整個任務重跑。
分辨暫時錯誤、邏輯錯誤、權限錯誤,採取重試、修正或人工介入。
限制輸入、輸出與工具權限,避免越權、洩密或破壞性操作。
用規則、測試、比對、審核來確認結果,不讓 代理 自己說成功就算成功。
記錄每一步輸入、輸出、工具調用、錯誤與 代元 成本,方便除錯。
把研究、撰寫、測試、審核拆給不同子 代理,並控制它們的邊界。
這些不是理論題,而是會直接影響成本、維護性、安全性與成功率的設計決策。
任務簡單可用單 代理;跨領域、多審核、多流程,適合拆成多 代理。
越方便越危險。企業場景建議採最小權限與可審核工具。
一次塞滿容易上下文腐爛;動態檢索比較穩,但需要更好的索引與摘要策略。
本地安全但協作較弱;雲端方便但要處理資安與資料邊界。
高風險流程不能只靠 AI Judge。規則測試與人審仍是最後保險。
暫時性錯誤可重試;資料破壞、權限不足、規格衝突應停下通知人。
PoC 可用 LangGraph、CrewAI、AutoGen 等;高度客製與資安需求可能要自建核心層。
不要先追最炫框架,先列出你的風險:資料、權限、可驗證性、可恢復性。
以下用「Excel 掃描 Critical Issues → 通知 / HTML / 電子郵件 報告」當例子,讓工程師更容易連到實務。
| Harness 模組 | 在 PM Agent 中的落地方式 | 沒有做會發生什麼事 |
|---|---|---|
| 初始化 | 啟動時檢查 .env、通知服務 代元、SMTP、資料夾路徑、output 目錄。 | 機器人看起來有執行,但按鈕沒有反應或寄信失敗。 |
| 工具註冊 | 把 Excel Scanner、HTML Report、Mail Sender、Notification Reply 分成清楚函式。 | 程式碼混在一起,修一個功能壞三個功能。 |
| 上下文管理 | 只抽取 Critical xxx open、紅藍字、分類關鍵字與 Project Name,不把整份 Excel 全塞進報告。 | 輸出過長、通知訊息爆字數、分類不準。 |
| 驗證 | 確認搜尋欄位、字色、分類、Project Name 對應正確,再產生 HTML。 | 代理 說成功,但結果其實漏掉或重複。 |
| 錯誤恢復 | 檔案讀不到、Excel 格式異常、SMTP 失敗時,回傳清楚錯誤與 備援 HTML。 | 只看到 SyntaxError 或卡住,不知道問題在哪。 |
| 可觀測性 | 記錄掃描了幾個檔案、幾張 sheet、命中幾筆、寄信 messageId。 | 無法判斷 代理 到底有沒有真的工作。 |
適合 SIE / ME / RF / Thermal / PM 一起上課,用共同案例理解 代理 不是聊天機器人,而是工程系統。
模型越強,能做的事越多,反而更需要邊界、驗證與觀測。企業流程中,成功率、可追蹤性與安全性通常比單次回答漂亮更重要。
提示詞 只是 Harness 的一小部分。真正的 代理 還需要工具、狀態、錯誤處理、資料檢索、權限與測試。
高風險任務要讓 代理 對照原始規格、測試案例、資料庫結果或人工審核,而不是只讓它說「我覺得 OK」。
資料越多不一定越好。太多雜訊會讓模型忽略中間資訊,也會增加成本與錯誤率。
點選答案後會立即顯示結果,可在課堂最後使用。
列印版備註:建議搭配實際專案流程圖與現有 代理 紀錄 做課堂討論。