課程教材
HTML 培訓
內容分析

Harness Engineering:讓 Agent 穩定工作的系統設計

依主題研究整理成課程大綱、核心概念與重點分析。

主題研究教材|繁體中文與英文工具名

Harness Engineering:讓 Agent 穩定工作的系統設計

本教材聚焦 執行框架工程:如何把工具、文件、評分、回饋與品質閘門包成一套讓 代理 穩定工作的系統。

7主要大綱
2研究資料
7教學卡片
0外部素材
1

課程大綱

執行框架 是什麼

執行框架 不是更長的 提示詞,而是包在模型外面的工作系統:它提供工具、記憶、限制、回饋與檢查,讓 代理 能穩定完成任務。

執行框架Agent 系統工作流程

為什麼不是只做 Prompt Engineering

提示詞 只能告訴模型要做什麼;執行框架 會把任務拆解、工具使用、狀態觀測與錯誤修正放進流程。

提示詞背景 上下文回饋迴圈

執行框架 的核心組件

一個實用 執行框架 通常包含 規劃器、工具、記憶、評估器、品質關卡 與 迭代循環。

規劃者工具評估者

OpenAI 的重點:讓 Codex 看得懂系統

OpenAI 的 執行框架工程 文章強調 代理可理解性:把文件、工具、紀錄、指標、測試與架構規則放到 Codex 可讀的位置。

CodexAgent 可讀性權威紀錄系統

Anthropic 的重點:產生器 與 評估器 分工

Anthropic 的案例說明,讓同一個 代理 自己判斷自己常會太寬鬆;把生成與評分分開,回饋會更有效。

產生器評估者品質

AutoHarness 的啟發:小模型也能靠系統變強

AutoHarness 論文指出,小模型可透過迭代回饋自動合成 程式碼 執行框架,避免非法動作,甚至在某些任務超過更大的模型。

AutoHarness程式執行框架政策

實務上可以怎麼導入

先從高頻流程做 執行框架,不要一開始做大平台;教材產線、PR 審核、問題分流 都適合先做。

學習流程Agent 工作流程原型
2

執行框架 工作系統閉環

執行框架 是什麼執行框架 不是更長的 提示詞,而是包在模型外面的工作系統:它提供工具、記憶、限制、回饋與檢查,讓 代理 能穩定完成任務。
為什麼不是只做 Prompt Engineering提示詞 只能告訴模型要做什麼;執行框架 會把任務拆解、工具使用、狀態觀測與錯誤修正放進流程。
執行框架 的核心組件一個實用 執行框架 通常包含 規劃器、工具、記憶、評估器、品質關卡 與 迭代循環。
OpenAI 的重點:讓 Codex 看得懂系統OpenAI 的 執行框架工程 文章強調 代理可理解性:把文件、工具、紀錄、指標、測試與架構規則放到 Codex 可讀的位置。
Anthropic 的重點:產生器 與 評估器 分工Anthropic 的案例說明,讓同一個 代理 自己判斷自己常會太寬鬆;把生成與評分分開,回饋會更有效。
閱讀方式:先看 執行框架 如何把任務環境化,再看 規劃器、工具、評估器 與 品質關卡 如何形成可迭代流程。
3

核心概念與名詞解釋

執行框架 是什麼
執行框架 不是更長的 提示詞,而是包在模型外面的工作系統:它提供工具、記憶、限制、回饋與檢查,讓 代理 能穩定完成任務。
核心概念
  • 提示詞 解決「怎麼問」;上下文 解決「給什麼資料」;執行框架 解決「代理 在什麼環境裡做事」。
  • OpenAI 的案例把重點放在環境、規則、工具與回饋迴圈,而不是只靠模型自己變聰明。
  • 對工程團隊來說,執行框架 就是把工作流程系統化,讓 代理 有路徑、有工具、有界線。
教學提示:可以把 執行框架 想成工程師旁邊的一整套工作台:文件、工具、測試、紀錄、審核 規則都準備好,代理 才能做穩。
為什麼不是只做 Prompt Engineering
提示詞 只能告訴模型要做什麼;執行框架 會把任務拆解、工具使用、狀態觀測與錯誤修正放進流程。
核心概念
  • OpenAI 提到,人類工程師的角色變成設計環境、指定意圖、建立 回饋循環,讓 Codex agents 能可靠工作。
  • Anthropic 的 執行框架設計 也強調 產生器 與 評估器 分工,讓一個 代理 做事,另一個 代理 更嚴格地評分與回饋。
  • 這代表 AI 工程的重點從「寫好一句話」升級成「設計一個會自我修正的工作系統」。
教學提示:同一句需求,如果沒有工具與檢查,代理 可能只產出漂亮草稿;有 執行框架,代理 會跑測試、看錯誤、改到通過。
執行框架 的核心組件
一個實用 執行框架 通常包含 規劃器、工具、記憶、評估器、品質關卡 與 迭代循環。
核心概念
  • 規劃器:先拆任務與定義完成條件,避免 代理 一開始就亂做。
  • 工具:讓 代理 能讀檔、跑測試、查 紀錄、操作瀏覽器或呼叫 API。
  • 評估器:用標準檢查結果,並把具體問題回饋給 產生器。
教學提示:做 Michael AI Agent Lab 教材時,規劃器 定義章節,工具 抓來源與官方資料,評估器 檢查繁體、手機版、個人品牌標記 與內容是否重複。
OpenAI 的重點:讓 Codex 看得懂系統
OpenAI 的 執行框架工程 文章強調 代理可理解性:把文件、工具、紀錄、指標、測試與架構規則放到 Codex 可讀的位置。
核心概念
  • OpenAI 提到 儲存庫知識 要成為 權威紀錄來源,AGENTS.md 更像目錄,不是一本塞滿規則的大百科。
  • 把 紀錄、指標、瀏覽器狀態、測試結果暴露給 Codex,能讓 Codex 自己觀察、修正、再驗證。
  • 人類的 美感判斷、審核意見 與 錯誤回饋 應持續回寫成文件、工具或檢查規則。
教學提示:對實務團隊 來說,不是每次口頭提醒 代理,而是把教材規則、產品資料、版型要求與檢查腳本放在 Codex 找得到的位置。
Anthropic 的重點:產生器 與 評估器 分工
Anthropic 的案例說明,讓同一個 代理 自己判斷自己常會太寬鬆;把生成與評分分開,回饋會更有效。
核心概念
  • 評估器 要有明確評分標準,例如設計品質、功能、可用性、程式碼品質。
  • 評估器 可以實際操作頁面、看結果、寫出具體 具體評語,再讓 產生器 迭代。
  • 這個模式適合用在 HTML 教材、前端 介面、測試修正、客戶文件等需要品質判斷的任務。
教學提示:內容輸出 代理 產 HTML 後,不應只看是否有檔案;還要有 評估器 檢查手機可讀、內容不重複、沒有禁用字。
AutoHarness 的啟發:小模型也能靠系統變強
AutoHarness 論文指出,小模型可透過迭代回饋自動合成 程式碼 執行框架,避免非法動作,甚至在某些任務超過更大的模型。
核心概念
  • 論文摘要提到,Gemini-2.5-Flash 的許多失敗來自非法動作;執行框架 能把外部規則變成可執行防護。
  • 重點不是模型本身最大,而是能否把環境規則、限制與修正流程寫成 程式碼 或 政策。
  • 這對本地 代理 很重要:本地模型不一定最強,但如果 執行框架 設計好,仍可在特定任務上穩定輸出。
教學提示:內容輸出 代理 不必靠最強模型硬猜,只要有來源取得、官方資料查詢、個人教學頁 renderer、品質閘門與回饋機制,就能穩定產教材。
實務上可以怎麼導入
先從高頻流程做 執行框架,不要一開始做大平台;教材產線、PR 審核、問題分流 都適合先做。
核心概念
  • 教材 執行框架:來源理解、官方資料補充、個人教學 HTML、手機預覽、寄信確認。
  • 工程 執行框架:讀 AGENTS.md、跑測試、查 紀錄、輸出風險與修正建議。
  • 客戶問題 執行框架:分類 問題、補上下文、比對既有案例、產出可追蹤 行動項目。
教學提示:第一版先把內容輸出 代理 做成完整 執行框架:產出後由你確認,確認過的修正再回寫成下一版規則。
4

系統閉環重點

環境比提示更重要

提示詞 只能描述需求;執行框架 會把工具、規則、文件、紀錄、測試與回饋變成 代理 能持續使用的環境。

內容重點研究依據

產生器 與 評估器 分工

一個 代理 負責產出,另一個 代理 依標準檢查結果並給具體 具體評語,比自我評分更容易收斂品質。

內容重點研究依據

把規則寫成可執行防護

AutoHarness 的啟發是:限制與規則不要只寫在說明裡,能變成 程式碼、政策 或 品質關卡 就更穩。

內容重點研究依據
5

實務導入方式

教材 執行框架

落地:來源理解、官方資料補充、個人教學 HTML、手機預覽、禁用字檢查、確認與寄信流程形成閉環。

工程 執行框架

落地:讀 AGENTS.md、跑測試、查 紀錄、開瀏覽器驗證、輸出風險與修正建議,讓 Codex 能自己觀察與修正。

客戶問題 執行框架

落地:把 問題分流、相似案例、產品資料、負責人、行動項目 與回覆草稿串成可重複流程。

6

一頁式重點

本課重點整理

  • 執行框架 是什麼:執行框架 不是更長的 提示詞,而是包在模型外面的工作系統:它提供工具、記憶、限制、回饋與檢查,讓 代理 能穩定完成任務。
  • 為什麼不是只做 Prompt Engineering:提示詞 只能告訴模型要做什麼;執行框架 會把任務拆解、工具使用、狀態觀測與錯誤修正放進流程。
  • 執行框架 的核心組件:一個實用 執行框架 通常包含 規劃器、工具、記憶、評估器、品質關卡 與 迭代循環。
  • OpenAI 的重點:讓 Codex 看得懂系統:OpenAI 的 執行框架工程 文章強調 代理可理解性:把文件、工具、紀錄、指標、測試與架構規則放到 Codex 可讀的位置。
  • Anthropic 的重點:產生器 與 評估器 分工:Anthropic 的案例說明,讓同一個 代理 自己判斷自己常會太寬鬆;把生成與評分分開,回饋會更有效。
  • AutoHarness 的啟發:小模型也能靠系統變強:AutoHarness 論文指出,小模型可透過迭代回饋自動合成 程式碼 執行框架,避免非法動作,甚至在某些任務超過更大的模型。
注意:專有名詞、數字與版本資訊應以官方文件或使用者補充資料為準。