Renato Marinho

觀察自主 Agent 執行一連串任務，就像看著黑盒子在另一個房間裡試圖解開一個謎題。你能看到最終結果，但中間過程——推理、失敗，以及它意識到計畫毫無用處的那個關鍵時刻——卻埋藏在數千行非結構化日誌之中。

如果你曾部署過 Agentic 工作流程，卻在一小時後回來查看，發現它已經陷入「我犯了一個錯誤……讓我再試一次」的高延遲迴圈長達四十分鐘，你就知道那種痛苦。你遇到的不是單純的失敗，而是昂貴且靜默的重複。

目前 LLM 可觀測性的問題在於，我們過度關注輸入與輸出（也就是追蹤），卻沒有足夠重視 Agent 本身的內部狀態轉換。我們需要量化 Agent 實際自我修正的頻率，而非只是原地打轉。

我最近開始使用一款專為解決此可見性缺口而設計的工具：Agent Self-Reflection & Sentiment Scanner。

Agentic 迴圈中的可觀測性缺口

當我們談論「Agent」時，通常指的是「觀察、思考、行動、重複」這個迴圈。在理想的世界中，「思考」步驟會包含自我修正。如果一個動作失敗（例如 API 回傳 403 錯誤），Agent 應該反思這個失敗，並調整下一個動作。

但你如何衡量 Agent 在一次工作階段中是否真的在進步？你要如何區分「自信地前進」與「持續處於修正狀態」的 Agent？

你不能只看最終的成功／失敗狀態。你需要從執行日誌中解析出確定的標記。

為什麼確定性比對優於基於 LLM 的分析

一個誘人的做法是把 Agent 日誌餵給另一個更大的 LLM，並問它：「這個 Agent 正在掙扎嗎？」

不要這麼做。這是多餘的、緩慢的，而且如果你正在執行高量級迴圈，成本會吃掉你的利潤。你已經為主要的推理引擎付費了，不要再付第二次費用來審計它的日誌。

Agent Self-Reflection & Sentiment Scanner 採用更務實、以工程師為中心的方法。它使用逐字比對來識別執行日誌中預先定義的錯誤辨識詞句與成功標記。

它會尋找如「I made a mistake」或「Let me try again」這類錯誤／修正指標，並與「The task is complete」這類成功指標進行比對。透過這種方式，它可以計算每次執行迴圈的自我修正頻率。這讓你得到一個硬性指標：如果你的修正率超過某個門檻，代表你的 Agent 不是在「思考」，而是在「打轉」。

工具集：情緒與反思

這套 MCP 伺服器提供了兩項主要工具，讓你能把原始文字轉換成可操作的遙測資料：

  1. analyze_sentiment：這不只是判斷日誌是「開心」還是「難過」。在 Agent 的情境中，它是用來偵測執行語氣中的挫折或偏移。如果日誌的情緒在複雜任務進行中開始趨向負面，就表示你的工具呼叫邏輯可能出了問題。

  2. detect_reflection：這是用來尋找內部思考過程的地方。它會辨識 Agent 表達內在想法或感受的時刻——也就是迴圈中經常在標準 API 追蹤中遺失的「推理」部分。

結合這兩項工具，你可以判斷 Agent 的當前狀態是「修正中」還是「進行中」。這讓你能建構更複雜的監控儀表板。想像一個 Grafana 面板，其中一個顯示 Agent 成功率，另一個則即時顯示「自我修正頻率」。

實作現實

你可以將任何 Agent 執行迴圈的原始日誌文字傳入這些工具。不論你使用的是 LangChain、CrewAI，還是你上週自行撰寫的自訂實作，只要有日誌，就有分析的機會。

如果你正在建構生產級系統，而 Agent 會存取敏感資料——例如 Salesforce CRM 或 WhatsApp Business——你就不能讓它們在黑暗中不受控地運行。你需要從一開始就在基礎架構中內建這些緊急停止機制與監控層。

在 Vinkius，我們將所有 MCP 伺服器建置在隔離的 V8 沙箱中，並搭配嚴格的治理政策（DLP、SSRG 防護等），因為當你給予 Agent 寫入你生態系統的權限時，安全性絕不能是事後才想的。這款掃描器也不例外；它是為高可靠性環境打造的，目標不只是「讓它運作」，而是讓它可觀測且安全。

結語

如果你厭倦盯著終端機裡一整面文字，卻不知道為什麼 Agent 已經跑了 15 分鐘，那就開始把日誌當成資料來處理。使用能量化 Agent 認知負荷與錯誤率的工具。

原型與生產級 AI 的差別，在於可觀測性。

你可以在這裡找到完整實作細節並取得連線權杖：https://vinkius.com/mcp/agent-self-reflection-sentiment-scanner

MCP 是 AI Agent 的音樂。我們打造了目錄。探索 Vinkius MCP Catalog。