Renato Marinho

观察一个自主智能体运行任务循环，就像在另一个房间观察一个黑盒子在解谜题。你能看到最终结果，但中间部分——推理、失败，以及它意识到计划很糟糕的那一刻——却埋藏在数千行非结构化日志中。

如果你曾部署过智能体工作流，结果一小时后检查却发现它一直在高延迟的“我犯了个错误……让我再试一次”循环中卡了四十分钟，你就知道这种痛苦。你没有遇到失败，而是遇到了昂贵的、无声的重复。

当前大语言模型可观测性的问题在于，我们过于关注输入和输出（即追踪），而对智能体自身的内部状态转换关注不足。我们需要量化智能体实际自我纠正的频率，而不仅仅是原地打转。

我最近开始使用一个专门针对这种可视化缺口的工具：智能体自我反思与情感扫描器。

智能体循环中的可观测性差距

当我们谈论“智能体”时，通常指的是一个循环：观察、思考、行动、重复。在理想情况下，“思考”步骤包含自我纠正。如果一个动作失败（例如，来自 API 的 403 错误），智能体应该反思该失败并调整下一步操作。

但是，你如何衡量智能体在会话期间是否真的在变好？你如何区分一个“自信地继续”的智能体与一个处于不断“纠正”状态的智能体？

你不能只看最终的成功/失败状态。你需要从执行日志中解析确定性标记。

为什么确定性匹配优于基于大语言模型的分析

这里的诱惑是将智能体日志输入到另一个更大的大语言模型中，并询问“这个智能体是否在挣扎？”

不要这样做。这多余、缓慢，而且如果你运行高容量循环，成本会吞噬你的利润。你已经为主要的推理引擎付费了；不要为了审计其日志而再次付费。

智能体自我反思与情感扫描器采用更务实、以工程师为中心的方法。它使用精确的字符对字符比较来识别执行日志中预定义的错误识别短语和成功标记。

它查找诸如“我犯了个错误”或“让我再试一次”（错误/纠正指示符）之类的字符串，并将其与诸如“任务已完成”（成功指示符）之类的标记匹配。通过这样做，它可以计算每个执行循环的自我纠正频率率。这为你提供了一个硬指标：如果你的纠正率飙升超过某个阈值，那么你的智能体不是在“思考”，而是在循环。

工具集：情感与反思

该 MCP 服务器公开了两个主要工具，允许你将原始文本转化为可操作的遥测数据：

  1. analyze_sentiment：这不仅仅是关于日志是“高兴”还是“悲伤”。在智能体上下文中，它是关于检测执行语调中的挫败感或漂移。如果你的日志情感在执行复杂任务时开始向负面趋势发展，你就有一个信号表明你的工具调用逻辑可能正在失败。

  2. detect_reflection：这是我们寻找内部思考过程的地方。它识别智能体表达内部想法或感受的实例——循环中经常在标准 API 追踪中丢失的“推理”部分。

通过结合这些，你可以确定智能体当前状态是“纠正”还是“继续”。这允许你构建更复杂的监控仪表板。想象一个 Grafana 面板，一个显示你的智能体成功率，另一个实时显示“自我纠正频率”。

实施现实

你可以将来自任何智能体执行循环的原始日志文本传递给这些工具。无论你使用的是 LangChain、CrewAI，还是你上周编写的自定义实现，它都不在乎。只要有日志，就有分析的机会。

如果你正在构建生产级系统，其中智能体可以访问敏感数据——如 Salesforce CRM 或 WhatsApp Business——你不能让它们在黑暗中不受检查地运行。你需要从第一天起就将这些紧急停止开关和监控层构建到你的基础设施中。

在 Vinkius，我们在带有严格治理策略（DLP、SSRG 预防等）的隔离 V8 沙箱中构建所有 MCP 服务器，因为当你授予智能体对你生态系统的写入访问权限时，安全不能事后考虑。这个扫描器也不例外；它是为高可靠性环境构建的，其目标不仅仅是“让它工作”，而是让它可观测且安全。

最终想法

如果你厌倦了在终端中看着一堵文字墙，并想知道为什么一个智能体已经运行了 15 分钟，那么开始将你的日志视为数据。使用允许你量化智能体认知负载和错误率的工具。

原型与生产级人工智能之间的区别在于可观测性。

你可以在此处找到完整的实施细节并获取连接令牌：https://vinkius.com/mcp/agent-self-reflection-sentiment-scanner

MCP 是人工智能智能体的音乐。我们构建了目录。探索 Vinkius MCP 目录。