周四，Anthropic 发布了 reflection，一项允许用户跟踪和回顾 Claude 活动的新功能。该功能目前以 Beta 版形式向已开启记忆功能的 Free、Pro 和 Max 用户开放，其设计目的是帮助用户“反思自己如何使用 Claude”，Anthropic 表示。

但工程主管对该功能能否提供真正有意义的洞察持怀疑态度，有人担心这项本意是帮助用户更审慎地使用 AI 的功能，最终可能让用户更加依赖 AI 的建议和指导。

GoGloby 联合创始人兼 CTO Sergey Matikaynen 告诉 The New Stack：“一个让你思考使用情况的工具，并不能改善你的判断力。”

Reflection 跟踪使用情况，而非开发者真正想要的内容

在 reflection 仪表盘中，Claude 用户可以查看过去 1、3、6 或 12 个月的活动。高层级摘要概述了用户最常使用 Claude 的场景，包括关键主题和使用模式。

该功能甚至会突出显示人们使用 Claude 的具体示例，“比如注意到你经常用自己的语气重写邮件草稿，或者在自己确定策略后再委派任务”，Anthropic 解释道。

但一些人认为，Anthropic 所宣称的“反思并优化如何使用 Claude”的功能，未能提供足够的深度来实现真正的分析或改进。

“一个让你思考使用情况的工具，并不能改善你的判断力。”

例如，当被问及 reflection 式的用量仪表盘是否能帮助开发者更好地决定何时使用 AI 时，Traversal 联合创始人兼 CEO、哥伦比亚大学助理教授 Anish Agarwal 告诉 The New Stack，他看到了潜力，但不认为 Anthropic 的版本捕捉到了正确的信号：

“知道我 80% 的编码工作使用了 AI，并不会改变我的工作方式。”

他希望的是一个能将编码行为与生产结果关联起来的系统，以帮助回答诸如“哪些 AI 生成的变更导致了事故？哪些需要大量人工审核？工程师们花了数小时调试那些几秒钟就接受的代码？”等问题。这对 需要更好信号来评估 AI 对工程结果影响的新管理型工程师 来说，是一个日益严重的问题。

Matikaynen 与 Agarwal 同样对 AI 使用洞察感兴趣，但也认为 reflection 本身层级过高，无法提供实际帮助。他呼吁提供更注重结果的洞察，例如捕获审核 AI 辅助的拉取请求所需的时间等信号。

“如果它们基于交付信号而非参与度信号，”他说，那么跟踪指标就更有可能帮助开发人员和其他用户决定是选择 AI 还是人工工作。但在他看来，Anthropic 目前提供的功能还不够：

“这只是活动计数，与该活动是否产生了值得交付的东西毫无关系。”

决定何时使用 AI 需要 AI 所不具备的上下文

Anthropic 表示，reflection 的设计源于对 Claude 用户的 访谈，这些访谈显示用户希望更好地了解如何使用 AI。具体而言，Anthropic 希望新功能能帮助用户回答“一个人应该多久使用一次 AI？”以及“什么时候适合用 AI 完成任务，什么时候更适合交给人类？”等问题。

为此，reflection 不仅仅总结使用情况；它还提供如何更有效地使用 Claude 的建议，“比如启动一个 Project，而不是每次都需要重新解释正在进行的工作的上下文”，Anthropic 表示。

但工程主管表示，回答这些问题并决定何时以及如何将工作委派给 AI，不应由任何供应商或系统来决定。

当被问及此类指导应来自何处时，Veracode 联合创始人兼首席安全布道师 Chris Wysopal 告诉 The New Stack：“AI 供应商应该解释其模型的优势和局限性，但不应成为何时使用 AI 的最终权威。”他表示，该决定应由组织自身的工程和安全领导者制定，并由独立的治理层执行。

此外，Agarwal 指出，像 Claude 这样的 AI 工具实际上无法帮助用户做出关于 AI 使用的决策，因为它们缺乏做出细微评估所需的更大上下文和组织知识：

“模型只知道你与它进行的对话，”他解释说——这与工程组织多年的生产历史、架构知识和事件数据相比只是沧海一粟。“这些才是应该决定 AI 在哪里适用、哪里仍需要人类判断的信号，”他说。

用 AI 来判断 AI 使用的风险

此外，让 AI 工具提示用户考虑是否应该将任务交给 AI 还是依赖人类思考，也存在讽刺之处。

“他们的（Anthropic 的）商业模式依赖于使用量的增加，而从从增加使用中获利的主体那里得到的克制指导，总是会比实际情况所需的更温和，”Sergey 指出。

请注意，reflection 仪表盘本身并不会明确告诉用户是否应该使用 Claude。相反，正如 Anthropic 所描述的，该功能“邀请你退一步审视 Claude 所扮演的角色”，偶尔会提出诸如“你想自己继续做哪一件事，即使 Claude 可以更快完成？”等问题，并提供与 Claude 讨论该决定的机会。

但 Agarwal 同意，Anthropic 有明显的动机让用户持续使用 Claude，这引发了一个问题：与 AI 工具讨论 AI 使用情况是否有帮助？

更令人担忧的是，他警告称，用户最终可能会为了参与度而优化，而不是工程质量。如果 reflection 仪表盘变成另一组需要监控和可能优化的数字，它可能会进一步引导用户偏离真正的工程目标。

YOUTUBE.COM/THENEWSTACK

科技发展迅速，不要错过任何一集。订阅我们的 YouTube 频道，观看我们所有的播客、访谈、演示等更多内容。

Group Created with Sketch.