LangSmith｜AI语言链代理检查的终极解决方案

type

status

slug

summary

date

使用🦜🛠️LangSmith检查LangChain代理

尽管 LangChain 已经消除了创建基于 LLM 的生成式应用程序的许多障碍，但将应用程序从原型转向生产仍然看似困难。LangChain 认为应用程序性能是最大的障碍。LangSmith 致力于缩小原型与生产之间的差距。

正如您将在下面的实际代码示例中看到的，LangSmith关闭了调试、测试、评估和监控之间的循环。

LangSmith 帮助您深入了解模板格式化后发送给 LLM 的提示是什么样子。

Agent遵循的顺序以及Agent如何在工具之间轮换都被一步步分解并且可以检查。

代理遵循的顺序是可见的，可以跟踪每次代理迭代所使用的令牌和成本。

下面您将看到对代理的单个调用如何分解为代理遵循的所有步骤以及所使用的工具。随着LLM的输入和输出一路走来。

注意代理跟踪中如何给出令牌和延迟；以及如何在显示相关数据的情况下从一个节点导航到另一个节点。

LangSmith代理视图

下面的代码块是一个简单而完整的示例，说明如何创建 LangChain 代理，以及如何将 LangSmith跟踪调用合并到代码中。

下面代码中的最后四行设置：

追寻真实、定义端点、项目 API 密钥和LangSmith项目名称。

下面为代理加载了工具：

搜索引擎API、LLM Math，以及LLM。

并且代理被初始化：

以下是向代理人提出的问题：

What is the square root of the hight in metres of what is commonly considered as the highest mountain on earth?

运行带有问题的代理的代码：

代理返回的答案：

The square root of the height in meters of Mount Everest is approximately 94.07.

以下是完整的代理回复：

下图中可见五个项目，通过代码中的项目名称访问特定项目：LANGCHAIN_PROJECT.

Agent_1对于我们的测试，所有代理运行都通过以下方式记录到项目中os.environ[“LANGCHAIN_PROJECT”]=”Agent_1"：

在下面的视图中，您可以看到代理已运行13 次，已使用6,349 个令牌，并且可以看到P50和P99延迟。

单击更深一层进入项目Agent_1，此处可以看到各个运行；成功和失败。包含代理类型和代理描述。

下面的视图是我非常喜欢的视图，因为它逐条分解代理的行为，显示每个步骤中使用的工具。

例如，在选择的“搜索”步骤下方，使用 SerpApi 时使用了零个令牌，并且此步骤花费了 3.13 秒。

单击工具搜索，可以看到该工具的输入和输出。

透明度是根据代理的行为引入的。哪些请求调用哪些工具一目了然，特别是在代理拥有大量工具的情况下。

每个工具花费的时间和令牌（成本）是可见的。并且可以在工具级别上优化代理。

如下所示，所使用的提示模板在LangSmith中可见，并且可以在提交 LLM 之前深入了解提示模板的构成方式或模板的最终版本。

作者：cobbs grayling