即时工程的突破｜LangChain 探索语义相似性的新领域

type

status

slug

summary

date

我目前是@ HumanFirst的首席布道者。我探索并撰写人工智能与语言交叉点的所有事物；范围包括LLM、聊天机器人、语音机器人、开发框架、以数据为中心的潜在空间等。

LangChain正在四个关键方面进行拓展：

1️⃣ Flowise和LangFlow中的两个无代码到低代码流程构建器已经出现，用于构建基于 LLM 的流程

最初，这些流程构建器看起来很抽象，但Flowise和LangFlow都有许多模板和预设可供使用。构建基于 LLM 的流程是提示链的逻辑扩展。

2️⃣ LangChain将众多研究论文落地；特别是在即时工程和自主代理领域

3️⃣ 关于 LLM 生成应用程序堆栈，普遍存在远离微调 LLM 的趋势

人们越来越关注语义相似性、能够观察、检查和精细管理提示。

准备好上下文相关的参考数据，以便在推理时的正确时间向LLM呈现。上下文数据可以通过三种方式呈现：提示管道、嵌入或向量存储。如下图所示，从LangFlow界面可以看出，向量存储的存在正在不断增长。

4️⃣ LLM 管理由🦜🛠️LangSmith 负责解决

LangSmith不是流程构建构建器或提示链设计器，目前不会取代Flowise和LangFlow等任何应用程序流程构建器。

目前，LangSmith并不像ChainForge或Flux那样专注于即时性能本身。

LangSmith 不会大规模比较提示并协助提示管理。朗史密斯确实有一个可以进行实验的游乐场；该 Playground 目前仅适用于 OpenAI。

LangSmith 旨在量化 LLM 表现，优化单个或多个 LLM 交互。LangSmith 对于LLM之间的迁移也很有用。

LangSmith 正在开创一个LLM 成为一种实用工具的时代，而生成式应用程序则成为基于多个LLM 的时代。Gen-Apps 根据成本、性能和延迟在 LLM 之间迁移。

通过使用 LangChain 代码中的标签，将指标从 LangChain 应用程序记录到 LangSmith。

LangSmith 提供了关键指标，例如运行计数、延迟（P50、P99）和每个应用程序调用的令牌使用情况。

LLM 应用程序数据（链对话、提示等）可以在 LangSmith 内存储、编辑、重新运行和管理。

Inevitable AI