tsuijinglei

@dsw0719
很多非 AI 企业现在最大的疑惑就是 AI 到底有没有用；

论证有没有用的一种比较好的方式，就是给硬条件相同的两波人，一波 A 组用 AI 工具，一波 B 组不用任何工具，观测两组人的效率变化；这就是 ABtest ，我所谓的相对严谨，就是分组方法、观测方法，结果回收方法，都按照比较严格的口径来算；

假设 ABtest 完成，发现用 AI 的 A 组效率确实比 B 组高了，那么如果 AI 工具给到 B 组用，A 组再停用，数据应当是 B 组效率提高，A 组回落到正常水平，这种调换，就叫反转实验，用于充分论证实验结果的方法；

AB 实验、反转实验，都是 C 端策略产品比较熟悉的试验方法；
你看是否有解答你的疑惑

这不是银行柜员的日常吗，习惯就好

很不错了

@Clannad0708

评估分为两个视角

首先是性能、成本方面，也就是你说的上下文处理效率，从用户发起一个请求，经过几个环节的 prompt 注入，最后得到一个结果，这中间每一个环节都需要有个留痕，通过 traceid 串起来；

有了这个基础设施之后，我基于目标的 userstory 所对应的场景，每个场景准备 n 个场景的用户 query ，保证 query 覆盖面在实际场景中能占到 70%左右；用这些 query 做端到端的观测，看上下文、skill 、思考过程中有没有什么多余的动作，这些多余的动作有没有额外的 token 消耗；

如果识别到了这种多余的动作或者异常的 token 消耗，就会走一套比较严谨的消融实验来论证要不要优化某个环节的设计；

其次是业务效果方面也会分两块，首先是客观效果，这块其实是关心业务目标，然后基于业务目标，拆解成一套可以刻画业务目标的评估维度，围绕着维度，mock 了一套测试集，定义好输入输出，因为我是销售 agent 场景,你可以理解为长得像这套 salesforce 定义的一套 benchmark,https://huggingface.co/datasets/Salesforce/CRMArena/viewer
通过这套 benchmark ，我们能够定义 agent 出厂的质量；

而主观的质量就要通过缓慢的灰度发布来一步步的和用户磨合了,每周多开一批用户，设定一个灰度预期，然后与用户泡在一起使用，看看有没有没想到的问题,直至推全；好的 agent 产品是规划不出来的；

@shyrock2026

用户五位数，因为是服务销售人员，销售人员大概一万多人吧；
覆盖的客户就多了，日均处理时百万级；所以 token 消耗大

这个好，正好在找

牛逼牛逼！太好用了

@Sawyerhou 核心逻辑是不能追，因为 PTA 主要挂钩原油价格，不跟随情绪，涨的也有限。能追的也不敢说，只能提供客观的一些信息收集结果，能不能追还是得大家自己判断。

建议有个动物形象，会更容易植入概念一些，比如：
小喜鹳
或者埋一个伏笔，让人在打开小程序后，看到 solgan 能够觉得：妙啊
比如
小蚯蚓：用心一也。