继续上一篇,将后5个思考也做一个分享。
6.工程师在“无聊”的事情上花费大量时间:
工程师本应专注于构建流程、提升精度、扩展应用等创造业务价值的工作,但现实中却常常耗费时间在数据分块 (chunking) 策略、文本清洗、构建连接器、配置向量数据库、调整提示、管理基础设施等相对基础且耗时的工作上。应设法将这些工作自动化或平台化。
实践分享
- 有很多已存在的框架和工具可以帮助我们自动化这些工作。比如,使用 LangChain 等开源框架来处理数据分块和文本清洗。
- 使用Promptflow、LangSmith、LangGraph Studio等工具来进行大模型响应的跟踪与调试。
- 像Promptflow这类框架还可以用来进行模型效果的评估。
巧用已有的工具和框架可以大大减少工程师的常规工作量,让更多的时间和精力投入到更有价值的工作中。
7.让 AI 易于消费:
即使 AI 系统已部署到生产环境,如果没有被用户方便地使用,也无法产生价值。很多时候系统使用率为零。关键在于将 AI 集成到用户现有的工作流中。企业数据 + AI + 集成 = 成功。
实践分享
在没有找到一个惊艳的AI落地案例的之前,先考虑将AI融入到现有企业的工作流程中。或者只改进企业中的某一个小部分,但是需要确保它能被尽可能的用到。我们曾经有一个团队开发一个AI Sales bot,嵌入已有的企业网站,以网站的网页内容为知识库,回答浏览网站用户的所有问题。同时根据和用户对话的过程,判断时机推送相关展会的信息。促成最终的潜在销售可能。这类的AI功能容易被用户接受,且能在短时间内看到效果。
8.让你的用户“惊叹”(Wow):
要让 AI 应用产生粘性,需要尽快让用户体验到“惊艳”时刻。例如,帮助用户找到一个他们自己都不知道存在的、埋藏多年的重要文档并回答了关键问题。用户体验设计应围绕创造这种早期价值。
实践分享
还是上面的AI Sales bot的客户,在给他们的Boss演示Bot如何使用销售话术的过程中,他们惊讶的发现bot的回复中列举了一个数字,购买他们的某个产品能够节约20%的成本。而这个数字的依据是什么呢?当基于RAG的bot将答案以及关联文档一并返回的时候,他们看到了一个多年前的文档,这么好的一个销售点居然被他们忽略了。这个文档是一个多年前的客户反馈,里面提到过这个产品的使用案例和节约成本的数字。
9. 可观测性比准确率更重要:
达到 100% 准确率几乎不可能,90-95% 也许可以。但企业更关心的是那无法避免的 5-10% 的错误会带来什么影响以及如何处理。因此,可观测性,包括理解系统为何给出某个答案、提供溯源依据、建立审计追踪等,比单纯追求更高的准确率更重要,尤其是在受监管行业。
实践分享
- 不用追求100%的准确率,基于LLM的AI系统,用户目前对准确率都会有一个合理的预期,也不会将这类应用应用到对准确立很高的业务上。
- 使用Promptflow或者LangSmith这类Tracking 工具来追踪模型的输入和输出,帮助我们理解模型的行为。返回结果一定带有参考引用的文档信息,有理有据的给出答案,用户才能更加信任AI生成的内容。
10.要有雄心壮志:
很多 AI 项目失败往往不是因为目标太高,而是因为目标太低。不要满足于解决“401k 供应商是谁”这类简单问题,要敢于挑战能带来真正业务转型的难题。
实践分享
让你的AI有一个更高的远景目标,而不只是实现的那么一点点功能。
- 基于网站的AI Sales Bot,你可以理解他的主要功能和一个问答机器人几乎一样。但是如果我们定位这是一个数字员工,他能够和普通员工一样,目标是帮助销售团队提升业绩,帮助客户更好的了解产品。那么对于实现这样的目标,我们就有更多的想象空间了。
- 分析客户的角色,从而主动引导客户的需求。
- 了解客户的需求,主动推送相关的产品信息。
- 基于对话内容分析用户的情绪,主动推送合适的促销活动。
- 给学校开发的AI私人教师,如果你带着为了构建一个“教育平权”的理念,来构建一个可以7*24小时在线的,专业教师,永远都会不厌其烦的解释给你听的AI教师。你会发现要实现这个目标,你要做的事情会比你想象的多很多。例如:
- 你需要考虑如何让AI教师能够理解学生的情绪,如何让他能够和学生进行更自然的对话。
- 你需要考虑如何让AI教师能够根据学生的学习进度和兴趣来调整教学内容。
- 你需要考虑如何让AI教师能够和其他教师进行协作,例如共享教学资源、交流教学经验等。
- 你需要考虑如何让AI教师能够和家长进行沟通,例如定期发送学生的学习报告、提供学习建议等。
总结与思考
麦肯锡最新的一项研究显示,AI企业应用能够带来4.4万亿美元的全球经济附加值。而只有1/4的企业从中获益。这也体现了AI应用现阶段的巨大不确定性,虽然个人消费应用能够带来很多有趣的应用,而且也有企业已经获得利润,但是企业应用由于其严谨性和复杂性,仍然处于探索阶段。希望今天分享的这些内容能够给我们每个人一些启发。期待听到大家在各自企业中AI落地应用的经验分享。