Bruce Wong Blog

非凡的结果始于伟大的问题.

Microsoft Foundry可观测性-Red Team

Microsfot Foundry 系列(3)

一句话总结 评估质量只是第一步。发现那些你根本没想到要评估的盲区,才是 AI Agent 安全的生死线。 为什么需要红队测试? 你的 AI Agent 已经能: 理解用户意图 ✅ 调用外部工具 ✅ 执行多步骤任务 ✅ 但它是否也能: 被一句精心构造的提示词”越狱”?❓ 在诱导下执行被禁止的操作?❓ 泄露敏感数据给不该看到的人?❓ 传统 QA ...

Microsoft Foundry可观测性-Evaluation

Microsfot Foundry 系列(2)

Agent落地企业,Tracing解决”看清发生了什么”,Evaluation解决”判定做得对不对”——两者缺一不可。 最近在用 Microsoft Azure AI Foundry 做 Agent Evaluation,它的价值不只是打分,而是把评估变成了工程化的质量门禁: ✅ 评估对象灵活:Agent、Model、Dataset 都能测. ✅ 数据不愁:没有黄金数据集时,Fo...

Microsoft Foundry可观测性-Tracing

Microsfot Foundry 系列(1)

如果你在做企业级的AI Agent开发,那你一定无法避免的一个问题就是:可观测性。AI Agent的开发和传统的软件开发有很多相似之处,但也有一些独特的挑战: 不确定性 — 相同的输入, 不同的输出结果 多步骤推理 — 链条中的一个错误会导致整个过程失败 调用工具 — 即使参数正确,选择错误的工具仍然会失败 Microsoft Foundry作为一个专注于AI Agent开...

构建你自己的AI维护团队

Custom Agent(2)

上一篇我们已经介绍了Custom Agent从0到1构建系统的能力,今天我们继续介绍一下Custom Agent的维护能力。我们在实际使用,不可能一次性创建系统而不维护,所以AI开发Team的维护能力也是非常重要的。下面视频演示了使用同一套Custom Agent来进行系统的维护,来看看它是怎么做到的: 演示Custom Agent 维护系统 串行与并行 当然你可以看到上...

构建你自己的AI研发团队

Custom Agent(1)

Github Copilot提供Custom Agent已经有一段时间了。最近深度体验了一下,分享一下我的感受: 相比之前的单Agent更接近实际研发团队的协作效果。 根据业务需要定制你自己的专属Agent,构建自己的研发团队。 每个Agent可以绑定自己的相关Tools,角色更加专注,执行更稳定。 Agent之间的交接(Handoff)功能,让工作流更可控。 配合Ag...