关键字: [亚马逊云科技， OpenTelemetry， 可观测性解决方案， Ai应用落地， 模型性能指标， 响应时间追踪， 生产优化分析]

在这场演讲中，演讲者介绍了亚马逊云科技的可观测性解决方案如何助力AI应用落地。他阐述了AI应用面临的挑战，如随机性、可追踪性、评估和可扩展性等。演讲者重点介绍了亚马逊云科技的开源框架OpenTelemetry、Bedrock Agent和Strands Agent等，它们如何通过收集指标、追踪和日志来提高AI应用的可观测性，从而加快开发、部署和优化AI应用的过程，实现更好的客户体验和商业价值。最后，演讲者进行了一个基于亚马逊云科技小助手的演示，展示了可观测性解决方案在多Agent AI应用中的应用。

以下是小编为您整理的本次演讲的精华。

在当前人工智能(AI)应用程序日益普及的大趋势下，亚马逊云科技(亚马逊云科技)推出了一系列可观测性解决方案，旨在帮助企业更好地开发、部署和优化生成式AI应用程序。这些解决方案主要关注三个关键方面:指标收集、追踪和日志记录。

亚马逊云科技观察到，在AI应用程序开发过程中，客户面临着几大挑战。首先是随机性挑战，尽管基础模型不断迭代升级，但AI应用程序的输出结果仍存在一定的不可预测性。例如，对于同一个问题，AI可能会给出不同的答案，这就引出了第二个挑战:可追踪性。开发者需要追踪每个答案是如何产生的，以确定哪些答案是好的，哪些是不好的。

第三个挑战是评估。AI应用程序的效果评估往往是主观的，无法简单地判断对错，需要更合理的统计测量方式。比如，对于一些开放场景的应用，如角色扮演或客服，整个评估就是一个比较主观的事情，无法通过简单的对错来判断，而需要通过更合理的统计测量方式来评判AI的效果。

最后一个挑战是可扩展性。随着业务规模扩大，如何控制AI应用程序的平均成本也是一大挑战。这个成本与AI应用程序的类型有关，如果是自建的大型模型，则希望更多业务使用以降低平均成本;如果是调用API的SaaS应用，则成本会随用户量线性增长，需要分析成本以提高业务价值。

为了应对这些挑战，亚马逊云科技将AI应用程序开发过程分为三个阶段:技术验证、实施扩展和生产优化。在技术验证阶段，开发者可以关注模型性能指标，如回答的准确性、速度、是否容易出现幻觉等，选择最佳模型。同时，还需要追踪整个应用程序的响应时间和处理逻辑，优化流程。

在实施扩展阶段，当业务真正开展后，开发者需要从内测到全面推广，完成SLA承诺。如果在推广过程中发现客户反馈问题，可观测性解决方案有助于快速分析和定位问题。

在生产优化阶段，投入生产后，开发者希望获得更高的业务价值。可观测性数据有助于对成本和用户行为进行分析，留住客户。同时，如果发现客户反馈问题或有新的想法，可以通过A/B测试的方式获取指标，决定是否应该投入新的模型或流程。

亚马逊云科技可观测性解决方案主要包括以下几个层面:第一个层面是大模型提供商，如OpenAI、Anthropic等。亚马逊云科技提供了与其API集成的SDK，可方便收集每次调用的输入输出token数、延迟等指标。

第二个层面是框架，如Anthropic Chime、Nike RM等。亚马逊云科技也提供了相应的SDK，可追踪整个工作流程，包括不同模型和模块之间的调用关系。

第三个层面是GPU，亚马逊云科技可监控GPU的资源使用情况，以增加成本效益。

这些SDK遵循OpenTelemetry社区定义的规范，支持与亚马逊云科技服务如CloudWatch、X-Ray等无缝集成，实现可视化展示和分析。开发者可以在CloudWatch中看到组件之间的关系图，点开具体组件可查看其作为工作流的每个步骤，包括调用的模型、次数、耗时等，有助于定位瓶颈、优化延迟。

除了集成现有开源框架，亚马逊云科技还推出了自有的多Agent框架Bedrock Agent和Sagemaker Strands Agent。Bedrock Agent可在控制台直观展示每个Agent的交互过程，包括输入输出、耗时等，有助于理解和优化流程。

Sagemaker Strands Agent则提供SDK自动收集追踪和指标数据，开发者只需将数据导出到CloudWatch、X-Ray等服务进行可视化和分析。两种框架的优势互补，可满足不同场景需求。

最后，通过一个基于Sagemaker Strands Agent的亚马逊云科技小助手Demo，现场演示了如何利用可观测性解决方案追踪多Agent交互、调用大模型等过程，分析指标数据。该Demo使用了多Agent框架，包括一个主要的助手Agent和三个小Agent，分别负责亚马逊云科技文档搜索、成本分析和架构图设计。其中两个Agent使用了时下热门的MCP技术，体现了可观测性在新兴AI技术中的应用。

综上所述，亚马逊云科技的可观测性解决方案为AI应用程序开发提供了全方位的支持，有助于提高开发效率、优化性能和控制成本，加速AI应用程序的落地。通过指标收集、追踪和日志记录，开发者可以全面了解模型选择、流程优化、成本分析等各个环节，实现更好的客户体验，从而获得收益。这一系列解决方案充分展现了亚马逊云科技在AI时代的创新能力和决心，必将为企业数字化转型注入新的动力。

下面是一些演讲现场的精彩瞬间：

The solution professor Du Chenxi introduces the agenda for the day’s discussion.

所有开源项目都遵循 OpenTelemetry 社区定义的语音操作标准，可以轻松集成到现有可观测性框架中。

亚马逊云科技的可观测性解决方案为AI应用落地提供了强有力的支持。通过收集和分析AI应用的指标、追踪和日志数据，可观测性工具帮助开发者更好地理解模型性能、优化开发流程、监控资源使用情况，从而提高AI应用的可靠性、可扩展性和成本效益。亚马逊云科技与开源社区紧密合作，集成了多种可观测性框架，为开发者提供了灵活的选择。通过与亚马逊云科技服务的无缝集成，可观测性解决方案使AI应用的开发、部署和优化变得更加高效和可控。最终，可观测性有助于提升AI应用的客户体验，实现更大的业务价值。

亚马逊云科技的可观测性解决方案包括多个层面。首先，通过与开源框架如OpenTelemetry、OpenTracing等集成，开发者可以轻松收集AI应用的各种指标和追踪数据。其次，亚马逊云科技自身的AI框架如BedRock Agent和Strands Agent也内置了可观测性功能，让开发者可以直观地追踪多Agent系统的交互过程。最后，收集到的数据可以与亚马逊云科技的服务如CloudWatch、X-Ray等无缝集成，实现可视化分析和监控。

通过一个基于Strands Agent的亚马逊云科技小助手Demo，我们可以看到可观测性解决方案如何帮助开发者深入了解AI应用的内部运行情况，包括模型调用次数、延迟、输入输出等，从而优化应用性能和用户体验。总之，亚马逊云科技的可观测性解决方案为AI应用的落地提供了全方位的支持，助力企业充分释放AI的潜力。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。