在 Amazon Bedrock 中通过提示管理和提示流程预览简化生成式 AI 开发 机器学习博
优化亚马逊 Bedrock 中生成式 AI 开发的提示管理与提示流预览
作者:安东尼奥罗德里格斯Antonio Rodriguez和贾雷德迪恩Jared Dean于 2024 年 7 月 10 日发布

关键要点
新增“提示管理”和“提示流”功能,帮助开发者加速生成式 AI 应用的开发与管理。提供可视化的工作流创建和团队协作的工具,简化开发过程。通过优化提示生命周期,提高AI生成响应的质量和效率。今天,我们高兴地推出两个强大的新功能:提示管理Prompt Management和提示流Prompt Flows,目前处于公开预览阶段。这些功能旨在加速生成式人工智能AI应用的开发、测试和部署,使开发者和业务用户能够创建更高效且易于维护的解决方案。您可以通过亚马逊 Bedrock 控制台或亚马逊 Bedrock Studio 以图形化方式使用提示管理和提示流功能,或者通过亚马逊 Bedrock SDK API 以编程方式访问。
随着生成式 AI 的逐渐普及,许多组织在高效开发和管理提示方面面临挑战。此外,现代应用程序通常需要复杂的链式或路由逻辑,这增加了开发的复杂性。借助提示管理和提示流功能,亚马逊 Bedrock 针对这些痛点提供了直观的工具,用于设计和存储提示、创建复杂工作流,并增强团队成员之间的协作。
在介绍新功能的具体细节之前,让我们回顾一下生成式 AI 应用程序中提示的开发、管理和使用流程。
提示生命周期
为生成式 AI 应用程序开发有效的提示是一个迭代过程,需经过仔细设计、测试和完善。了解这一生命周期对于创建高质量、可靠的 AI 解决方案至关重要。以下是典型提示生命周期的关键阶段:
阶段说明提示设计初始阶段涉及构建有效地与基础模型沟通所需任务或查询的提示。提示通常作为包含变量、动态上下文或其他在推断时提供的内容的提示模板构建。测试与评估设计后,提示或提示模板会通过各种输入进行测试,以评估其性能和稳健性。这个阶段通常涉及比较多个变体,以识别最有效的表达方式。改进根据测试结果,逐步改进提示以提高其有效性。版本管理与分类在开发和完善提示的过程中,维护版本并将其组织在提示目录中至关重要。部署优化后的提示可以作为生成式 AI 应用的一部分进行部署。监控与迭代部署后,团队持续监控提示在实时应用中的表现,并进行迭代以维持或提高其有效性。在这一过程中,提示设计和提示目录发挥着关键作用。一个设计良好的提示将显著提高 AI 生成响应的质量和相关性。一个全面的提示目录是开发者的宝贵资源,有助于他们在项目中复用经过验证的提示和最佳实践,从而节省时间和成本。
对于更复杂的生成式 AI 应用程序,开发者常常使用模式,如提示链prompt chaining或提示路由prompt routing。这些方法允许定义更复杂的逻辑和动态工作流,通常称为提示流prompt flows。
提示链
提示链使用一个提示的输出作为下一个提示的输入,创建与基础模型的交互序列,以完成更复杂的任务。例如,一个客户服务 chatbot 可以首先利用 FM 提取有关客户及其问题的关键信息,然后将这些细节作为输入调用函数以打开支持工单。
提示路由
提示路由则是根据特定条件或输入性质动态选择和应用不同提示的过程,使 AI 应用更灵活、更具上下文感知能力。例如,用户向银行助手提出请求时,系统可以根据问题动态决定是使用检索增强生成Retrieval Augmented Generation RAG查找可用信用卡的信息,还是调用一个函数来运行账户余额查询。
结合这两种模式在现代生成式 AI 应用开发中非常普遍。通过理解和优化提示生命周期的每个阶段,并运用像链式和路由这样的技术,您可以创建更强大、更高效的生成式 AI 解决方案。
接下来,让我们深入探讨亚马逊 Bedrock 中的新功能,并探索它们如何帮助您转换生成式 AI 开发流程。
提示管理:优化您的 AI 交互
提示管理功能简化了提示的创建、评估、部署与共享。这项功能帮助开发者和业务用户为其特定用例获得最佳响应。
提示管理的关键优势包括:
快速创建和迭代提示 使用亚马逊 Bedrock 控制台的内置提示构建器创建您的提示和变体,或使用 CreatePrompt 语句融合动态信息来构建提示模板。无缝测试和部署 快速测试单个提示,设置变量及其测试值。使用 AWS 控制台的 GetPrompt、ListPrompts 和 CreatePromptVersion 创建提示版本,存储于内置提示库以进行管理和分类。协作提示开发 在流或亚马逊 Bedrock Studio 中使用提示和提示模板。提示管理支持团队成员在提示的创建、评估和部署中进行协作,提高开发过程的高效性。使用提示管理功能不需要特别的先决条件,只需访问亚马逊 Bedrock 控制台即可。如需了解支持的 AWS 区域和模型,请参阅亚马逊 Bedrock 中的提示管理。如果您尚未获得亚马逊 Bedrock 控制台的访问权限,请参阅设置亚马逊 Bedrock。
要在亚马逊 Bedrock 控制台启动提示管理功能,您可以按照以下步骤操作:
一元机场官网地址在亚马逊 Bedrock 控制台的导航窗格中,选择构建工具下的提示管理。
创建新提示或从提示库中选择现有提示。
使用提示构建器选择模型,设置参数并撰写提示内容。
配置变量以创建提示模板并动态测试您的提示。
创建和管理提示版本,以便在您的生成式 AI 流中使用。
提示流:可视化并加速您的 AI 工作流
亚马逊 Bedrock 的提示流功能引入了一种可视化构建器,简化了复杂生成式 AI 工作流的创建。此功能允许您链接多个 FM、提示和其他 AWS 服务,以减少开发时间和工作量。
提示流的关键优势包括:
直观的可视化构建器 拖放组件以创建流,将提示与其他提示、AI 服务、知识库和业务逻辑链接。这种可视化方法消除了大量编码的需求,并提供了应用程序结构的全面概述。或者,您可以使用 CreateFlow API 进行程序化创建,自动化流程和开发管道。快速测试和部署 直接在亚马逊 Bedrock 控制台上测试流,以更快地进行迭代,或使用 InvokeFlow。您可以随时快照流以便整合到您的生成式 AI 应用中。该流通过 亚马逊 Bedrock Agents的运行时端点进行提供。您可以在亚马逊 Bedrock 控制台或使用 CreateFlowVersion API 创建流版本。在亚马逊 Bedrock 控制台或使用 CreateFlowAlias API 创建别名,无缝回滚和 A/B 测试不同版本的流,而不会影响您的服务或开发管道。管理和模板化 通过流模板加速开发以重复处理常见用例。您可以在亚马逊 Bedrock 控制台或使用 GetFlow 和 ListFlows 管理流。在开始使用您的账户之前,请参阅亚马逊 Bedrock 的流工作原理,了解所需权限和配额等详细信息。准备好后,您可以按照以下步骤在亚马逊 Bedrock 控制台上开始使用流:
在亚马逊 Bedrock 控制台的导航窗格中,选择构建工具下的提示流。
通过提供名称、描述和AWS 身份与访问管理IAM角色创建流。
访问流的工作草稿中的可视化构建器。
拖放单个组件或节点,包括来自提示目录的提示模板,并将它们链接在一起。您可以编辑每个节点的属性,并使用亚马逊 Bedrock 中可用的其他元素。
使用可用节点实现条件、与AWS Lambda 函数的代码钩子或与 AI 服务例如 亚马逊 Lex集成的选项。您可以链接或路由步骤以定义自己的逻辑和处理输出。
动态测试您的提示流,并设置输出以部署您的生成式 AI 应用程序。
在我们的示例中,我们创建了一个流,将用户问题动态路由到查询亚马逊 Bedrock 中的知识库或直接从 LLM 响应。我们现在可以从应用前端调用此流。
示例用例:优化电子商务客户服务聊天机器人
为了说明这些新功能的强大,我们考虑一个虚构的大型电子商务公司 Octank,该公司面临高效创建、测试和部署用于不同产品类别的 AI 驱动客户服务聊天机器人的挑战。这导致了表现不一致和迭代周期缓慢。
在以下笔记本中,我们提供了一份指导示例,以帮助您以编程方式入门提示管理和提示流。
借助亚马逊 Bedrock 的提示管理和提示流,Octank 的开发和提示工程团队现在可以实现以下目标:
为每个产品类别的聊天机器人创建可视化和编程工作流,根据需要整合不同的 FM 和 AI 服务快速原型和测试每个聊天机器人的提示变体,优化准确性和相关性跨团队协作,完善提示并分享最佳实践部署并 A/B 测试不同版本的聊天机器人,以识别最有效的配置因此,Octank 显著缩短了开发时间,提高了 chatbot 响应质量,并在产品线间实现了更一致的性能,增加了对资产的重用。
结论
亚马逊 Bedrock 中的新提示管理和提示流功能代表了生成式 AI 开发的重大进步。通过简化工作流创建、提示管理和团队协作,这些工具使市场响应时间更快,并获得更高质量的 AI 驱动解决方案。
我们邀请您探索这些预览中的新功能,并亲身体验它们如何改善您的生成式 AI 开发过程。要开始使用,请打开 亚马逊 Bedrock 控制台或在 亚马逊 Bedrock SDK 中发现新的 API,立即开始创建您的提示和流。
我们期待看到您使用这些新功能构建的创新应用!如往常一样,我们欢迎您通过 AWS rePost 提供对亚马逊 Bedrock 的反馈,或与您所熟悉的 AWS 联系。加入生成式 AI 构建者社区 communityaws,分享您的经验并向他人学习。
请关注我们,我们将继续增强亚马逊 Bedrock,并赋予您构建下一代 AI 驱动应用程序的能力!
要了解更多信息,请参考亚马逊 Bedrock 的 提示管理 和 提示流 文档。
作者简介
安东尼奥罗德里格斯是 AWS 的高级生成式 AI 解决方案架构师。他帮助各类企业解决挑战,拥抱创新,并通过亚马逊 Bedrock 创造新的商业机会。工作之外,他喜欢与家人共度时光,并与朋友一起运动。
贾雷德迪恩是 AWS 的首席 AI/ML 解决方案架构师。他与不同行业的客户合作,开发提高效率的机器学习应用。他对 AI、技术和烧烤一切都充满兴趣。
使用知识图谱构建基于 Amazon Bedrock 和 Amazon Neptune 的 Graph
使用知识图谱构建 GraphRAG 应用程序:结合亚马逊 Bedrock 和亚马逊 Neptune由 Matheus Duarte Dias 于 2024 年 8 月 1 日发布于 高级(300),亚马逊 Bedrock,亚马逊 Neptune,生成式 AI,技术指引永久链接评论 关键要点RAG 技...
工业整体设备有效性OEE指南,结合 AWS IoT SiteWise 官方博客 物联网
工业整体设备有效性OEE指南与 AWS IoT SiteWise关键要点整体设备有效性OEE 是衡量制造生产力的标准,涵盖质量、性能和可用性。通过使用 AWS IoT SiteWise,可有效监控和提升系统的 OEE。文章以中东某大型机场的行李处理系统BHS为案例,介绍如何整合传感器数据并进行 OE...