View a markdown version of this page

异步工具调用 - Amazon Nova
工作原理处理用户中断工作原理

异步工具调用

与传统同步工具调用中人工智能需静默等待工具执行结果不同，Amazon Nova 2 Sonic 的异步方案可实现：

  • 工具运行期间可持续接收用户输入

  • 无需等待待处理工具执行结果，即可对新问题作出回应

  • 同时处理多个工具调用

  • 保持自然对话节奏，避免出现生硬停顿

  • 无需额外配置。异步工具调用开箱即用。

工作原理

当 Nova 2 Sonic 发起工具调用时，不会中断对话。相反，其会持续正常监听并作出响应，直至工具返回结果。

处理用户中断

如果用户在工具执行过程中更改请求，Nova 2 Sonic 会智能处理，且不会取消正在等待的工具调用。

示例方案

User: "Can I book a flight from Boston to Chicago?"
                Agent: "Sure, let me look that up for you."
                Agent: [initiates tool call for Chicago flights]
                User: "Actually, I want to go to Seattle"
                Agent: "Ok let me update that search"
                Agent: [initiates tool call for Seattle flights]
                [First tool returns with Chicago flight results]
                Agent: [receives Chicago results and processes them contextually]

工作原理

始终交付工具执行结果：工具调用完成后，即使用户更改了请求，工具执行结果也始终发送到模型。模型会使用其推理功能来确定如何处理信息。

上下文感知处理：模型了解对话上下文，可以适当地处理过时的工具执行结果。例如：

  • 如果用户在改变主意后说“谢谢”，则模型仍然需要原始的上下文结果

  • 如果用户更改了请求，模型可以确认原始结果，同时专注于新请求

不自动取消：系统不会依据用户新输入内容自动取消或忽略已发起的工具调用。这可确保模型获取完整信息，从而智能决策应答方式。