View a markdown version of this page

비동기식 도구 직접 호출 - Amazon Nova
작동 방식사용자 중단 처리작동 방식

비동기식 도구 직접 호출

AI에서 도구 결과를 자동으로 기다리는 기존 동기식 도구 직접 호출과 달리, Amazon Nova 2 Sonic의 비동기식 접근 방식을 사용하면 다음을 수행할 수 있습니다.

  • 도구가 실행되는 동안 계속 사용자 입력 수락

  • 보류 중인 도구 결과를 기다리지 않고 새 질문에 응답

  • 여러 도구 직접 호출을 동시에 처리

  • 어색한 일시 중지 없이 자연스러운 대화 흐름 유지 관리

  • 추가 구성이 필요하지 않습니다. 비동기식 도구 직접 호출은 즉시 작동합니다.

작동 방식

Nova 2 Sonic이 도구 직접 호출을 실행하는 경우 대화를 일시 중지하지 않습니다. 대신 도구가 도착할 때까지 자연스럽게 듣고 응답합니다.

사용자 중단 처리

도구가 실행되는 동안 사용자가 요청을 변경하면 Nova 2 Sonic은 보류 중인 도구 직접 호출을 취소하지 않고 이를 지능적으로 처리합니다.

예제 시나리오

User: "Can I book a flight from Boston to Chicago?"
                Agent: "Sure, let me look that up for you."
                Agent: [initiates tool call for Chicago flights]
                User: "Actually, I want to go to Seattle"
                Agent: "Ok let me update that search"
                Agent: [initiates tool call for Seattle flights]
                [First tool returns with Chicago flight results]
                Agent: [receives Chicago results and processes them contextually]

작동 방식

도구 결과가 항상 전달됨: 도구 직접 호출이 완료되면 사용자가 요청을 변경한 경우에도 해당 결과가 항상 모델로 전송됩니다. 모델은 추론 기능을 사용하여 정보를 처리하는 방법을 결정합니다.

컨텍스트 인식 처리: 모델은 대화 컨텍스트를 이해하고 오래된 도구 결과를 적절하게 처리할 수 있습니다. 예제:

  • 사용자가 마음을 바꾼 후 '감사합니다'라고 말하더라도 모델에는 컨텍스트에 대한 원래 결과가 필요합니다.

  • 사용자가 요청을 변경하면 모델은 원래 결과를 확인하면서 새 요청에 집중할 수 있습니다.

자동 취소 없음: 시스템은 새 사용자 입력을 기반으로 도구 직접 호출을 자동으로 취소하거나 무시하지 않습니다. 이를 통해 모델은 대응 방법에 대한 지능적인 의사 결정을 내릴 수 있도록 완전한 정보를 확보합니다.