기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 대화에서 에이전트의 컴퓨터 사용 도구 요청 처리
에이전트가 도구를 요청하면 InvokeAgent API 작업에 대한 응답에는 사용할 도구와 invocationInputs의 도구 작업이 포함된 `returnControl` 페이로드가 포함됩니다. 에이전트 개발자에 대한 반환 제어에 관한 자세한 내용은 [InvokeAgent 응답에서 유도된 정보를 전송하여 에이전트 개발자에게 제어 반환](agents-returncontrol.md) 섹션을 참조하세요.
**Topics**
+ [반환 제어 예제](#agent-computer-use-tool-request-format)
+ [도구 요청을 구문 분석하는 코드 예제](#agent-computer-use-implementation-example)
## 반환 제어 예제
다음은 `screenshot` 작업에서 `ANTHROPIC.Computer` 도구를 사용하도록 요청하는 `returnControl` 페이로드의 예제입니다.
```
{
"returnControl": {
"invocationId": "invocationIdExample",
"invocationInputs": [{
"functionInvocationInput": {
"actionGroup": "my_computer",
"actionInvocationType": "RESULT",
"agentId": "agentIdExample",
"function": "computer",
"parameters": [{
"name": "action",
"type": "string",
"value": "screenshot"
}]
}
}]
}
}
```
## 도구 요청을 구문 분석하는 코드 예제
다음 코드는 InvokeAgent 응답에서 컴퓨터 사용 도구 선택을 추출하고 다른 도구에 대한 모의 도구 구현에 매핑한 다음, 후속 InvokeAgent 요청에서 도구 사용 결과를 전송하는 방법을 보여줍니다.
+ `manage_computer_interaction` 함수는 InvocationAgent API 작업을 직접 호출하는 루프를 실행하고 완료할 태스크가 없을 때까지 응답을 구문 분석합니다. 응답을 구문 분석하면 `returnControl` 페이로드에서 사용할 도구를 추출하고 `handle_computer_action` 함수를 전달합니다.
+ `handle_computer_action`은 함수 이름을 4가지 작업에 대한 모의 구현에 매핑합니다. 예제 도구 구현은 Anthropic GitHub 리포지토리의 [computer-use-demo](https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo/computer_use_demo/)를 참조하세요.
구현 예제 및 도구 설명을 포함하여 컴퓨터 사용 도구에 대한 자세한 내용은 Anthropic 설명서의 [컴퓨터 사용(베타)](https://docs.anthropic.com/en/docs/agents-and-tools/computer-use)을 참조하세요.
```
import boto3
from botocore.exceptions import ClientError
import json
def handle_computer_action(action_params):
"""
Maps computer actions, like taking screenshots and moving the mouse to mock implementations and returns
the result.
Args:
action_params (dict): Dictionary containing the action parameters
Keys:
- action (str, required): The type of action to perform (for example 'screenshot' or 'mouse_move')
- coordinate (str, optional): JSON string containing [x,y] coordinates for mouse_move
Returns:
dict: Response containing the action result.
"""
action = action_params.get('action')
if action == 'screenshot':
# Mock screenshot response
with open("mock_screenshot.png", 'rb') as image_file:
image_bytes = image_file.read()
return {
"IMAGES": {
"images": [
{
"format": "png",
"source": {
"bytes": image_bytes
},
}
]
}
}
elif action == 'mouse_move':
# Mock mouse movement
coordinate = json.loads(action_params.get('coordinate', '[0, 0]'))
return {
"TEXT": {
"body": f"Mouse moved to coordinates {coordinate}"
}
}
elif action == 'left_click':
# Mock mouse left click
return {
"TEXT": {
"body": f"Mouse left clicked"
}
}
elif action == 'right_click':
# Mock mouse right click
return {
"TEXT": {
"body": f"Mouse right clicked"
}
}
### handle additional actions here
def manage_computer_interaction(bedrock_agent_runtime_client, agent_id, alias_id):
"""
Manages interaction between an Amazon Bedrock agent and computer use functions.
Args:
bedrock_agent_runtime_client: Boto3 client for Bedrock agent runtime
agent_id (str): The ID of the agent
alias_id (str): The Alias ID of the agent
The function:
- Initiates a session with initial prompt
- Makes agent requests with appropriate parameters
- Processes response chunks and return control events
- Handles computer actions via handle_computer_action()
- Continues interaction until task completion
"""
session_id = "session123"
initial_prompt = "Open a browser and go to a website"
computer_use_results = None
current_prompt = initial_prompt
while True:
# Make agent request with appropriate parameters
invoke_params = {
"agentId": agent_id,
"sessionId": session_id,
"inputText": current_prompt,
"agentAliasId": alias_id,
}
# Include session state if we have results from previous iteration
if computer_use_results:
invoke_params["sessionState"] = computer_use_results["sessionState"]
try:
response = bedrock_agent_runtime_client.invoke_agent(**invoke_params)
except ClientError as e:
print(f"Error: {e}")
has_return_control = False
# Process the response
for event in response.get('completion'):
if 'chunk' in event:
chunk_content = event['chunk'].get('bytes', b'').decode('utf-8')
if chunk_content:
print("\nAgent:", chunk_content)
if 'returnControl' in event:
has_return_control = True
invocationId = event["returnControl"]["invocationId"]
if "invocationInputs" in event["returnControl"]:
for invocationInput in event["returnControl"]["invocationInputs"]:
func_input = invocationInput["functionInvocationInput"]
# Extract action parameters
params = {p['name']: p['value'] for p in func_input['parameters']}
# Handle computer action and get result
action_result = handle_computer_action(params)
# Print action result for testing
print("\nExecuting function:", func_input['function'])
print("Parameters:", params)
# Prepare the session state for the next request
computer_use_results = {
"sessionState": {
"invocationId": invocationId,
"returnControlInvocationResults": [{
"functionResult": {
"actionGroup": func_input['actionGroup'],
"responseState": "REPROMPT",
"agentId": func_input['agentId'],
"function": func_input['function'],
"responseBody": action_result
}
}]
}
}
# If there's no return control event, the task is complete
if not has_return_control:
print("\nTask completed!")
break
# Use empty string as prompt for subsequent iterations
current_prompt = ""
def main():
bedrock_agent_runtime_client = boto3.client(service_name="bedrock-agent-runtime",
region_name="REGION"
)
agent_id = "AGENT_ID"
alias_id = "ALIAS_ID"
manage_computer_interaction(bedrock_agent_runtime_client, agent_id, alias_id)
if __name__ == "__main__":
main()
```
다음과 유사하게 출력됩니다.
```
Executing function: computer
Parameters: {'action': 'screenshot'}
Executing function: computer
Parameters: {'coordinate': '[467, 842]', 'action': 'mouse_move'}
Executing function: computer
Parameters: {'action': 'left_click'}
Agent: I've opened Firefox browser. Which website would you like to visit?
Task completed!
```