기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 매니페스트 파일을 사용하여 이미지 가져오기
Amazon SageMaker AI Ground Truth 형식 매니페스트 파일을 사용하여 데이터 세트를 생성할 수 있습니다. Amazon SageMaker AI Ground Truth 작업의 매니페스트 파일을 사용할 수 있습니다. 이미지와 레이블이 SageMaker AI Ground Truth 매니페스트 파일 형식이 아닌 경우 SageMaker AI 형식 매니페스트 파일을 생성하고 이를 사용하여 레이블이 지정된 이미지를 가져올 수 있습니다.
새 데이터세트를 생성할 때 선택적으로 태그를 지정할 수 있도록 `CreateDataset` 작업이 업데이트되었습니다. 태그는 리소스를 분류하고 관리하는 데 도움이 될 수 있는 키-값 페어입니다.
**Topics**
+ [SageMaker AI Ground Truth 매니페스트 파일을 사용하여 데이터 세트 생성(콘솔)](#md-create-dataset-ground-truth-console)
+ [SageMaker AI Ground Truth 매니페스트 파일(SDK)을 사용하여 데이터 세트 생성](#md-create-dataset-ground-truth-sdk)
+ [데이터세트 생성 요청](#create-dataset-ground-truth-request)
+ [Amazon SageMaker AI Ground Truth 작업을 사용하여 이미지 레이블 지정](md-create-dataset-ground-truth-job.md)
+ [매니페스트 파일 생성](md-create-manifest-file.md)
+ [매니페스트 파일의 이미지 수준 레이블 가져오기](md-create-manifest-file-classification.md)
+ [매니페스트 파일의 객체 위치 파악](md-create-manifest-file-object-detection.md)
+ [매니페스트 파일의 검증 규칙](md-create-manifest-file-validation-rules.md)
+ [다른 데이터 세트 형식을 매니페스트 파일로 변환](md-converting-to-sm-format.md)
## SageMaker AI Ground Truth 매니페스트 파일을 사용하여 데이터 세트 생성(콘솔)
다음 절차에서는 SageMaker AI Ground Truth 형식 매니페스트 파일을 사용하여 데이터 세트를 생성하는 방법을 보여줍니다.
1. 다음 중 하나를 수행하여 훈련 데이터 세트의 매니페스트 파일을 생성합니다.
+ 의 지침에 따라 SageMaker AI GroundTruth 작업으로 매니페스트 파일을 생성합니다[Amazon SageMaker AI Ground Truth 작업을 사용하여 이미지 레이블 지정](md-create-dataset-ground-truth-job.md).
+ [매니페스트 파일 생성](md-create-manifest-file.md)의 지침에 따라 사용자 고유의 매니페스트 파일을 생성하세요.
테스트 데이터 세트를 만들려면 1단계를 반복하여 테스트 데이터 세트를 만드세요.
1. [https://console.aws.amazon.com/rekognition/](https://console.aws.amazon.com/rekognition/)에서 Amazon Rekognition 콘솔을 엽니다.
1. **사용자 지정 레이블 사용**을 선택합니다.
1. **Get started**를 선택합니다.
1. 왼쪽 탐색 창에서 **프로젝트**를 선택합니다.
1. **프로젝트** 페이지에서 데이터 세트에 추가하려는 프로젝트를 선택합니다. 프로젝트 세부 정보 페이지가 열립니다.
1. **데이터 세트 생성**을 선택합니다. **데이터 세트 생성** 페이지가 표시됩니다.
1. **시작 구성**에서 **단일 데이터 세트로 시작** 또는 **훈련 데이터 세트로 시작**을 선택합니다. 더 높은 품질의 모델을 만들려면 별도의 훈련 및 테스트 데이터 세트로 시작하는 것이 좋습니다.
------
#### [ Single dataset ]
1. **훈련 데이터 세트 세부 정보** 항목에서 **SageMaker Ground Truth로 레이블이 지정된 이미지 가져오기**를 선택합니다.
1. **매니페스트 파일 위치**에 1단계에서 생성한 매니페스트 파일의 위치를 입력하세요.
1. **데이터 세트 생성**을 선택합니다. 프로젝트의 데이터 세트 페이지가 열립니다.
------
#### [ Separate training and test datasets ]
1. **훈련 데이터 세트 세부 정보** 항목에서 **SageMaker Ground Truth로 레이블이 지정된 이미지 가져오기**를 선택합니다.
1. **.manifest 파일 위치**에 1단계에서 생성한 훈련 데이터 세트 매니페스트 파일의 위치를 입력하세요.
1. **테스트 데이터 세트 세부 정보** 항목에서 **SageMaker Ground Truth로 레이블이 지정된 이미지 가져오기**를 선택합니다.
**참고**
훈련 데이터 세트와 테스트 데이터 세트에는 서로 다른 이미지 소스가 있을 수 있습니다.
1. **.manifest 파일 위치**에 1단계에서 생성한 테스트 데이터 세트 매니페스트 파일의 위치를 입력하세요.
1. **데이터 세트 생성**을 선택합니다. 프로젝트의 데이터 세트 페이지가 열립니다.
------
1. 레이블을 추가하거나 변경해야 하면 [이미지 레이블 지정](md-labeling-images.md) 항목을 수행합니다.
1. [모델 훈련(콘솔)](training-model.md#tm-console)에 나온 단계에 따라 모델을 훈련하세요.
## SageMaker AI Ground Truth 매니페스트 파일(SDK)을 사용하여 데이터 세트 생성
다음 절차는 [CreateDataset API](https://docs.aws.amazon.com/rekognition/latest/APIReference/API_CreateDataset)를 사용하여 매니페스트 파일에서 훈련 데이터 세트 또는 테스트 데이터 세트를 생성하는 방법을 보여줍니다.
[SageMaker AI Ground Truth 작업](md-create-dataset-ground-truth-job.md)의 출력과 같은 기존 매니페스트 파일을 사용하거나 자체 [매니페스트 파일을](md-create-manifest-file.md) 생성할 수 있습니다.
1. 아직 설치하지 않은 경우 및 AWS SDKs AWS CLI 를 설치하고 구성합니다. 자세한 내용은 [4단계: AWS CLI 및 AWS SDKs 설정](su-awscli-sdk.md) 단원을 참조하십시오.
1. 다음 중 하나를 수행하여 훈련 데이터 세트의 매니페스트 파일을 생성합니다.
+ 의 지침에 따라 SageMaker AI GroundTruth 작업으로 매니페스트 파일을 생성합니다[Amazon SageMaker AI Ground Truth 작업을 사용하여 이미지 레이블 지정](md-create-dataset-ground-truth-job.md).
+ [매니페스트 파일 생성](md-create-manifest-file.md)의 지침에 따라 사용자 고유의 매니페스트 파일을 생성하세요.
테스트 데이터 세트를 만들려면 2단계를 반복하여 테스트 데이터 세트를 만드세요.
1. 다음 예제 코드를 사용하여 훈련 및 테스트 데이터 세트를 만드세요.
------
#### [ AWS CLI ]
다음 코드를 사용하여 데이터 세트를 생성하세요. 다음을 바꿉니다.
+ `project_arn`: 테스트 데이터 세트를 추가하려는 프로젝트의 ARN입니다.
+ `type`: 생성하려는 데이터 세트의 유형(훈련 또는 테스트)
+ `bucket`: 데이터 세트의 매니페스트 파일이 들어 있는 버킷
+ `manifest_file`: 매니페스트의 경로 및 파일 이름
```
aws rekognition create-dataset --project-arn {{project_arn}} \
--dataset-type {{type}} \
--dataset-source '{ "GroundTruthManifest": { "S3Object": { "Bucket": "{{bucket}}", "Name": "{{manifest_file}}" } } }' \
--profile custom-labels-access
--tags '{"key1": "value1", "key2": "value2"}'
```
------
#### [ Python ]
다음 값을 사용하여 데이터 세트를 생성하세요. 다음 명령줄 파라미터를 제공하세요.
+ `project_arn`: 테스트 데이터 세트를 추가하려는 프로젝트의 ARN
+ `dataset_type`: 생성하려는 데이터 세트 유형(`train` 또는 `test`)
+ `bucket`: 데이터 세트의 매니페스트 파일이 들어 있는 버킷
+ `manifest_file`: 매니페스트의 경로 및 파일 이름
```
#Copyright 2023 Amazon.com, Inc. or its affiliates. All Rights Reserved.
#PDX-License-Identifier: MIT-0 (For details, see https://github.com/awsdocs/amazon-rekognition-custom-labels-developer-guide/blob/master/LICENSE-SAMPLECODE.)
import argparse
import logging
import time
import json
import boto3
from botocore.exceptions import ClientError
logger = logging.getLogger(__name__)
def create_dataset(rek_client, project_arn, dataset_type, bucket, manifest_file):
"""
Creates an Amazon Rekognition Custom Labels dataset.
:param rek_client: The Amazon Rekognition Custom Labels Boto3 client.
:param project_arn: The ARN of the project in which you want to create a dataset.
:param dataset_type: The type of the dataset that you want to create (train or test).
:param bucket: The S3 bucket that contains the manifest file.
:param manifest_file: The path and filename of the manifest file.
"""
try:
#Create the project
logger.info("Creating %s dataset for project %s",dataset_type, project_arn)
dataset_type = dataset_type.upper()
dataset_source = json.loads(
'{ "GroundTruthManifest": { "S3Object": { "Bucket": "'
+ bucket
+ '", "Name": "'
+ manifest_file
+ '" } } }'
)
response = rek_client.create_dataset(
ProjectArn=project_arn, DatasetType=dataset_type, DatasetSource=dataset_source
)
dataset_arn=response['DatasetArn']
logger.info("dataset ARN: %s",dataset_arn)
finished=False
while finished is False:
dataset=rek_client.describe_dataset(DatasetArn=dataset_arn)
status=dataset['DatasetDescription']['Status']
if status == "CREATE_IN_PROGRESS":
logger.info("Creating dataset: %s ",dataset_arn)
time.sleep(5)
continue
if status == "CREATE_COMPLETE":
logger.info("Dataset created: %s", dataset_arn)
finished=True
continue
if status == "CREATE_FAILED":
error_message = f"Dataset creation failed: {status} : {dataset_arn}"
logger.exception(error_message)
raise Exception (error_message)
error_message = f"Failed. Unexpected state for dataset creation: {status} : {dataset_arn}"
logger.exception(error_message)
raise Exception(error_message)
return dataset_arn
except ClientError as err:
logger.exception("Couldn't create dataset: %s",err.response['Error']['Message'])
raise
def add_arguments(parser):
"""
Adds command line arguments to the parser.
:param parser: The command line parser.
"""
parser.add_argument(
"project_arn", help="The ARN of the project in which you want to create the dataset."
)
parser.add_argument(
"dataset_type", help="The type of the dataset that you want to create (train or test)."
)
parser.add_argument(
"bucket", help="The S3 bucket that contains the manifest file."
)
parser.add_argument(
"manifest_file", help="The path and filename of the manifest file."
)
def main():
logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s")
try:
#Get command line arguments.
parser = argparse.ArgumentParser(usage=argparse.SUPPRESS)
add_arguments(parser)
args = parser.parse_args()
print(f"Creating {args.dataset_type} dataset for project {args.project_arn}")
#Create the dataset.
session = boto3.Session(profile_name='custom-labels-access')
rekognition_client = session.client("rekognition")
dataset_arn=create_dataset(rekognition_client,
args.project_arn,
args.dataset_type,
args.bucket,
args.manifest_file)
print(f"Finished creating dataset: {dataset_arn}")
except ClientError as err:
logger.exception("Problem creating dataset: %s", err)
print(f"Problem creating dataset: {err}")
if __name__ == "__main__":
main()
```
------
#### [ Java V2 ]
다음 값을 사용하여 데이터 세트를 생성하세요. 다음 명령줄 파라미터를 제공하세요.
+ `project_arn`: 테스트 데이터 세트를 추가하려는 프로젝트의 ARN
+ `dataset_type`: 생성하려는 데이터 세트 유형(`train` 또는 `test`)
+ `bucket`: 데이터 세트의 매니페스트 파일이 들어 있는 버킷
+ `manifest_file`: 매니페스트의 경로 및 파일 이름
```
/*
Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
SPDX-License-Identifier: Apache-2.0
*/
package com.example.rekognition;
import software.amazon.awssdk.auth.credentials.ProfileCredentialsProvider;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.rekognition.RekognitionClient;
import software.amazon.awssdk.services.rekognition.model.CreateDatasetRequest;
import software.amazon.awssdk.services.rekognition.model.CreateDatasetResponse;
import software.amazon.awssdk.services.rekognition.model.DatasetDescription;
import software.amazon.awssdk.services.rekognition.model.DatasetSource;
import software.amazon.awssdk.services.rekognition.model.DatasetStatus;
import software.amazon.awssdk.services.rekognition.model.DatasetType;
import software.amazon.awssdk.services.rekognition.model.DescribeDatasetRequest;
import software.amazon.awssdk.services.rekognition.model.DescribeDatasetResponse;
import software.amazon.awssdk.services.rekognition.model.GroundTruthManifest;
import software.amazon.awssdk.services.rekognition.model.RekognitionException;
import software.amazon.awssdk.services.rekognition.model.S3Object;
import java.util.logging.Level;
import java.util.logging.Logger;
public class CreateDatasetManifestFiles {
public static final Logger logger = Logger.getLogger(CreateDatasetManifestFiles.class.getName());
public static String createMyDataset(RekognitionClient rekClient, String projectArn, String datasetType,
String bucket, String name) throws Exception, RekognitionException {
try {
logger.log(Level.INFO, "Creating {0} dataset for project : {1} from s3://{2}/{3} ",
new Object[] { datasetType, projectArn, bucket, name });
DatasetType requestDatasetType = null;
switch (datasetType) {
case "train":
requestDatasetType = DatasetType.TRAIN;
break;
case "test":
requestDatasetType = DatasetType.TEST;
break;
default:
logger.log(Level.SEVERE, "Could not create dataset. Unrecognized dataset type: {0}", datasetType);
throw new Exception("Could not create dataset. Unrecognized dataset type: " + datasetType);
}
GroundTruthManifest groundTruthManifest = GroundTruthManifest.builder()
.s3Object(S3Object.builder().bucket(bucket).name(name).build()).build();
DatasetSource datasetSource = DatasetSource.builder().groundTruthManifest(groundTruthManifest).build();
CreateDatasetRequest createDatasetRequest = CreateDatasetRequest.builder().projectArn(projectArn)
.datasetType(requestDatasetType).datasetSource(datasetSource).build();
CreateDatasetResponse response = rekClient.createDataset(createDatasetRequest);
boolean created = false;
do {
DescribeDatasetRequest describeDatasetRequest = DescribeDatasetRequest.builder()
.datasetArn(response.datasetArn()).build();
DescribeDatasetResponse describeDatasetResponse = rekClient.describeDataset(describeDatasetRequest);
DatasetDescription datasetDescription = describeDatasetResponse.datasetDescription();
DatasetStatus status = datasetDescription.status();
logger.log(Level.INFO, "Creating dataset ARN: {0} ", response.datasetArn());
switch (status) {
case CREATE_COMPLETE:
logger.log(Level.INFO, "Dataset created");
created = true;
break;
case CREATE_IN_PROGRESS:
Thread.sleep(5000);
break;
case CREATE_FAILED:
String error = "Dataset creation failed: " + datasetDescription.statusAsString() + " "
+ datasetDescription.statusMessage() + " " + response.datasetArn();
logger.log(Level.SEVERE, error);
throw new Exception(error);
default:
String unexpectedError = "Unexpected creation state: " + datasetDescription.statusAsString() + " "
+ datasetDescription.statusMessage() + " " + response.datasetArn();
logger.log(Level.SEVERE, unexpectedError);
throw new Exception(unexpectedError);
}
} while (created == false);
return response.datasetArn();
} catch (RekognitionException e) {
logger.log(Level.SEVERE, "Could not create dataset: {0}", e.getMessage());
throw e;
}
}
public static void main(String[] args) {
String datasetType = null;
String bucket = null;
String name = null;
String projectArn = null;
String datasetArn = null;
final String USAGE = "\n" + "Usage: " + " \n\n" + "Where:\n"
+ " project_arn - the ARN of the project that you want to add copy the datast to.\n\n"
+ " dataset_type - the type of the dataset that you want to create (train or test).\n\n"
+ " bucket - the S3 bucket that contains the manifest file.\n\n"
+ " name - the location and name of the manifest file within the bucket.\n\n";
if (args.length != 4) {
System.out.println(USAGE);
System.exit(1);
}
projectArn = args[0];
datasetType = args[1];
bucket = args[2];
name = args[3];
try {
// Get the Rekognition client
RekognitionClient rekClient = RekognitionClient.builder()
.credentialsProvider(ProfileCredentialsProvider.create("custom-labels-access"))
.region(Region.US_WEST_2)
.build();
// Create the dataset
datasetArn = createMyDataset(rekClient, projectArn, datasetType, bucket, name);
System.out.println(String.format("Created dataset: %s", datasetArn));
rekClient.close();
} catch (RekognitionException rekError) {
logger.log(Level.SEVERE, "Rekognition client error: {0}", rekError.getMessage());
System.exit(1);
} catch (Exception rekError) {
logger.log(Level.SEVERE, "Error: {0}", rekError.getMessage());
System.exit(1);
}
}
}
```
------
1. 레이블을 추가하거나 변경해야 하면 [레이블 관리(SDK)](md-labels.md#md-labels-sdk) 항목을 참조하세요.
1. [모델 훈련(SDK)](training-model.md#tm-sdk)에 나온 단계에 따라 모델을 훈련하세요.
## 데이터세트 생성 요청
다음은 CreateDataset 작업 요청의 형식입니다.
```
{
"DatasetSource": {
"DatasetArn": "string",
"GroundTruthManifest": {
"S3Object": {
"Bucket": "string",
"Name": "string",
"Version": "string"
}
}
},
"DatasetType": "string",
"ProjectArn": "string",
"Tags": {
"string": "string"
}
}
```