사용자 지정 S3 버킷 소스 구성

CloudWatch 파이프라인을 사용하여 S3 버킷에 저장된 임의의 로그를 처리할 수 있습니다.

사전 조건

Amazon S3를 파이프라인의 소스로 사용하려면 우선 S3 버킷을 생성합니다. 지침을 보려면 Amazon S3 사용 설명서에서 범용 버킷 생성 섹션을 참조하세요.

S3-SQS 처리를 설정하려면 다음 단계도 수행해야 합니다.

파이프라인 역할 구성

데이터를 파이프라인으로 푸시하는 다른 소스 플러그인과 달리 S3 소스 플러그인은 파이프라인이 소스에서 데이터를 가져오는 읽기 기반 아키텍처를 사용합니다. 따라서 S3에서 파이프라인을 읽으려면 S3 버킷과 Amazon SQS 대기열 모두에 액세스할 수 있는 파이프라인의 S3 소스 구성 내에서 역할을 지정해야 합니다. 파이프라인은 대기열에서 데이터를 읽기 위해 이 역할을 맡습니다.

소스별 IAM 정책에서 역할 권한의 예제를 참조할 수 있습니다. 이 역할은 CloudWatch 파이프라인 서비스 원칙과의 신뢰 관계가 있어야 합니다. 신뢰 관계에서 파이프라인 역할에 대한 신뢰 정책 구성 예제를 참조할 수 있습니다.

파이프라인 생성

권한을 설정한 후 Amazon S3 사용 사례에 따라 파이프라인을 구성할 수 있습니다.

CloudWatch 콘솔의 수집에서 파이프라인 탭의 파이프라인 생성을 선택합니다. 파이프라인 마법사 단계에 따라 작업을 실행한 후 메시지가 표시되면 SQS 대기열 ARN 및 필요한 파이프라인 IAM 역할을 제공합니다. 필요한 경우, CloudWatch Logs의 로그 그룹 대상에 연결할 데이터 소스 이름 및 유형을 제공합니다.

대상 로그 그룹에 대한 정책이 아직 구성되지 않은 경우 CloudWatch Logs 리소스 정책을 구성한 다음, 검토 및 생성 단계에서 파이프라인 생성을 선택합니다. 성공하면 파이프라인이 생성되고 5분 이내에 데이터가 전송되기 시작합니다.

소스 역할을 하는 Amazon S3 교차 계정

CloudWatch 파이프라인이 다른 계정의 S3 버킷에 소스로 액세스할 수 있도록 Amazon S3가 있는 여러 계정에서 액세스 권한을 부여할 수 있습니다. 교차 계정 액세스를 활성화하려면 Amazon S3 사용 설명서의 교차 계정 버킷 권한을 부여하는 버킷 소유자를 참조하세요. 액세스 권한을 부여한 후 파이프라인 역할에 필요한 권한이 있는지 확인합니다.

그런 다음, bucket_owners를 사용하여 파이프라인을 생성해 소스로 Amazon S3 버킷에 대한 교차 계정 액세스를 활성화할 수 있습니다.

사용자 지정 소스 구성

사용자 지정 소스에 대한 파이프라인을 생성할 경우: