View a markdown version of this page

OpenSearch Service에서 Amazon CloudWatch Logs 데이터 직접 쿼리 - Amazon OpenSearch Service
가격 책정제한 사항권장 사항할당량지원됨 AWS 리전

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

OpenSearch Service에서 Amazon CloudWatch Logs 데이터 직접 쿼리

이 섹션에서는 CloudWatch Logs에 저장된 데이터를 효율적으로 쿼리하고 분석할 수 있도록 Amazon OpenSearch Service에서 데이터 소스 통합을 생성하고 구성하는 프로세스를 안내합니다.

다음 페이지에서는 CloudWatch Logs 직접 쿼리 데이터 소스를 설정하고, 필요한 사전 조건을 탐색하고, AWS Management Console을 사용하여 단계별 절차를 수행하는 방법을 알아봅니다.

주제

가격 책정

Amazon OpenSearch Service는 CloudWatch Logs 다이렉트 쿼리에 대해 OpenSearch 컴퓨팅 유닛(OCU) 요금을 제공합니다. 직접 쿼리를 실행하면 청구서에 DirectQuery OCUs 사용 유형으로 나열된 시간당 OCU 요금이 발생합니다. 또한 Amazon CloudWatch Logs와 별도의 요금이 발생합니다.

직접 쿼리는 대화형 보기 쿼리와 인덱싱된 뷰 쿼리의 두 가지 유형이 있습니다.

  • 대화형 쿼리는 데이터 선택기를 채우고 CloudWatch Logs의 데이터에 대한 분석을 수행하는 데 사용됩니다. OpenSearch Service는 확장 세션을 유지하지 않고 별도의 사전 워밍된 작업으로 각 쿼리를 처리합니다.

  • 인덱싱된 뷰 쿼리는 컴퓨팅을 사용하여 OpenSearch Service에서 인덱스를 유지 관리합니다. 이 쿼리는 다양한 양의 데이터를 명명된 인덱스로 수집하기 때문에 일반적으로 시간이 더 오래 걸립니다. CloudWatch Logs에 연결된 데이터 소스의 경우 인덱싱된 데이터는 OpenSearch Serverless 컬렉션에 저장되며, 여기서 인덱싱된 데이터(IndexingOCU), 검색된 데이터(SearchOCU) 및 GB로 저장된 데이터에 대한 요금이 부과됩니다.

자세한 내용은 Amazon OpenSearch Service 요금에서 직접 쿼리 및 서버리스 섹션을 참조하세요.

제한 사항

CloudWatch Logs의 직접 쿼리에는 다음 제한 사항이 적용됩니다.

  • CloudWatch Logs와의 직접 쿼리 통합은 OpenSearch Service 컬렉션 및 OpenSearch 사용자 인터페이스에서만 사용할 수 있습니다.

  • OpenSearch Serverless 컬렉션에는 100MiB의 네트워크 페이로드 제한이 있습니다.

  • CloudWatch Logs는 콘솔에서 설치된 VPC 흐름, CloudTrail 및 AWS WAF 대시보드 통합을 지원합니다.

  • AWS CloudFormation 템플릿은 아직 지원되지 않습니다.

  • OpenSearch SQL 및 OpenSearch PPL 문은 직접 쿼리를 사용하는 것과 비교하여 OpenSearch 인덱스 관련 작업을 할 때 제한 사항이 서로 다릅니다. 직접 쿼리는 JOIN, 하위 쿼리 및 조회와 같은 고급 명령을 지원하지만, OpenSearch 인덱스에서 이러한 명령에 대한 지원은 제한되거나 존재하지 않습니다. 자세한 내용은 지원되는 SQL 및 PPL 명령 단원을 참조하십시오.

권장 사항

CloudWatch Logs에서 직접 쿼리를 사용할 때는 다음을 권장합니다.

  • 특정 쿼리에서 여러 로그 그룹을 검색할 때는 적절한 구문을 사용합니다. 자세한 내용은 다중 로그 그룹 함수 단원을 참조하십시오.

  • SQL 또는 PPL 명령을 사용하는 경우 성공적으로 쿼리하려면 특정 필드를 백틱으로 묶습니다. 백틱은 특수 문자(비영숫자 및 비숫자)가 있는 필드에 필요합니다. 예를 들어 @message, Operation.Export, 및 Test::Field는 백틱으로 묶습니다. 알파벳으로만 된 이름의 열을 백틱으로 묶을 필요는 없습니다.

    단순 필드가 있는 쿼리 예:

    SELECT SessionToken, Operation, StartTime  FROM `LogGroup-A`
LIMIT 1000;

    백틱이 추가된 유사한 쿼리:

    SELECT `@SessionToken`, `@Operation`, `@StartTime` FROM `LogGroup-A`
LIMIT 1000;

  • 쿼리에 제한을 사용하여 너무 많은 데이터를 다시 가져오지 않도록 합니다.

  • 동일하지만 대소문자만 다른 필드 이름을 포함하는 쿼리(예: field1 및 FIELD1)는 지원되지 않습니다.

    예를 들어 다음 쿼리는 지원되지 않습니다.

    Select AWSAccountId, AwsAccountId from LogGroup
Select a.@LogStream, b.@logStream from Table A INNER Join Table B ona.id = b.id

    단, 다음 쿼리는 필드 이름(@logStream)이 두 로그 그룹에서 동일하기 때문에 지원됩니다.

    Select a.@logStream, b.@logStream from Table A INNER Join Table B on a.id = b.id

  • 함수와 표현식은 필드 이름에 대해 작동해야 하며 FROM 절에 지정된 로그 그룹이 있는 SELECT 문의 일부여야 합니다.

    예를 들어 다음 쿼리는 지원되지 않습니다.

    SELECT cos(10) FROM LogGroup

    이 쿼리는 다음과 같이 지원됩니다.

    SELECT cos(field1) FROM LogGroup

할당량

참고

CloudWatch Logs Insights를 사용하여 직접 쿼리를 수행하려는 경우 OpenSearch SQL을 사용하는 CloudWatch Logs Insights 사용자를 위한 추가 정보 섹션을 참조해야 합니다.

설명 값 소프트 한도란? 참고
직접 쿼리 API 전반의 계정 수준 TPS 한도 3TPS 예
최대 데이터 소스 수 20 예 한도는 당입니다 AWS 계정.
최대 자동 새로 고침 인덱스 또는 구체화된 뷰 30 예 한도는 데이터 소스당으로 적용됩니다.
최대 동시 쿼리 수 30 예

제한은 데이터 소스당이며 보류 중이거나 실행 중인 상태의 쿼리에 적용됩니다.

대화형 쿼리(예:와 같은 데이터 검색 명령SELECT) 및 인덱스 쿼리(예: CREATE/와 같은 작업)를 포함합니다ALTER.
쿼리당 최대 동시 OCU 512 예

OpenSearch 컴퓨팅 단위(OCU) 이벤트 한도는 각각 vCPU 16개와 32GB 메모리가 있는 실행기 15개와 드라이버 1개를 기준으로 합니다. 동시 처리 능력을 나타냅니다.
최대 쿼리 실행 시간(분) 60 아니요 CloudWatch Logs Insights의 OpenSearch PPL/SQL 쿼리에는 한도가 적용됩니다.
오래된 쿼리 ID를 제거하기 위한 기준이 되는 기간 90일 예 OpenSearch Service가 이전 항목에 대한 쿼리 메타데이터를 제거하기 위한 기준이 되는 기간입니다. 예를 들어 90일이 지난 쿼리의 경우 GetDirectQuery 또는 GetDirectQueryResult 호출이 실패합니다.

지원됨 AWS 리전

다음은 CloudWatch Logs의 직접 쿼리에 대해 지원 AWS 리전 됩니다.

  • 아시아 태평양(뭄바이)

  • 아시아 태평양(홍콩)

  • 아시아 태평양(오사카)

  • 아시아 태평양(서울)

  • 아시아 태평양(싱가포르)

  • 아시아 태평양(시드니)

  • 아시아 태평양(도쿄)

  • 캐나다(중부)

  • 유럽(프랑크푸르트)

  • 유럽(아일랜드)

  • 유럽(스톡홀름)

  • 유럽(밀라노)

  • 유럽(스페인)

  • 미국 동부(버지니아 북부)

  • 미국 동부(오하이오)

  • 미국 서부(오리건)

  • 미국 서부(캘리포니아 북부)

  • 유럽(파리)

  • 유럽(런던)

  • 남아메리카(상파울루)