DynamoDB의 구체화된 집계 쿼리에 글로벌 보조 인덱스 사용

빠르게 변화하는 데이터에 대해 근실시간 집계와 주요 지표를 유지하는 것이 빠르게 결정을 내려야 하는 비즈니스에 점점 더 중요해지고 있습니다. 예를 들어 음악 라이브러리에서 가장 많이 다운로드된 노래를 거의 실시간으로 표시하거나 전자 상거래 플랫폼에서 범주별로 유행하는 제품을 표시해야 할 수 있습니다.

DynamoDB는 기본적으로 항목 간에 SUM 또는 COUNT 같은 집계 작업을 지원하지 않으므로 읽기 시간에 이러한 값을 계산하려면 많은 수의 항목을 스캔해야 하므로 느리고 비용이 많이 들 수 있습니다. 대신 데이터가 변경될 때 집계를 사전 계산하고 결과를 테이블에 일반 항목으로 저장할 수 있습니다. 이 패턴을 구체화된 집계라고 합니다.

예제 시나리오 및 액세스 패턴

다음 요구 사항이 있는 음악 라이브러리 애플리케이션을 고려해 보겠습니다.

이러한 규모에서 모든 다운로드 레코드를 스캔하여 읽기 시 다운로드 수를 계산하는 것은 비용이 많이 들 수 있습니다. 대신 다운로드가 발생할 때마다 업데이트되는 실행 횟수를 유지하고 효율적인 쿼리를 지원하는 방식으로 저장할 수 있습니다.

사전 계산 집계를 사용하는 이유

집계를 계산하는 방법에는 여러 가지가 있습니다. 다음 표에서는 일반적인 대안을 비교하고 DynamoDB의 구체화된 집계가 이러한 유형의 사용 사례에 가장 적합한 이유를 설명합니다.

구체화된 집계 접근 방식은 쓰기 경로를 단순하게 유지하고(다운로드만 기록하고), 집계를 비동기 프로세스로 오프로드하고, 결과를 DynamoDB에 저장하여 한 자릿수 밀리초 지연 시간으로 쿼리할 수 있습니다.

테이블 설계

이 설계는 동일한 파티션 키(songID)를 공유하지만 서로 다른 정렬 키 패턴을 사용하여 두 항목 유형을 구분하는 두 개의 항목 유형이 있는 단일 테이블을 사용합니다.

월별 집계 항목에만 Month 속성이 포함됩니다. 이러한 구분은 나중에 설명하는 희소 GSI 설계에 중요합니다.

다음 다이어그램은 두 항목 유형이 모두 있는 테이블 레이아웃을 보여줍니다.

스트림 및 AWS Lambda를 사용한 집계 파이프라인

집계 파이프라인은 다음과 같이 작동합니다.

Lambda 함수는 ADD 표현식과 함께 UpdateItem 직접 호출을 사용하여 다운로드 수를 원자적으로 증가시킵니다. 이렇게 하면 read-modify-write 레이스 조건이 방지됩니다.

import boto3

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('MusicLibrary')

def handler(event, context):
    for record in event['Records']:
        if record['eventName'] == 'INSERT':
            new_image = record['dynamodb']['NewImage']
            song_id = new_image['songID']['S']
            # Derive the month from the download timestamp
            timestamp = new_image['Timestamp']['S']
            month = timestamp[:7]  # Extract YYYY-MM

            table.update_item(
                Key={
                    'songID': song_id,
                    'SK': month
                },
                UpdateExpression='ADD DownloadCount :inc SET #m = :month',
                ExpressionAttributeNames={
                    '#m': 'Month'
                },
                ExpressionAttributeValues={
                    ':inc': 1,
                    ':month': month
                }
            )

희소 GSI 설계

집계된 결과를 효율적으로 쿼리하려면 다음 키 스키마를 사용하여 글로벌 보조 인덱스를 생성합니다.

월별 집계 항목에만 Month 속성이 포함되어 있기 때문에 이 GSI는 희소합니다. 개별 다운로드 레코드에는 이 속성이 없으므로 인덱스에서 자동으로 제외됩니다. 즉, GSI에는 테이블의 전체 항목 중 작은 부분인 사전 계산된 집계 항목만 포함됩니다.

희소 GSI는 두 가지 주요 이점을 제공합니다.

희소 인덱스 작동 방식에 대한 자세한 내용은 희소 인덱스 활용 섹션을 참조하세요.

GSI 쿼리

희소 GSI를 사용하면 여러 유형의 쿼리에 효율적으로 응답할 수 있습니다.

지정된 달에 가장 많이 다운로드된 노래를 가져오려면 다음을 수행합니다.

aws dynamodb query \
    --table-name "MusicLibrary" \
    --index-name "MonthDownloadsIndex" \
    --key-condition-expression "#m = :month" \
    --expression-attribute-names '{"#m": "Month"}' \
    --expression-attribute-values '{":month": {"S": "2018-01"}}' \
    --scan-index-forward false \
    --limit 1

ScanIndexForward를 false로 설정하면 DownloadCount가 결과를 내림차순으로 정렬하고 Limit=1이 상위 노래만 반환합니다.

지정된 달의 상위 10개 노래를 가져오려면 다음을 수행합니다.

aws dynamodb query \
    --table-name "MusicLibrary" \
    --index-name "MonthDownloadsIndex" \
    --key-condition-expression "#m = :month" \
    --expression-attribute-names '{"#m": "Month"}' \
    --expression-attribute-values '{":month": {"S": "2018-01"}}' \
    --scan-index-forward false \
    --limit 10

지정된 달에 다운로드한 모든 노래 가져오기(다운로드 수 기준으로 정렬):

aws dynamodb query \
    --table-name "MusicLibrary" \
    --index-name "MonthDownloadsIndex" \
    --key-condition-expression "#m = :month" \
    --expression-attribute-names '{"#m": "Month"}' \
    --expression-attribute-values '{":month": {"S": "2018-01"}}' \
    --scan-index-forward false

고려 사항

이 패턴을 구현할 때는 다음을 염두에 두세요.