Amazon OpenSearch Serverless의 Zstandard Codec 지원 - Amazon OpenSearch Service
ZSTD 코덱을 사용하여 인덱스 생성압축 수준성능 벤치마킹

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon OpenSearch Serverless의 Zstandard Codec 지원

인덱스 코덱은 인덱스의 저장된 필드가 압축되어 디스크와 S3에 저장되는 방식을 결정합니다. 인덱스 코덱은 압축 알고리즘을 지정하는 정적 index.codec 설정에 의해 제어됩니다. 이 설정은 인덱스 샤드 크기와 인덱스 작업 성능 모두에 영향을 미칩니다.

기본적으로 OpenSearch Serverless의 인덱스는 LZ4 압축 알고리즘과 함께 기본 코덱을 사용합니다. OpenSearch Serverless는 구성 가능한 압축 수준이 1~6인 zstd 및 zstd_no_dict 코덱도 지원합니다.

중요

index.codec는 정적 설정이므로 인덱스 생성 후에는 변경할 수 없습니다.

자세한 내용은 OpenSearch 인덱스 코덱 설명서를 참조하세요.

ZSTD 코덱을 사용하여 인덱스 생성

인덱스 생성 중에 index.codec 설정을 사용하여 ZSTD 코덱을 지정할 수 있습니다.

PUT /your_index
{
  "settings": {
    "index.codec": "zstd"
  }
}

압축 수준

ZSTD 코덱은 index.codec.compression_level 설정을 통해 선택적 압축 수준을 지원하며 [1, 6] 범위의 정수를 허용합니다. 압축 수준이 높을수록 압축 비율이 향상되지만(스토리지가 작을수록) 압축 및 압축 해제 속도가 느려집니다. 기본 압축 수준은 3입니다.

PUT /your_index
{
  "settings": {
    "index.codec": "zstd",
    "index.codec.compression_level": 2
  }
}

성능 벤치마킹

nyc_taxi 데이터 세트를 사용한 벤치마크 테스트를 기반으로 ZSTD 압축은 , zstd zstd_no_dict및 압축 수준의 다양한 조합에서 기준과 비교하여 26~32% 더 나은 압축을 달성했습니다.

지표 ZSTD L1 ZSTD L6 ZSTD_NO_DICT L1 ZSTD_NO_DICT L6
인덱스 크기 축소 28.10% 32% 26.90% 28.70%
인덱싱 처리량 변경 -0.50% -23.80% -0.50% -5.30%
매치 전체 쿼리 p90 지연 시간 개선 -16.40% 29.50% -16.40% 23.40%
범위 쿼리 p90 지연 시간 개선 90.90% 92.40% -282.90% 92.50%
거리 금액 p90 Agg 지연 시간 개선 2% 24.70% 2% 13.80%

자세한 내용은 AWS OpenSearch 블로그를 참조하세요.