신중한 고려 끝에 Amazon Kinesis Data Analytics for SQL 애플리케이션을 중단하기로 결정했습니다. 1. **2025년 9월 1**일부터 Amazon Kinesis Data Analytics for SQL 애플리케이션에 대한 버그 수정은 제공되지 않습니다. 곧 중단될 예정이므로 지원이 제한될 예정이기 때문입니다. 2. **2025년 10월 15**일부터 새 Kinesis Data Analytics for SQL 애플리케이션을 생성할 수 없습니다. 3. **2026년 1월 27**일부터 애플리케이션이 삭제됩니다. Amazon Kinesis Data Analytics for SQL 애플리케이션을 시작하거나 작동할 수 없게 됩니다. 그 시점부터 Amazon Kinesis Data Analytics for SQL에 대한 지원을 더 이상 이용할 수 없습니다. 자세한 내용은 [Amazon Kinesis Data Analytics for SQL 애플리케이션 단종](discontinuation.md) 단원을 참조하십시오. 기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # Amazon Kinesis Data Analytics for SQL 애플리케이션: 작동 방식 **참고** 2023년 9월 12일 이후에는 Kinesis Data Analytics for SQL의 기존 사용자가 아닌 경우, Kinesis Data Firehose를 소스로 사용하여 새 애플리케이션을 생성할 수 없습니다. 자세한 설명은 [제한](https://docs.aws.amazon.com//kinesisanalytics/latest/dev/limits.html)을 참조하십시오. Amazon Kinesis Data Analytics에서 *애플리케이션*은 사용자 계정에서 생성할 수 있는 기본 리소스입니다. AWS Management Console 또는 Kinesis Data Analytics API를 사용하여 애플리케이션을 생성하고 관리할 수 있습니다. Kinesis Data Analytics는 애플리케이션 관리용 API 작업을 제공합니다. API 작업 목록은 [작업](API_Operations.md) 섹션을 참조하십시오. Kinesis Data Analytics 애플리케이션은 실시간으로 스트리밍 데이터를 연속적으로 읽고 처리합니다. SQL을 사용하여 애플리케이션 코드를 작성하여 수신 스트리밍 데이터를 처리하고 출력을 생성합니다. 그러면, Kinesis Data Analytics가 출력을 구성 목적지에 작성합니다. 다음 다이어그램은 일반적인 애플리케이션 아키텍처를 보여 줍니다. ![\[데이터 분석 애플리케이션, 스트리밍 입력 소스, 참조 데이터 및 애플리케이션 출력을 보여주는 다이어그램\]](http://docs.aws.amazon.com/ko_kr/kinesisanalytics/latest/dev/images/kinesis-app.png) 각 애플리케이션은 명칭, 설명, 버전 ID 및 상태를 갖습니다. 애플리케이션을 처음 생성하면 Amazon Kinesis Data Analytics가 버전 ID를 할당합니다. 임의의 애플리케이션 구성을 업데이트하면 이 버전 ID도 업데이트됩니다. 예를 들어 입력 구성을 추가하거나, 참조 데이터 소스를 추가 또는 삭제하거나, 출력 구성을 추가 또는 삭제하거나, 애플리케이션 코드를 업데이트하면 Kinesis Data Analytics 가 현재 애플리케이션 버전 ID를 업데이트합니다. 또한 Kinesis Data Analytics는 애플리케이션이 생성되고 마지막으로 업데이트된 시기에 대한 타임스탬프를 유지합니다. 이러한 기본 속성에 더해, 각 애플리케이션은 다음으로 구성됩니다: + **입력** – 애플리케이션의 스트리밍 소스입니다. Kinesis 데이터 스트림 또는 Firehose 데이터 전송 스트림을 스트리밍 소스로 선택할 수 있습니다. 입력 구성에서 스트리밍 소스를 애플리케이션 내 입력 스트림에 매핑합니다. 애플리케이션 내 스트림은 지속적으로 업데이트되는 표와 같습니다. 이 표에서 `SELECT` 및 `INSERT SQL` 작업을 수행할 수 있습니다. 중간 쿼리 결과를 저장하도록 애플리케이션 코드에서 애플리케이션 내 스트림을 추가로 생성할 수 있습니다.   선택적으로 스트리밍 소스를 복수의 애플리케이션 내 스트림에 분할하여 처리량을 향상시킬 수 있습니다. 자세한 정보는 [한도](limits.md) 및 [애플리케이션 입력 구성](how-it-works-input.md) 섹션을 참조하십시오.   Amazon Kinesis Data Analytics는 각 애플리케이션 스트림 내에 [타임스탬프와 ROWTIME 열](timestamps-rowtime-concepts.md)이라는 타임스탬프 열을 제공합니다. 시간 기반 윈도우 쿼리에서 이 열을 사용할 수 있습니다. 자세한 설명은 [윈도우 모드 쿼리](windowed-sql.md) 섹션을 참조하십시오.   선택적으로 참조 데이터 소스를 구성하여 애플리케이션 내에서의 입력 데이터 스트림을 보강할 수 있습니다. 그 결과물이 애플리케이션 내 참조 표입니다. 참조 데이터는 S3 버킷에 객체로 저장해야 합니다. 애플리케이션이 시작하면 Amazon Kinesis Data Analytics이 Amazon S3 객체를 읽고 애플리케이션 내 표를 생성합니다. 자세한 설명은 [애플리케이션 입력 구성](how-it-works-input.md) 섹션을 참조하십시오.   + **애플리케이션 코드** – 입력을 처리하고 출력을 생산하는 일련의 SQL 문입니다. 애플리케이션 내 스트림과 참조 표에 대해 SQL 문을 작성할 수 있습니다. JOIN 쿼리를 작성하여 이 두 소스의 데이터를 결합할 수도 있습니다.   Kinesis Data Analytics에서 지원되는 SQL 언어 요소에 대한 자세한 설명은 [Amazon Kinesis Data Analytics SQL 참조](https://docs.aws.amazon.com/kinesisanalytics/latest/sqlref/analytics-sql-reference.html)를 참고하십시오.   가장 간단한 형태의 애플리케이션 코드는 스트리밍 입력에서 선택하여 결과를 스트리밍 출력에 삽입하는 단일 SQL 문이 될 수 있습니다. 또한, 하나의 출력이 다음 SQL 문의 입력으로 공급되는 일련의 SQL 문이 될 수도 있습니다. 뿐만 아니라 입력 스트림을 여러 스트림으로 분할하는 애플리케이션 코드를 작성할 수 있습니다. 그런 다음 추가 쿼리를 적용하여 이러한 스트림을 처리할 수 있습니다. 자세한 설명은 [애플리케이션 코드](how-it-works-app-code.md) 섹션을 참조하십시오.   + **출력** – 애플리케이션 내 코드에서 쿼리 결과가 애플리케이션 내 스트림으로 향합니다. 중간 결과를 보관하도록 애플리케이션 코드에서 하나 이상의 애플리케이션 내 스트림을 추가로 생성할 수 있습니다. 그런 다음 애플리케이션 출력(애플리케이션 내 출력 스트림이라고도 함)을 외부 대상에 보관하는 애플리케이션 내 스트림에 데이터를 유지하도록 애플리케이션 출력을 선택적으로 구성할 수 있습니다. 외부 대상은 Kinesis 데이터 스트림 또는 Firehose 전송 스트림이 될 수 있습니다. 이러한 목적지에 대해 다음을 참조하십시오: + Amazon S3, Amazon Redshift 또는 Amazon OpenSearch Service (OpenSearch Service)에 결과를 작성하도록 Firehose 전송 스트림을 구성할 수 있습니다.   + 애플리케이션 출력을 Amazon S3 또는 Amazon Redshift로 맞춤 목적지로 할 수도 있습니다. 이렇게 하려면 출력 구성에서 Kinesis 데이터 스트림을 목적지로 지정해야 합니다. 그런 다음 스트림을 폴링하고 Lambda 함수를 호출 AWS Lambda 하도록를 구성합니다. 사용자의 Lambda 함수 코드는 스트림 데이터를 입력으로 수신합니다. Lambda 함수 코드에서 수신 데이터를 맞춤 대상에 작성할 수 있습니다. 자세한 내용은 [ Amazon Kinesis Data Analytics AWS Lambda 에서 사용을](https://docs.aws.amazon.com/lambda/latest/dg/with-kinesis.html) 참조하세요. 자세한 내용은 [애플리케이션 출력 구성](how-it-works-output.md) 단원을 참조하십시오. 또한 다음 사항에 유의하십시오: + Amazon Kinesis Data Analytics는 스트리밍 소스로부터 오는 레코드를 읽고 애플리케이션 출력을 외부 대상에 작성할 수 있는 권한이 필요합니다. IAM 역할을 사용하여 그와 같은 권한을 부여합니다.   + Kinesis Data Analytics는 각 애플리케이션의애플리케이션 내 오류 스트림을 자동으로 제공합니다. 애플리케이션이 특정 레코드를 처리하는 동안 문제가 발생할 경우(예: 유형 불일치 또는 지연 도착) 해당 레코드는 오류 스트림에 작성됩니다. 추가 평가를 위해 오류 스트림 데이터가 외부 목적지 향하도록 애플리케이션 출력을 Kinesis Data Analytics로 가도록 구성할 수 있습니다. 자세한 설명은 [오류 처리](error-handling.md) 섹션을 참조하십시오.   + Amazon Kinesis Data Analytics는 애플리케이션 출력 레코드가 구성 목적지에 작성되도록 합니다. 애플리케이션 중단을 경험하더라도 '최소 1회' 처리 및 전송 모델을 사용합니다. 자세한 설명은 [애플리케이션 출력을 외부 대상에 유지하기 위한 전송 모델](failover-checkpoint.md) 섹션을 참조하십시오. **Topics** + [애플리케이션 입력 구성](how-it-works-input.md) + [애플리케이션 코드](how-it-works-app-code.md) + [애플리케이션 출력 구성](how-it-works-output.md) + [오류 처리](error-handling.md) + [처리량 증가를 위해 애플리케이션 용량을 자동으로 확장 또는 축소](how-it-works-autoscaling.md) + [태그 지정 사용](how-tagging.md) # 애플리케이션 입력 구성 Amazon Kinesis Data Analytics 애플리케이션이 단일 스트리밍 소스로부터 입력을 수신할 수도 있고, 선택적으로 하나의 참조 데이터 소스를 사용할 수도 있습니다. 자세한 설명은 [Amazon Kinesis Data Analytics for SQL 애플리케이션: 작동 방식](how-it-works.md) 섹션을 참조하십시오. 이 주제 섹션에서는 애플리케이션 입력 소스에 대해 설명합니다. **Topics** + [스트리밍 소스 구성](#source-streaming) + [참조 소스 구성](#source-reference) + [JSONPath로 작업하기](about-json-path.md) + [스트리밍 소스 요소를 SQL 입력 열에 매핑하기](sch-mapping.md) + [스트리밍 데이터에 대해 스키마 검색 기능 사용](sch-dis.md) + [정적 데이터에 대해 스키마 검색 기능 사용](sch-dis-ref.md) + [Lambda 함수를 사용하여 데이터 사전 처리](lambda-preprocessing.md) + [입력 스트림 병렬화를 통한 처리량 증대](input-parallelism.md) ## 스트리밍 소스 구성 애플리케이션을 생성할 때 스트리밍 소스를 지정합니다. 애플리케이션을 만든 후 입력을 수정할 수도 있습니다. Amazon Kinesis Data Analytics는 애플리케이션에 다음과 같은 스트리밍 소스를 지원합니다. + Kinesis 데이터 스트림 + Firehose 전송 스트림 **참고** 2023년 9월 12일 이후에는 Kinesis Data Analytics for SQL의 기존 사용자가 아닌 경우, Kinesis Data Firehose를 소스로 사용하여 새 애플리케이션을 생성할 수 없습니다. `KinesisFirehoseInput`과 함께 Kinesis Data Analytics for SQL 애플리케이션을 사용하는 기존 고객은 Kinesis Data Analytics를 사용하여 기존 계정 내에서 `KinesisFirehoseInput`와 함께 애플리케이션을 계속 추가할 수 있습니다. 기존 고객이 Kinesis Data Analytics for SQL 애플리케이션을 `KinesisFirehoseInput`과 함께 사용하여 새 계정을 생성하려는 경우 서비스 한도 증가 양식을 통해 사례를 생성할 수 있습니다. 자세한 정보는 [AWS Support Center](https://console.aws.amazon.com/support/home#/) 섹션을 참조하십시오. 프로덕션으로 승격하기 전에 항상 새 애플리케이션을 테스트하는 것이 좋습니다. **참고** Kinesis 데이터 스트림이 암호화되었다면 Kinesis Data Analytics는 추가 구성 없이도 암호화된 시스템 내의 데이터에 액세스할 수 있습니다. Kinesis Data Analytics는 Kinesis Data Streams에서 읽은 암호화되지 않은 데이터는 저장하지 않습니다. 자세한 설명은 [Kinesis Data Streams을 위한 서버측 암호화란 무엇인가?](https://docs.aws.amazon.com/streams/latest/dev/what-is-sse.html)를 참조하십시오. Kinesis Data Analytics는 새로운 데이터에 대해 스트리밍 소스를 지속적으로 폴링하여 입력 구성에 따라 애플리케이션 내 스트림에서 수집합니다. **참고** 애플리케이션의 입력으로 Kinesis 스트림을 추가해도 스트림의 데이터에는 영향을 미치지 않습니다. Firehose 전송 스트림을 비롯한 다른 리소스도 동일한 Kinesis 스트림에 액세스하면 Firehose 전송 스트림과 Kinesis Data Analytics 애플리케이션 모두 동일한 데이터를 수신합니다. 그러나 처리량 및 조절이 영향을 받을 수 있습니다. 그러면 애플리케이션 코드가 이를 애플리케이션 내 스트림에서 쿼리할 수 있습니다. 입력 구성의 일부로 다음을 제공합니다: + **스트리밍 소스** – 스트림의 Amazon 리소스 이름(ARN)과 Kinesis Data Analytics가 사용자를 대신하여 스트림에 액세스할 수 있는 권한을 주는 IAM 역할을 제공합니다. + **애플리케이션 내 스트림 명칭의 접두사** – 애플리케이션을 시작할 때 Kinesis Data Analytics가 지정 애플리케이션 내 스트림을 생성합니다. 그러면 애플리케이션 코드에서 이 명칭을 사용하여 애플리케이션 내 스트림에 액세스합니다. 선택적으로 스트리밍 소스를 복수의 애플리케이션 내 스트림에 매핑할 수 있습니다. 자세한 설명은 [한도](limits.md) 섹션을 참조하십시오. 이 경우 Amazon Kinesis Data Analytics가 다음과 같은 명칭을 지니는 지정된 수의 애플리케이션 내 스트림을 생성합니다: *접두사*`_001`, *접두사*`_002`와 *접두사*`_003`. 기본 설정으로 Kinesis Data Analytics는 스트리밍 소스를 *접두사*`_001`라고 하는 하나의 애플리케이션 내 스트림에 매핑합니다. 애플리케이션 내 스트림에 행을 삽입할 수 있는 속도에는 한도가 있습니다. 따라서 Kinesis Data Analytics는 그와 같은 애플리케이션 내 스트림을 여러 개 지원하므로 레코드를 훨씬 더 빠른 속도로 애플리케이션에 가져올 수 있습니다. 애플리케이션이 스트리밍 소스에서 데이터를 따라 잡지 못할 경우 병렬 처리 단위를 추가하여 성능을 개선할 수 있습니다. + **스키마 매핑** – 스트리밍 소스의 레코드 형식(JSON, CSV)에 대해 명시합니다. 또한 스트림 내 각 레코드를 생성되는 애플리케이션 내 스트림 내 열로 매핑하는 방식에 대해서도 설명합니다. 여기에 열 명칭과 데이터 유형을 입력합니다. **참고** Kinesis Data Analytics는 입력 애플리케이션 내 스트림을 생성할 때 식별자(스트림 명칭 및 열 명칭) 주위에 물음표를 추가합니다. 이 스트림 및 열을 쿼리할 때는 대소문자를 똑같이 구분하여 따옴표로 지정해야 합니다. 식별자에 대한 자세한 설명은 *Amazon Managed Service for Apache Flink SQL 참조*에서 [식별자](https://docs.aws.amazon.com/kinesisanalytics/latest/sqlref/sql-reference-identifiers.html)를 참조하십시오. Amazon Kinesis Data Analytics 콘솔에서 애플리케이션을 생성하고 입력을 구성할 수 있습니다. 그런 다음에는 콘솔이 필요한 API 호출을 수행합니다. 새 애플리케이션 API를 생성하거나 기존 애플리케이션에 입력 구성을 추가할 때 애플리케이션 입력을 구성할 수 있습니다. 자세한 정보는 [CreateApplication](API_CreateApplication.md) 및 [AddApplicationInput](API_AddApplicationInput.md) 섹션을 참조하십시오. 다음은 `Createapplication` API 요청 본문의 입력 구성 부분입니다. ``` "Inputs": [ { "InputSchema": { "RecordColumns": [ { "Mapping": "string", "Name": "string", "SqlType": "string" } ], "RecordEncoding": "string", "RecordFormat": { "MappingParameters": { "CSVMappingParameters": { "RecordColumnDelimiter": "string", "RecordRowDelimiter": "string" }, "JSONMappingParameters": { "RecordRowPath": "string" } }, "RecordFormatType": "string" } }, "KinesisFirehoseInput": { "ResourceARN": "string", "RoleARN": "string" }, "KinesisStreamsInput": { "ResourceARN": "string", "RoleARN": "string" }, "Name": "string" } ] ``` ## 참조 소스 구성 또한 필요에 따라 기존 애플리케이션에 참조 데이터 소스를 추가하여 스트리밍 소스에서 들어오는 데이터를 보강할 수 있습니다. 참조 데이터는 Amazon S3 버킷에 객체로 저장해야 합니다. 애플리케이션이 시작되면 Amazon Kinesis Data Analytics이 Amazon S3 객체를 읽고 애플리케이션 내 참조 표를 생성합니다. 그러면 애플리케이션 코드에서 이를 애플리케이션 내 스트림에 조인할 수 있습니다. 지원되는 형식(CSV, JSON)을 사용하여 참조 데이터를 Amazon S3 객체에 저장합니다. 예를 들어, 애플리케이션이 주식 주문에 대한 분석을 수행한다고 가정해 보겠습니다. 스트리밍 소스에 대해 다음이 레코드 형식을 취합니다. ``` Ticker, SalePrice, OrderId AMZN $700 1003 XYZ $250 1004 ... ``` 이 경우, 참조 데이터 소스를 유지하여 회사 명칭과 같은 각 주식 티커에 관한 상세 정보를 제공하는 것을 고려할 수 있을 것입니다. ``` Ticker, Company AMZN, Amazon XYZ, SomeCompany ... ``` API 또는 콘솔을 사용하여 애플리케이션 참조 데이터 소스를 추가할 수 있습니다. Amazon Kinesis Data Analytics는 참조 데이터 소스를 관리하기 위해 다음과 같은 API 작업을 제공합니다. + [AddApplicationReferenceDataSource](API_AddApplicationReferenceDataSource.md) + [UpdateApplication](API_UpdateApplication.md) 콘솔을 사용하여 참조 데이터를 추가하는 방법에 대한 자세한 설명은 [예: 참조 데이터를 Kinesis Data Analytics 애플리케이션에 추가](app-add-reference-data.md) 섹션을 참조하십시오. 다음 사항에 유의하세요. + 애플리케이션이 실행 중이면 Kinesis Data Analytics는 애플리케이션 내 참조 표를 생성한 다음 바로 참조 표를 로드합니다. + 애플리케이션이 실행 중이 아니면 (예: 대기 모드에 있을 때) Kinesis Data Analytics는 업데이트된 입력 구성만 저장합니다. 애플리케이션 실행이 시작되면 Kinesis Data Analytics가 참조 표를 애플리케이션에 표로 로드합니다. Kinesis Data Analytics가 애플리케이션 내 참조 표를 생성한 후 데이터를 새로 고치려고 한다고 가정해 보겠습니다. 아마도 Amazon S3 객체를 업데이트했거나 다른 Amazon S3 객체를 사용하려 하려고 할 것입니다. 이 경우, [UpdateApplication](API_UpdateApplication.md)을 명시적으로 호출하거나, 콘솔에서 **작업**, **참조 데이터 표 동기화**를 선택할 수 있습니다. Kinesis Data Analytics는 애플리케이션 내 참조 표를 자동으로 새로 고치지 않습니다. 참조 데이터 소스로 생성할 수 있는 Amazon S3 객체의 크기에는 한도가 있습니다. 자세한 설명은 [한도](limits.md) 섹션을 참조하십시오. 객체 크기가 한도를 초과하는 경우 Kinesis Data Analytics는 데이터를 로드할 수 없습니다. 실행 중에 애플리케이션 상태는 표시되지만, 데이터는 읽혀지지 않습니다. 참조 데이터 소스를 추가할 때 다음의 정보를 제공합니다. + **S3 버킷 및 객체 키 명칭** – 버킷 명칭 및 객체 키 외에도 Kinesis Data Analytics가 사용자를 대신하여 객체를 읽을 권한을 줄 IAM 역할도 제공합니다. + **애플리케이션 내 참조 표 명칭** – Kinesis Data Analytics가 이 애플리케이션 내 표를 생성하고 Amazon S3 객체를 읽어서 표를 채웁니다. 이는 애플리케이션 코드에서 지정한 표 명칭입니다. + **스키마 매핑** – 레코드 형식(JSON, CSV), Amazon S3 객체에 저장된 데이터의 인코딩을 기술합니다. 각 데이터 요소가 애플리케이션 내 참조 표에 있는 열에 어떻게 매핑되는지도 기술합니다. 다음은 `AddApplicationReferenceDataSource` API 요청의 요청 본문입니다. ``` { "applicationName": "string", "CurrentapplicationVersionId": number, "ReferenceDataSource": { "ReferenceSchema": { "RecordColumns": [ { "IsDropped": boolean, "Mapping": "string", "Name": "string", "SqlType": "string" } ], "RecordEncoding": "string", "RecordFormat": { "MappingParameters": { "CSVMappingParameters": { "RecordColumnDelimiter": "string", "RecordRowDelimiter": "string" }, "JSONMappingParameters": { "RecordRowPath": "string" } }, "RecordFormatType": "string" } }, "S3ReferenceDataSource": { "BucketARN": "string", "FileKey": "string", "ReferenceRoleARN": "string" }, "TableName": "string" } } ``` # JSONPath로 작업하기 **참고** 2023년 9월 12일 이후에는 Kinesis Data Analytics for SQL의 기존 사용자가 아닌 경우, Kinesis Data Firehose를 소스로 사용하여 새 애플리케이션을 생성할 수 없습니다. 자세한 설명은 [제한](https://docs.aws.amazon.com//kinesisanalytics/latest/dev/limits.html)을 참조하십시오. JSONPath는 JSON 객체의 요소를 쿼리하는 표준화된 방법입니다. JSONPath는 경로 표현식을 사용하여 JSON 문서에서 요소, 중첩된 요소 및 배열을 탐색합니다. JSON에 대한 자세한 설명은 [JSON 소개](http://www.json.org/)를 참조하십시오. Amazon Kinesis Data Analytics는 애플리케이션의 소스 스키마에 JSONPath 표현식을 사용하여 스트리밍 소스에서 JSON 형식의 데이터가 포함된 데이터 요소를 식별합니다. 스트리밍 데이터를 애플리케이션의 입력 스트림에 매핑하는 방법에 대한 자세한 설명은 [스트리밍 소스 요소를 SQL 입력 열에 매핑하기](sch-mapping.md) 섹션을 참조하십시오. ## JSONPath로 JSON 요소에 액세스하기 JSONPath 표현식을 사용하여 JSON 형식 데이터의 다양한 요소에 액세스하는 방법을 알아볼 수 있습니다. 이 섹션의 예에서는 소스 스트림에 다음 JSON 레코드가 포함된 것으로 가정합니다. ``` { "customerName":"John Doe", "address": { "streetAddress": [ "number":"123", "street":"AnyStreet" ], "city":"Anytown" } "orders": [ { "orderId":"23284", "itemName":"Widget", "itemPrice":"33.99" }, { "orderId":"63122", "itemName":"Gadget", "itemPrice":"22.50" }, { "orderId":"77284", "itemName":"Sprocket", "itemPrice":"12.00" } ] } ``` ### JSON 요소에 액세스 JSONPath를 사용하여 JSON 데이터에 있는 요소를 쿼리하려면 다음의 구문을 사용합니다. 여기에서, `$`는 데이터 계층의 루트를 나타내고 `elementName`은 쿼리에 대한 요소 노드의 명칭입니다. ``` $.elementName ``` 다음 표현식은 앞의 JSON 예제에 있는 `customerName` 요소를 쿼리하는 것이다. ``` $.customerName ``` 앞의 표현식은 앞선 JSON 레코드로부터 다음을 반환합니다. ``` John Doe ``` **참고** 경로 표현식은 대/소문자를 구분합니다. 표현식 `$.customername`은 앞선 JSON 예로부터 `null`을 반환합니다. **참고** 경로 표현식에서 지정한 위치에 요소가 나타나지 않을 경우, 표현식은 `null`을 반환합니다. 다음 표현식은 앞선 JSON 예로부터 `null`을 반환하는데, 일치하는 요소가 없기 때문입니다. ``` $.customerId ``` ### 중첩된 JSON 요소에 대한 액세스 중첩된 JSON 요소를 쿼리하려면 다음 문구를 사용합니다. ``` $.parentElement.element ``` 다음 표현식은 앞의 JSON 예제에 있는 `city` 요소를 쿼리하는 것이다. ``` $.address.city ``` 앞의 표현식은 앞선 JSON 레코드로부터 다음을 반환합니다. ``` Anytown ``` 다음 문구를 사용하여 하위 요소를 쿼리할 수 있습니다. ``` $.parentElement.element.subElement ``` 다음 표현식은 앞의 JSON 예제에 있는 `street` 요소를 쿼리하는 것이다. ``` $.address.streetAddress.street ``` 앞의 표현식은 앞선 JSON 레코드로부터 다음을 반환합니다. ``` AnyStreet ``` ### 배열 액세스 다음과 같은 방법으로 JSON 배열의 데이터에 액세스할 수 있습니다. + 배열의 모든 요소를 단일 행으로 검색합니다. + 배열의 각 요소를 별도의 행으로 검색합니다. #### 배열의 모든 요소를 단일 행으로 검색 배열의 전체 콘텐츠를 단일 행으로 쿼리하려면 다음의 구문을 사용합니다. ``` $.arrayObject[0:] ``` 다음 표현식은 이 섹션에 사용된 위의 JSON 예에 있는 `orders` 요소의 전체 콘텐츠를 쿼리합니다. 단일 열 단일 행에 있는 배열 콘텐츠를 반환합니다. ``` $.orders[0:] ``` 앞의 표현식은 이 섹션에 사용된 예 JSON 레코드로부터 다음을 반환합니다. ``` [{"orderId":"23284","itemName":"Widget","itemPrice":"33.99"},{"orderId":"61322","itemName":"Gadget","itemPrice":"22.50"},{"orderId":"77284","itemName":"Sprocket","itemPrice":"12.00"}] ``` #### 배열의 모든 요소를 별도의 행으로 검색 배열의 개별 요소를 별도의 행으로 쿼리하려면 다음의 구문을 사용합니다. ``` $.arrayObject[0:].element ``` 다음 표현식은 위의 JSON 예에 있는 `orderId` 요소를 쿼리하는 것으로 각 배열 요소를 별도의 행으로 반환합니다. ``` $.orders[0:].orderId ``` 위의 표현식은 앞에 나온 JSON 레코드로부터 다음을 반환합니다. 이때 각 데이터 항목은 별도의 행으로 반환됩니다. **** | | | --- | | 23284 | | 63122 | | 77284 | **참고** 비배열 요소를 쿼리하는 표현식이 개별 배열 요소를 쿼리하는 스키마에 포함되어 있는 경우, 비배열 요소는 해당 배열에 있는 각 요소에 대해 반복됩니다. 예를 들어, 위의 JSON 예에 대한 스키마가 다음의 표현식을 포함하고 있다고 가정해 보겠습니다. \$1.customerName \$1.orders[0:].orderID 이 경우, 예 입력 스트림 요소로부터 반환된 데이터 행은 다음과 비슷할 것입니다. 이때 모든 `orderId` 요소에 대해 `name` 요소가 반복됩니다. **** | | | | --- |--- | | John Doe | 23284 | | John Doe | 63122 | | John Doe | 77284 | **참고** Amazon Kinesis Data Analytics에서 배열 표현식에는 다음 제한이 적용됩니다: 배열 표현식에서는 한 가지 레벨의 역참조만 지원됩니다. 다음의 표현식 형식은 지원되지 않습니다. ``` $.arrayObject[0:].element[0:].subElement ``` 한 가지 배열만 스키마에서 평면화할 수 있습니다. 복수의 어레이가 참조되어 – 어레이에 모든 요소가 포함된 하나의 행으로 반환될 수 있습니다. 그러나 하나의 어레이만 개별 행으로 반환되는 요소의 각각을 가질 수 있습니다. 다음 형식의 요소를 포함하는 스키마는 유효합니다. 이 형식은 두 번째 어레이의 콘텐츠를 단일 열로 반환합니다. 첫 번째 어레이에 있는 모든 요소에 대해 반복됩니다. ``` $.arrayObjectOne[0:].element $.arrayObjectTwo[0:] ``` 다음 형식의 요소를 포함하는 스키마는 유효하지 않습니다. ``` $.arrayObjectOne[0:].element $.arrayObjectTwo[0:].element ``` ## 기타 고려 사항 JSONPath 작업 시 추가적인 고려 사항은 다음과 같습니다. + 애플리케이션 스키마의 JSONPath 표현식에 있는 개별 요소가 배열에 액세스하지 않는 경우, 처리된 각 JSON 레코드에 대해 애플리케이션의 입력 스트림에 단일 행이 생성됩니다. + 배열을 평면화할 때(즉, 해당 요소가 개별 행으로 반환됨) 누락된 요소가 있을 경우 애플리케이션 내 스트림에 null 값이 생성됩니다. + 배열은 항상 하나 이상의 행에 대해 평면화됩니다. 어떤 값도 반환되지 않는 경우(즉, 어레이가 비어 있거나 요소에 대한 쿼리가 없는 경우) 모든 null 값인 단일 행이 반환됩니다. 다음 표현식은 앞선 JSON 예로부터 null 값을 지닌 레코드를 반환하는데, 지정된 경로에 일치하는 요소가 없기 때문입니다. ``` $.orders[0:].itemId ``` 앞의 표현식은 앞선 JSON 예 레코드로부터 다음을 반환합니다. **** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/kinesisanalytics/latest/dev/about-json-path.html) ## 관련 항목 + [JSON 소개](http://www.json.org/) # 스트리밍 소스 요소를 SQL 입력 열에 매핑하기 **참고** 2023년 9월 12일 이후에는 Kinesis Data Analytics for SQL의 기존 사용자가 아닌 경우, Kinesis Data Firehose를 소스로 사용하여 새 애플리케이션을 생성할 수 없습니다. 자세한 설명은 [한도](https://docs.aws.amazon.com//kinesisanalytics/latest/dev/limits.html)를 참조하십시오. Amazon Kinesis Data Analytics에서는 표준 SQL을 사용하여 JSON 또는 CSV 형식의 스트리밍 데이터를 처리하고 분석할 수 있습니다. + 스트리밍 CSV 데이터를 처리하고 분석하려면 입력 스트림의 열에 대해 열 명칭과 데이터 유형을 할당합니다. 애플리케이션이 입력 스트림에서 열 정의에 따라 순서대로 열을 하나씩 가져옵니다. 애플리케이션 입력 스트림에 있는 열을 모두 포함할 필요는 없지만 소스 스트림에서 열을 건너뛸 수는 없습니다. 예를 들어, 5개 요소를 포함하는 입력 스트림으로부터 첫 3개 열을 가져올 수 있으나 1번, 2번 및 4번 열만을 가져올 수는 없습니다. + 스트리밍 JSON 데이터를 처리하고 분석하려면 JSONPath 표현식을 사용하여 JSON 요소를 스트리밍 소스로부터 입력 스트림의 SQL 열로 매핑합니다. Amazon Kinesis Data Analytics에서 JSONPath을 사용하는 방법은 [JSONPath로 작업하기](about-json-path.md)을 참조하십시오. SQL 표에 있는 열은 JSON 유형으로부터 매핑된 데이터 유형을 가집니다. 지원되는 데이터 유형은 [데이터 유형](https://docs.aws.amazon.com/kinesisanalytics/latest/sqlref/sql-reference-data-types.html) 섹션을 참조하십시오. JSON 데이터의 SQL 데이터 변환에 관한 상세 내용은 [JSON 데이터 유형을 SQL 데이터 유형으로 매핑하기](#sch-mapping-datatypes) 섹션을 참조하십시오. 입력 스트림 구성 방법에 관한 자세한 정보는 [애플리케이션 입력 구성](how-it-works-input.md) 섹션을 참조하십시오. ## JSON 데이터를 SQL 열에 매핑하기 AWS Management Console 또는 Kinesis Data Analytics API를 사용하여 JSON 요소를 입력 열에 매핑할 수 있습니다. + 콘솔을 사용하여 요소를 열에 매핑하는 방법은 [스키마 편집기로 작업](console-summary-edit-schema.md)을 참조하십시오. + Kinesis Data Analytics API를 사용하여 요소를 열에 매핑하는 방법은 다음 섹션을 참조하십시오. JSON 요소를 애플리케이션 내 입력 스트림에 있는 열에 매핑하려면 각 열에 대해 다음의 정보가 스키마에 필요합니다. + **소스 표현식:** 열의 데이터 위치를 식별하는 JSONPath 식입니다. + **열 명칭:** SQL 쿼리에서 데이터를 참조하는 데 사용하는 명칭입니다. + **데이터 형식: **열의 SQL 데이터 형식입니다. ## API 사용 스트리밍 소스의 요소를 입력 열로 매핑할 때 Kinesis Data Analytics API [CreateApplication](API_CreateApplication.md) 작업을 사용할 수 있습니다. 애플리케이션 내 스트림을 생성하기 위해서는 SQL에 사용되는 스키마화된 버전으로 데이터를 변환할 스키마를 지정합니다. [CreateApplication](API_CreateApplication.md) 작업은 단일 스트리밍 소스로부터 입력을 수신하도록 애플리케이션을 구성합니다. JSON 요소 또는 CSV 열을 SQL 열로 매핑하려면 [SourceSchema](API_SourceSchema.md) `RecordColumns` 어레이에서 [RecordColumn](API_RecordColumn.md)을 생성합니다. [RecordColumn](API_RecordColumn.md) 객체에는 다음의 스키마가 있습니다. ``` { "Mapping": "String", "Name": "String", "SqlType": "String" } ``` [RecordColumn](API_RecordColumn.md) 객체에 있는 필드는 다음의 값을 가집니다. + `Mapping`: 입력 스트림에서 데이터의 위치를 식별하는 JSONPath 표현식입니다. CSV 형식의 소스 스트림에 대한 입력 스키마의 경우는 이 값이 존재하지 않습니다. + `Name`: 애플리케이션 내 SQL 데이터 스트림에 있는 열의 명칭입니다. + `SqlType`: 애플리케이션 내 SQL 데이터 스트림에 있는 데이터의 유형입니다. ### JSON 입력 스키마 예 다음 예는 JSON 스키마에 대한 `InputSchema` 값의 형식을 보여 줍니다. ``` "InputSchema": { "RecordColumns": [ { "SqlType": "VARCHAR(4)", "Name": "TICKER_SYMBOL", "Mapping": "$.TICKER_SYMBOL" }, { "SqlType": "VARCHAR(16)", "Name": "SECTOR", "Mapping": "$.SECTOR" }, { "SqlType": "TINYINT", "Name": "CHANGE", "Mapping": "$.CHANGE" }, { "SqlType": "DECIMAL(5,2)", "Name": "PRICE", "Mapping": "$.PRICE" } ], "RecordFormat": { "MappingParameters": { "JSONMappingParameters": { "RecordRowPath": "$" } }, "RecordFormatType": "JSON" }, "RecordEncoding": "UTF-8" } ``` ### CSV 입력 스키마 예 다음 예는 CSV(쉼표로 분리된 값) 형식 스키마에 대한 `InputSchema` 값의 형식을 보여 줍니다. ``` "InputSchema": { "RecordColumns": [ { "SqlType": "VARCHAR(16)", "Name": "LastName" }, { "SqlType": "VARCHAR(16)", "Name": "FirstName" }, { "SqlType": "INTEGER", "Name": "CustomerId" } ], "RecordFormat": { "MappingParameters": { "CSVMappingParameters": { "RecordColumnDelimiter": ",", "RecordRowDelimiter": "\n" } }, "RecordFormatType": "CSV" }, "RecordEncoding": "UTF-8" } ``` ## JSON 데이터 유형을 SQL 데이터 유형으로 매핑하기 JSON 데이터 유형은 애플리케이션의 입력 스키마에 따라 상응하는 SQL 데이터 유형으로 변환됩니다. 지원되는 SQL 데이터 형식에 관한 자세한 설명은 [데이터 유형](https://docs.aws.amazon.com/kinesisanalytics/latest/sqlref/sql-reference-data-types.html)을 참조하십시오. Amazon Kinesis Data Analytics는 다음 규칙에 따라 JSON 데이터 유형을 SQL 데이터 유형으로 변환합니다. ### Null 리터럴 JSON 입력 스트림에 있는 null 리터럴(`"City":null`)은 대상의 데이터 유형에 상관없이 SQL null로 변환됩니다. ### 부울 리터럴 JSON 입력 스트림에 있는 부울 리터럴(`"Contacted":true`)은 다음과 같이 SQL 데이터로 변환됩니다. + 숫자(DECIMAL, INT 등): `true`는 1로, `false`는 0으로 변환. + 이진수(BINARY 또는 VARBINARY): + `true`: 결과는 가장 낮은 비트 세트를 가지며 남은 비트는 정리됩니다. + `false`: 결과의 모든 비트가 정리됩니다. VARBINARY로 변환하면 길이가 1바이트인 값이 도출됩니다. + 부울: 상응하는 SQL 부울 값으로 변환됩니다. + 문자(CHAR 또는 VARCHAR): 상응하는 문자열 값으로 변환됩니다(`true` 또는 `false`). 값은 필드의 길이에 맞게 잘립니다. + 날짜/시간(DATE, TIME 또는 TIMESTAMP): 변환이 실패하면 강제 변환 오류가 오류 스트림에 기록됩니다. ### 숫자 JSON 입력 스트림에 있는 숫자 리터럴(`"CustomerId":67321`)은 다음과 같이 SQL 데이터로 변환됩니다. + 숫자(DECIMAL, INT 등): 직접 변환됩니다. 변환된 값이 대상 데이터 유형의 크기 또는 정밀도를 초과하는 경우(즉, `123.4`를 INT로 변환하는 경우), 변환이 실패하고 강제 변환 오류가 오류 스트림에 기록됩니다. + 이진수(BINARY 또는 VARBINARY): 변환이 실패하고 강제 변환 오류가 오류 스트림에 기록됩니다. + BOOLEAN: + `0`: `false`로 변환됩니다. + 기타 모든 수: `true`로 변환됩니다. + 문자(CHAR 또는 VARCHAR): 숫자의 문자열 표현으로 변환됩니다. + 날짜/시간(DATE, TIME 또는 TIMESTAMP): 변환이 실패하면 강제 변환 오류가 오류 스트림에 기록됩니다. ### 문자열 JSON 입력 스트림에 있는 문자열 값(`"CustomerName":"John Doe"`)은 다음과 같이 SQL 데이터로 변환됩니다. + 수치(DECIMAL, INT 등): Amazon Kinesis Data Analytics는 값을 대상 데이터 유형으로 변환합니다. 값을 변환할 수 없는 경우, 변환이 실패하고 강제 변환 오류가 오류 스트림에 기록됩니다. + 이진수(BINARY 또는 VARBINARY): 소스 스트링이 유효한 이진 리터럴(즉, 짝수 f를 지닌 `X'3F67A23A'`)인 경우 값은 대상 데이터 유형으로 변환됩니다. 그렇지 않은 경우 변환이 실패하고 강제 변환 오류가 오류 스트림에 기록됩니다. + 부울: 소스 스트링이 `"true"`인 경우, `true`로 변환됩니다. 이 비교는 대/소문자를 구분하지 않습니다. 그렇지 않은 경우, `false`로 변환됩니다. + 문자(CHAR 또는 VARCHAR): 입력에서 문자열 값으로 변환됩니다. 값이 대상 데이터 유형보다 더 긴 경우, 잘려지고 오류 스트림에 오류가 기록되지 않습니다. + 날짜/시간(DATE, TIME 또는 TIMESTAMP): 소스 스트링이 대상 값으로 변환할 수 있는 형식인 경우 값은 변환됩니다. 그렇지 않은 경우 변환이 실패하고 강제 변환 오류가 오류 스트림에 기록됩니다. 유효한 날짜/시간 형식은 다음과 같습니다. + "1992-02-14" + "1992-02-14 18:35:44.0" ### 어레이 또는 객체 JSON 입력 스트림에 있는 어레이 또는 객체가 다음과 같이 SQL 데이터로 변환됩니다. + 문자(CHAR 또는 VARCHAR): 어레이 또는 객체의 소스 텍스트로 변환됩니다. [배열 액세스](about-json-path.md#about-json-path-arrays) 섹션을 참조하십시오. + 기타 모든 데이터 유형: 변환이 실패하고 강제 변환 오류가 오류 스트림에 기록됩니다. JSON 어레이의 예는 [JSONPath로 작업하기](about-json-path.md)를 참조하십시오. ## 관련 항목 + [애플리케이션 입력 구성](how-it-works-input.md) + [데이터 형식](https://docs.aws.amazon.com/kinesisanalytics/latest/sqlref/sql-reference-data-types.html) + [스키마 편집기로 작업](console-summary-edit-schema.md) + [CreateApplication](API_CreateApplication.md) + [RecordColumn](API_RecordColumn.md) + [SourceSchema](API_SourceSchema.md) # 스트리밍 데이터에 대해 스키마 검색 기능 사용 **참고** 2023년 9월 12일 이후에는 Kinesis Data Analytics for SQL의 기존 사용자가 아닌 경우, Kinesis Data Firehose를 소스로 사용하여 새 애플리케이션을 생성할 수 없습니다. 자세한 설명은 [제한](https://docs.aws.amazon.com//kinesisanalytics/latest/dev/limits.html)을 참조하십시오. 스트리밍 입력 상의 레코드가 어떻게 애플리케이션 내 스트림으로 매핑되는지 설명하는 입력 스키마를 제공하는 것은 복잡하고 오류가 발생하기 쉽습니다. [DiscoverInputSchema](API_DiscoverInputSchema.md)API(*검색 API*)를 사용하여 스키마를 유추할 수 있습니다. API는 스트리밍 소스 상의 랜덤 레코드 샘플을 사용하여 스키마를 유추할 수 있습니다(즉, 열 명칭, 데이터 유형, 수신 데이터에서의 데이터 요소 위치). **참고** 검색 API를 사용하여 Amazon S3에 저장된 파일에서 스키마를 생성하려면 [정적 데이터에 대해 스키마 검색 기능 사용](sch-dis-ref.md)을 참조하십시오. 콘솔은 Discovery API를 사용하여 지정된 스트리밍 소스에 대한 스키마를 생성합니다. 콘솔을 사용하면 열 추가 또는 삭제, 열 명칭 또는 데이터 유형 변경 등을 포함하여 스키마를 업데이트할 수 있습니다. 그러나 유효하지 않은 스키마를 생성하지 않도록 주의하여 변경합니다. 애플리케이션 내 스트림에 대한 스키마를 완료한 후에 문자열 및 날짜/시간 값을 조작하는 데 사용할 수 있는 함수가 있습니다. 결과로 얻은 애플리케이션 내 스트림에서 열 작업을 수행할 때 이들 함수를 애플리케이션 코드에서 사용할 수 있습니다. 자세한 설명은 [예: DateTime 값 변환](app-string-datetime-manipulation.md) 섹션을 참조하십시오. ## 스키마 검색 시 열 명칭 지정 스키마 검색 시에 Amazon Kinesis Data Analytics는 다음의 경우를 제외하고 스트리밍 입력 소스로부터 원래 열 명칭을 최대한 많이 보존하려 시도합니다: + 소스 스트림 열 명칭은 예약된 SQL 키워드(`TIMESTAMP`, `USER`, `VALUES` 또는 `YEAR`)입니다. + 소스 스트림 열 명칭은 지원되지 않는 문자를 포함합니다. 글자, 숫자 및 밑줄 문자( \$1 )만 지원됩니다. + 소스 스트림 열 명칭은 숫자로 시작합니다. + 소스 스트림 열 명칭은 100자보다 더 깁니다. 열의 명칭이 재지정되는 경우 재지정된 스키마 열 명칭은 `COL_`로 시작합니다. 일부 경우, 예를 들어 명칭 전체가 지원되지 않는 문자인 경우 원래 열 명칭 중 어느 것도 유지되지 않을 수 있습니다. 그와 같은 경우 열의 명칭이 `COL_#`로 지정되는데, 여기서 \$1는 열 순서에서 열의 자리를 나타내는 숫자입니다. 검색이 완료된 후 콘솔을 사용하여 열 추가 또는 삭제, 열 명칭, 데이터 유형 또는 데이터 크기 변경 등을 포함하여 스키마를 업데이트할 수 있습니다. ### 검색의 예-열 명칭 제안 **** | 소스 스트림 열 명칭 | 검색-열 명칭 제안 | | --- | --- | | USER | COL\$1USER | | USER@DOMAIN | COL\$1USERDOMAIN | | @@ | COL\$10 | ## 스키마 검색 문제 Kinesis Data Analytics가 특정 스트리밍 소스에 대한 스키마를 유추할 수 없다면 어떻게 되는가? Kinesis Data Analytics는 UTF-8 인코딩된 CSV 및 JSON과 같은 일반적인 형식에 대해 스키마를 유추합니다. Kinesis Data Analytics는 맞춤 열 및 행 구분자를 사용하여 모든 UTF-8 인코딩 레코드 (애플리케이션 로그 및 레코드와 같은 원시 텍스트 포함) 를 지원합니다. Kinesis Data Analytics가 스키마를 유추하지 못한다면 콘솔에서 스키마 편집기를 사용하거나 API를 사용하여 스키마를 수동으로 정의할 수 있습니다. (데이터가 스키마 편집기를 사용하여 지정할 수 있는) 패턴에 따르지 않는 경우, 스키마를 단일 유형 열 VARCHAR(N)로 정의할 수 있습니다. 여기서 N은 레코드가 포함할 것으로 예상하는 최대 문자 수입니다. 거기에서 문자열 및 날짜 시간 조작을 통해 데이터가 애플리케이션 내 스트림 안에 포함된 후에 데이터를 구성할 수 있습니다. 예를 보려면 [예: DateTime 값 변환](app-string-datetime-manipulation.md) 섹션을 참조하십시오. # 정적 데이터에 대해 스키마 검색 기능 사용 **참고** 2023년 9월 12일 이후에는 Kinesis Data Analytics for SQL의 기존 사용자가 아닌 경우, Kinesis Data Firehose를 소스로 사용하여 새 애플리케이션을 생성할 수 없습니다. 자세한 설명은 [제한](https://docs.aws.amazon.com//kinesisanalytics/latest/dev/limits.html)을 참조하십시오. 스키마 검색 기능은 스트림의 데이터나 Amazon S3 버킷에 저장된 정적 파일의 데이터로부터 스키마를 생성할 수 있습니다. 참조 목적으로 Kinesis Data Analytics 애플리케이션용 스키마를 생성하는 경우나 실시간 스트리밍 데이터를 사용할 수 없는 경우를 가정해 보겠습니다. 참조 데이터 또는 스트리밍의 필요 형식으로 된 데이터 샘플을 포함하는 정적 파일에 대해 스키마 검색 기능을 사용할 수 있습니다. Kinesis Data Analytics는 Amazon S3 버킷에 저장된 JSON 또는 CSV 파일의 샘플 데이터에 대해 스키마 검색을 실행할 수 있습니다. 데이터 파일에 대해 스키마 검색을 사용할 때는 콘솔을 사용하거나 [DiscoverInputSchema](API_DiscoverInputSchema.md) API를 지정된 `S3Configuration` 파라미터와 함께 사용합니다. ## 콘솔을 사용하여 스키마 검색 실행 콘솔을 사용하여 정적 파일에 대해 검색을 실행하려면 다음을 수행합니다. 1. 참조 데이터 객체를 S3 버킷에 추가합니다. 1. Kinesis Data Analytics 콘솔의 애플리케이션 기본 페이지에서 **참조 데이터 연결**을 선택합니다. 1. 참조 데이터가 포함된 Amazon S3 객체에 액세스하기 위한 버킷, 경로 및 IAM 역할 데이터를 제공합니다. 1. **Discover schema(스키마 발견)**를 선택합니다. 콘솔에서 참조 데이터를 추가하고 스키마를 검색하는 방법에 대한 자세한 설명은 [예: 참조 데이터를 Kinesis Data Analytics 애플리케이션에 추가](app-add-reference-data.md) 섹션을 참조하십시오. ## API를 사용하여 스키마 검색 실행 API를 사용하여 정적 파일에 대해 검색을 실행하려면 `S3Configuration` 구조를 포함하는 API에 다음 정보를 제공합니다. + `BucketARN`: 파일을 포함하는 Amazon S3 버킷의 Amazon 리소스 이름(ARN). Amazon S3 버킷 ARN의 형식은 [Amazon 리소스 이름(ARN) 및 Amazon Service Namespaces: Amazon Simple Storage Service(Amazon S3)](https://docs.aws.amazon.com/general/latest/gr/aws-arns-and-namespaces.html#arn-syntax-s3)를 참조하십시오. + `RoleARN`: `AmazonS3ReadOnlyAccess` 정책이 적용되는 IAM 역할의 ARN. 역할에 정책을 추가하는 방법에 대한 자세한 설명은 [역할 수정](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_manage_modify.html)을 참조하십시오. + `FileKey`: 객체의 파일 명칭입니다. **`DiscoverInputSchema` API를 사용하여 Amazon S3 객체에서 스키마를 생성하려면** 1. 를 AWS CLI 설정했는지 확인합니다. 자세한 설명은 시작하기 섹션의 [2단계: AWS Command Line Interface (AWS CLI) 설정](setup-awscli.md) 항목을 참조하십시오. 1. 다음 콘텐츠를 가진 `data.csv`이라는 파일을 생성합니다: ``` year,month,state,producer_type,energy_source,units,consumption 2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615 2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535 2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890 2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601 2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681 ``` 1. [https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/)에서 Amazon S3 콘솔에 로그인하십시오. 1. Amazon S3 버킷을 생성하고 생성된 파일을 업로드합니다. 생성된 버킷의 ARN을 메모해 둡니다. Amazon S3 버킷 생성 및 파일 업로드 방법에 대한 자세한 설명은 [Amazon Simple Storage 서비스 시작하기](https://docs.aws.amazon.com/AmazonS3/latest/userguide/GetStartedWithS3.html)를 참조하십시오. 1. IAM 콘솔([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/))을 엽니다. `AmazonS3ReadOnlyAccess` 정책을 사용하여 역할을 생성합니다. 새 역할의 ARN을 기록합니다. 역할 생성에 대한 자세한 설명은 [Amazon 서비스에 권한 위임 역할 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-service.html)을 참조하십시오. 역할에 정책을 추가하는 방법에 대한 자세한 설명은 [역할 수정](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_manage_modify.html)을 참조하십시오. 1. 에서 다음 `DiscoverInputSchema` 명령을 실행하여 Amazon S3 버킷 및 IAM 역할의 ARN을 AWS CLI대체합니다. ARNs ``` $aws kinesisanalytics discover-input-schema --s3-configuration '{ "RoleARN": "arn:aws:iam::123456789012:role/service-role/your-IAM-role", "BucketARN": "arn:aws:s3:::your-bucket-name", "FileKey": "data.csv" }' ``` 1. 응답은 다음과 유사해 보입니다. ``` { "InputSchema": { "RecordEncoding": "UTF-8", "RecordColumns": [ { "SqlType": "INTEGER", "Name": "COL_year" }, { "SqlType": "INTEGER", "Name": "COL_month" }, { "SqlType": "VARCHAR(4)", "Name": "state" }, { "SqlType": "VARCHAR(64)", "Name": "producer_type" }, { "SqlType": "VARCHAR(4)", "Name": "energy_source" }, { "SqlType": "VARCHAR(16)", "Name": "units" }, { "SqlType": "INTEGER", "Name": "consumption" } ], "RecordFormat": { "RecordFormatType": "CSV", "MappingParameters": { "CSVMappingParameters": { "RecordRowDelimiter": "\r\n", "RecordColumnDelimiter": "," } } } }, "RawInputRecords": [ "year,month,state,producer_type,energy_source,units,consumption\r\n2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615\r\n2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535\r\n2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890\r\n2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601\r\n2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681" ], "ParsedInputRecords": [ [ null, null, "state", "producer_type", "energy_source", "units", null ], [ "2001", "1", "AK", "TotalElectricPowerIndustry", "Coal", "ShortTons", "47615" ], [ "2001", "1", "AK", "ElectricGeneratorsElectricUtilities", "Coal", "ShortTons", "16535" ], [ "2001", "1", "AK", "CombinedHeatandPowerElectricPower", "Coal", "ShortTons", "22890" ], [ "2001", "1", "AL", "TotalElectricPowerIndustry", "Coal", "ShortTons", "3020601" ], [ "2001", "1", "AL", "ElectricGeneratorsElectricUtilities", "Coal", "ShortTons", "2987681" ] ] } ``` # Lambda 함수를 사용하여 데이터 사전 처리 **참고** 2023년 9월 12일 이후에는 Kinesis Data Analytics for SQL의 기존 사용자가 아닌 경우, Kinesis Data Firehose를 소스로 사용하여 새 애플리케이션을 생성할 수 없습니다. 자세한 설명은 [제한](https://docs.aws.amazon.com//kinesisanalytics/latest/dev/limits.html)을 참조하십시오. 스트림의 데이터에 형식 변환, 변환, 보강 또는 필터링이 필요한 경우 AWS Lambda 함수를 사용하여 데이터를 사전 처리할 수 있습니다. 애플리케이션 SQL 코드가 실행되기 전에 또는 애플리케이션이 데이터 스트림에서 스키마를 생성하기 전에 이 작업을 수행할 수 있습니다. Lambda 함수를 사용하여 레코드를 사전 처리하면 다음과 같은 경우에 유용합니다: + 다른 형식 (예: KPL 또는 GZIP)의 레코드를 Kinesis Data Analytics가 분석할 수 있는 형식으로 변환. Kinesis Data Analytics는 현재 JSON 또는 CSV 데이터 형식을 지원합니다. + 집계, 변칙 검색 등과 같은 작업을 위해 액세스하기 쉬운 형식으로 데이터 확장. 예를 들어, 여러 데이터 값을 하나의 문자열에 함께 저장할 경우 데이터를 별도 열로 확장할 수 있습니다. + 다른 Amazon 서비스 (예: 외삽, 오류 수정 등)의 데이터 강화. + 레코드 필드에 복잡한 문자열 변환 적용 + 데이터 정리를 위해 데이터 필터링 ## Lambda 함수를 사용하여 레코드 사전 처리 Kinesis Data Analytics 애플리케이션을 생성할 때 **소스에 연결** 페이지에서 Lambda 사전 처리를 활성화합니다. **Kinesis Data Analytics 애플리케이션에서 Lambda 함수를 사용하여 레코드를 사전 처리하려면** 1. 에 로그인 AWS Management Console 하고 [ https://console.aws.amazon.com/kinesisanalytics](https://console.aws.amazon.com/kinesisanalytics) Managed Service for Apache Flink 콘솔을 엽니다. 1. 애플리케이션의 **소스에 연결** 페이지의 **사전 처리 기록 AWS Lambda** 항목 섹션에서 **활성화**를 선택합니다. 1. 이미 생성된 Lambda 함수를 사용하려면 Lambda 함수 드롭다운 목록에서 함수를 선택합니다. 1. Lambda 사전 처리 템플릿 중 하나에서 새 Lambda 함수를 생성하려면 드롭다운 목록에서 해당 템플릿을 선택합니다. 그런 다음 **View