기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # Amazon EMR 통합 시나리오를 위한 Apache Ranger 플러그인 Apache Ranger 플러그인은 Apache Ranger 정책 관리 서버에 정의된 권한 부여 정책을 기준으로 사용자 액세스를 검증합니다. **Topics** + [Amazon EMR과 Ranger의 통합을 위한 Apache Hive 플러그인](emr-ranger-hive.md) + [Amazon EMR과 Ranger의 통합을 위한 Apache Spark 플러그인](emr-ranger-spark.md) + [Amazon EMR과 Ranger의 통합을 위한 EMRFS S3 플러그인](emr-ranger-emrfs.md) + [Amazon EMR과 Ranger의 통합을 위한 Trino 플러그인](emr-ranger-trino.md) # Amazon EMR과 Ranger의 통합을 위한 Apache Hive 플러그인 Apache Hive는 Hadoop 에코시스템에서 널리 사용되는 실행 엔진입니다. Amazon EMR은 Hive에 대한 세분화된 액세스 제어를 제공할 수 있는 Apache Ranger 플러그인을 제공합니다. 플러그인은 오픈 소스 Apache Ranger Admin 서버 버전 2.0 이상과 호환됩니다. **Topics** + [지원되는 기능](#emr-ranger-supported-features) + [서비스 구성 설치](#emr-ranger-hive-service-config) + [고려 사항](#emr-ranger-hive-considerations) + [제한 사항](#emr-ranger-hive-limitations) ## 지원되는 기능 EMR의 Hive용 Apache Ranger 플러그인은 데이터베이스, 테이블, 열 수준 액세스 제어, 행 필터링 및 데이터 마스킹을 포함한 오픈 소스 플러그인의 모든 기능을 지원합니다. Hive 명령 및 관련 Ranger 권한 테이블은 [Hive commands to Ranger permission mapping](https://cwiki.apache.org/confluence/display/RANGER/Hive+Commands+to+Ranger+Permission+Mapping)을 참조하세요. ## 서비스 구성 설치 Apache Hive 플러그인은 Apache Hive Hadoop SQL 내 기존 Hive 서비스 정의와 호환됩니다. ![\[Hadoop SQL에 대한 Apache Hive 서비스 정의.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger_service_mgr.png) 위에 표시된 것처럼 Hadoop SQL에 서비스 인스턴스가 없는 경우 새로 생성할 수 있습니다. Hadoop SQL 옆의 **\$1**를 클릭합니다. 1. **서비스 이름(표시된 경우)**: 서비스 이름을 입력합니다. 제안된 값은 **amazonemrhive**입니다. 이 서비스 이름을 기록합니다. 이 이름은 EMR 보안 구성을 생성할 때 필요합니다. 1. **표시 이름**: 서비스에 표시할 이름을 입력합니다. 제안된 값은 **amazonemrhive**입니다. ![\[Hadoop SQL에 대한 Apache Hive 서비스 세부 정보.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger_create_service.png) Apache Hive 구성 속성은 정책을 생성할 때 자동 완성 기능을 구현하기 위해 HiveServer2를 사용하여 Apache Ranger Admin 서버에 연결하는 데 사용됩니다. 영구 HiveServer2 프로세스가 없고 어떤 정보로든 채울 수 있는 경우 아래 속성은 정확할 필요가 없습니다. + **사용자 이름**: HiveServer2 인스턴스의 인스턴스에 대한 JDBC 연결에 사용할 사용자 이름을 입력합니다. + **암호**: 위의 사용자 이름에 대한 암호를 입력합니다. + **jdbc.driver.ClassName**: Apache Hive 연결을 위한 JDBC 클래스의 클래스 이름을 입력합니다. 기본값을 사용할 수 있습니다. + **jdbc.url**: HiveServer2에 연결할 때 사용할 JDBC 연결 문자열을 입력합니다. + **인증서의 일반 이름:** 클라이언트 플러그인에서 관리 서버에 연결하는 데 사용되는 인증서 내 CN 필드. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다. ![\[Apache Hive 서비스 구성 속성.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger_config_props.png) **연결 테스트** 버튼은 위의 값을 사용하여 HiveServer2 인스턴스에 성공적으로 연결할 수 있는지 테스트합니다. 서비스가 성공적으로 생성되면 Service Manager는 다음과 같이 표시됩니다. ![\[HiveServer2 인스턴스에 연결됨\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger_config_connected.png) ## 고려 사항 **Hive 메타데이터 서버** Hive 메타데이터 서버는 무단 액세스로부터 보호하기 위해 신뢰할 수 있는 엔진, 특히 Hive 및 `emr_record_server`를 통해서만 액세스할 수 있습니다. 클러스터의 모든 노드는 Hive 메타데이터 서버에도 액세스할 수 있습니다. 필수 포트 9083은 기본 노드에 대한 액세스 권한을 모든 노드에 제공합니다. **Authentication** 기본적으로 Apache Hive는 EMR 보안 구성에 구성된 대로 Kerberos를 사용하여 인증하도록 구성됩니다. LDAP를 사용하여 사용자를 인증하도록 HiveServer2를 구성할 수도 있습니다. 자세한 내용은 [Implementing LDAP authentication for Hive on a multi-tenant Amazon EMR cluster](https://aws.amazon.com/blogs/big-data/implementing-ldap-authentication-for-hive-on-a-multi-tenant-amazon-emr-cluster/)를 참조하세요. ## 제한 사항 Amazon EMR 5.x의 Apache Hive 플러그인에 대한 현재 제한 사항은 다음과 같습니다. + Hive 역할은 현재 지원되지 않습니다. 승인, 취소 명령문은 지원되지 않습니다. + Hive CLI는 지원되지 않습니다. JDBC 및 Beeline은 Hive를 연결할 수 있는 유일한 승인된 방법입니다. + 안전하지 않다고 판단되는 UDF로 `hive.server2.builtin.udf.blacklist` 구성을 채워야 합니다. # Amazon EMR과 Ranger의 통합을 위한 Apache Spark 플러그인 Amazon EMR은 EMR RecordServer를 통합하여 SparkSQL에 대한 세분화된 액세스 제어를 제공합니다. EMR의 RecordServer는 Apache Ranger 지원 클러스터의 모든 노드에서 실행되는 권한 있는 프로세스입니다. Spark 드라이버 또는 실행기가 SparkSQL 문을 실행하면 모든 메타데이터 및 데이터 요청이 RecordServer를 통과합니다. EMR RecordServer에 대한 자세한 내용은 [Apache Ranger에서 사용할 Amazon EMR 구성 요소](emr-ranger-components.md) 페이지를 참조하세요. **Topics** + [지원되는 기능](#emr-ranger-spark-supported-features) + [INSERT, ALTER 또는 DDL 문을 사용하도록 서비스 정의 재배포](#emr-ranger-spark-redeploy-service-definition) + [서비스 정의 설치](#emr-ranger-spark-install-servicedef) + [SparkSQL 정책 생성](#emr-ranger-spark-create-sparksql) + [고려 사항](#emr-ranger-spark-considerations) + [제한 사항](#emr-ranger-spark-limitations) ## 지원되는 기능 | SQL 명령문 및 Ranger 작업 | STATUS | 지원되는 EMR 릴리스 | | --- | --- | --- | | SELECT | 지원됨 | 5.32 기준 | | SHOW DATABASES | 지원됨 | 5.32 기준 | | SHOW COLUMNS | 지원됨 | 5.32 기준 | | SHOW TABLES | 지원됨 | 5.32 기준 | | SHOW TABLE PROPERTIES | 지원됨 | 5.32 기준 | | DESCRIBE TABLE | 지원됨 | 5.32 기준 | | INSERT OVERWRITE | 지원됨 | 5.34 및 6.4 기준 | | INSERT INTO | 지원됨 | 5.34 및 6.4 기준 | | ALTER TABLE | 지원됨 | 6.4 기준 | | CREATE TABLE | 지원됨 | 5.35 및 6.7 기준 | | 데이터베이스 생성 | 지원됨 | 5.35 및 6.7 기준 | | DROP TABLE | 지원됨 | 5.35 및 6.7 기준 | | DROP DATABASE | 지원됨 | 5.35 및 6.7 기준 | | DROP VIEW | 지원됨 | 5.35 및 6.7 기준 | | CREATE VIEW | 지원되지 않음 | | SparkSQL을 사용할 때 지원되는 기능은 다음과 같습니다. + Hive 메타스토어 내 테이블에 대한 세분화된 액세스 제어 및 정책을 데이터베이스, 테이블 및 열 수준에서 생성할 수 있습니다. + Apache Ranger 정책에는 사용자 및 그룹에 대한 권한 부여 정책과 거부 정책이 포함될 수 있습니다. + 감사 이벤트는 CloudWatch Logs로 제출됩니다. ## INSERT, ALTER 또는 DDL 문을 사용하도록 서비스 정의 재배포 **참고** Amazon EMR 6.4부터 INSERT INTO, INSERT OVERWRITE 또는 ALTER TABLE과 함께 Spark SQL을 사용할 수 있습니다. Amazon EMR 6.7부터 Spark SQL을 사용하여 데이터베이스 및 테이블을 생성하거나 삭제할 수 있습니다. Apache Ranger 서버에 Apache Spark 서비스 정의가 배포된 기존 설치가 있는 경우 다음 코드를 사용하여 서비스 정의를 재배포합니다. ``` # Get existing Spark service definition id calling Ranger REST API and JSON processor curl --silent -f -u : \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef/name/amazon-emr-spark' | jq .id # Download the latest Service definition wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-spark.json # Update the service definition using the Ranger REST API curl -u : -X PUT -d @ranger-servicedef-amazon-emr-spark.json \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef/' ``` ## 서비스 정의 설치 EMR의 Apache Spark 서비스 정의를 설치하려면 Ranger Admin 서버를 설정해야 합니다. [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md)을(를) 참조하세요. 다음 단계에 따라 Apache Spark 서비스 정의를 설치합니다. **1단계: Apache Ranger Admin 서버에 SSH로 연결** 예제: ``` ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal ``` **2단계: 서비스 정의 및 Apache Ranger Admin 서버 플러그인 다운로드** 임시 디렉터리에서 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다. ``` mkdir /tmp/emr-spark-plugin/ cd /tmp/emr-spark-plugin/ wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-spark-plugin-2.x.jar wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-spark.json ``` **3단계: Amazon EMR용 Apache Spark 플러그인 설치** ``` export RANGER_HOME=.. # Replace this Ranger Admin's home directory eg /usr/lib/ranger/ranger-2.0.0-admin mkdir $RANGER_HOME/ews/webapp/WEB-INF/classes/ranger-plugins/amazon-emr-spark mv ranger-spark-plugin-2.x.jar $RANGER_HOME/ews/webapp/WEB-INF/classes/ranger-plugins/amazon-emr-spark ``` **4단계: Amazon EMR용 Apache Spark 서비스 정의 등록** ``` curl -u **:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-spark.json \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef' ``` 이 명령이 성공적으로 실행되면 다음 이미지와 같이 Ranger Admin UI에 'AMAZON-EMR-SPARK'라는 새 서비스가 표시됩니다(Ranger 버전 2.0이 표시됨). ![\[Ranger Admin에 'AMAZON-EMR-SPARK'가 등록되었습니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-amazon-emr-spark.png) **5단계: AMAZON-EMR-SPARK 애플리케이션의 인스턴스 생성** **서비스 이름(표시된 경우):** 사용할 서비스 이름. 제안된 값은 **amazonemrspark**입니다. EMR 보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 둡니다. **표시 이름:** 이 인스턴스에 표시될 이름. 제안된 값은 **amazonemrspark**입니다. **인증서의 일반 이름:** 클라이언트 플러그인에서 관리 서버에 연결하는 데 사용되는 인증서 내 CN 필드. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다. ![\[Ranger Admin에서 서비스를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-service.png) **참고** 이 플러그인의 TLS 인증서는 Ranger Admin 서버의 트러스트 스토어에 등록되어 있어야 합니다. 자세한 내용은 [Amazon EMR과의 Apache Ranger 통합을 위한 TLS 인증서](emr-ranger-admin-tls.md) 섹션을 참조하세요. ## SparkSQL 정책 생성 새 정책을 생성할 때 입력할 필드는 다음과 같습니다. **정책 이름**: 이 정책의 이름입니다. **정책 레이블**: 이 정책에 적용할 수 있는 레이블입니다. **데이터베이스**: 이 정책이 적용되는 데이터베이스. 와일드카드 '\$1'는 모든 데이터베이스를 나타냅니다. **테이블**: 이 정책이 적용되는 테이블입니다. 와일드카드 '\$1'는 모든 테이블을 나타냅니다. **EMR Spark 열**: 이 정책이 적용되는 열입니다. 와일드카드 '\$1'는 모든 열을 나타냅니다. **설명**: 이 정책에 대한 설명입니다. ![\[Ranger Admin은 SparkSQL 정책 세부 정보를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-details.png) 사용자 및 그룹을 지정하려면 권한을 부여할 사용자 및 그룹을 아래에 입력합니다. **허용** 조건 및 **거부** 조건에 대한 제외 항목을 지정할 수도 있습니다. ![\[Ranger Admin SparkSQL 정책 세부 정보에서 조건을 허용합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-allow-conditions.png) 허용 및 거부 조건을 지정한 후 **저장**을 클릭합니다. ## 고려 사항 EMR 클러스터 내 각 노드는 포트 9083에서 프라이머리 노드에 연결할 수 있어야 합니다. ## 제한 사항 Apache Spark 플러그인의 현재 제한 사항은 다음과 같습니다. + Record Server는 항상 Amazon EMR 클러스터에서 실행되는 HMS에 연결됩니다. 필요한 경우 원격 모드에 연결하도록 HMS를 구성합니다. Apache Spark Hive-site.xml 구성 파일에 구성 값을 넣으면 안 됩니다. + CSV 또는 Avro에서 Spark 데이터 소스를 사용하여 생성한 테이블은 EMR RecordServer를 사용하여 읽을 수 없습니다. Hive를 사용하여 레코드를 통해 데이터를 생성하고 작성하며 읽습니다. + Delta Lake, Hudi 및 Iceberg 테이블은 지원되지 않습니다. + 사용자는 기본 데이터베이스에 대한 액세스 권한이 있어야 합니다. Apache Spark의 요구 사항입니다. + Ranger Admin 서버는 자동 완성 기능을 지원하지 않습니다. + Amazon EMR용 SparkSQL 플러그인은 행 필터 또는 데이터 마스킹을 지원하지 않습니다. + Spark SQL에서 ALTER TABLE을 사용하는 경우 파티션 위치는 테이블 위치의 하위 디렉터리여야 합니다. 파티션 위치가 테이블 위치와 다른 파티션에 데이터를 삽입할 수 없습니다. # Amazon EMR과 Ranger의 통합을 위한 EMRFS S3 플러그인 멀티 테넌트 클러스터의 S3 객체에 대한 액세스 제어를 보다 쉽게 제공할 수 있도록 EMRFS S3 플러그인은 EMRFS를 통해 데이터에 액세스할 때 S3 내 데이터에 대한 액세스 제어를 제공합니다. 사용자 및 그룹 수준에서 S3 리소스에 대한 액세스를 허용할 수 있습니다. 이를 위해 애플리케이션이 S3 내 데이터에 액세스하려고 하면 EMRFS는 Secret Agent 프로세스에 보안 인증 요청을 보냅니다. 여기서 Apache Ranger 플러그인에 대해 요청이 인증되고 승인됩니다. 요청이 승인되면 Secret Agent는 제한된 정책이 적용되는 Apache Ranger Engine의 IAM 역할을 수임하여 액세스를 허용한 Ranger 정책에만 액세스할 수 있는 보안 인증을 생성합니다. 그러면 S3에 액세스하도록 보안 인증이 EMRFS로 다시 전달됩니다. **Topics** + [지원되는 기능](#emr-ranger-emrfs-features) + [서비스 구성 설치](#emr-ranger-emrfs-service-config) + [EMRFS S3 정책 생성](#emr-ranger-emrfs-create-policies) + [EMRFS S3 정책 사용 시 참고 사항](#emr-ranger-emrfs-considerations) + [제한 사항](#emr-ranger-emrfs-limitations) ## 지원되는 기능 EMRFS S3 플러그인은 스토리지 수준 인증을 제공합니다. 정책을 생성하여 사용자 및 그룹에 S3 버킷 및 접두사에 대한 액세스를 제공할 수 있습니다. 권한 부여는 EMRFS에 대해서만 수행됩니다. ## 서비스 구성 설치 EMRFS 서비스 정의를 설치하려면 Ranger Admin 서버를 설정해야 합니다. 서버를 설정하려면 [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md) 섹션을 참조하세요. 다음 단계에 따라 EMRFS 서비스 정의를 설치합니다. **1단계: Apache Ranger Admin 서버에 SSH로 연결**. 예제: ``` ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal ``` **2단계: EMRFS 서비스 정의 다운로드**. 임시 디렉터리에서 Amazon EMR 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다. ``` wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-emrfs.json ``` **3단계: EMRFS S3 서비스 정의 등록**. ``` curl -u **:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-emrfs.json \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef' ``` 이 명령이 성공적으로 실행되면 다음 이미지와 같이 Ranger Admin UI에 'AMAZON-EMR-S3'라는 새 서비스가 표시됩니다(Ranger 버전 2.0이 표시됨). ![\[Ranger Admin은 EMRFS S3 서비스를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-service-EMRFS.png) **4단계: AMAZON-EMR-EMRFS 애플리케이션의 인스턴스 생성**. 서비스 정의 인스턴스를 생성합니다. + Amazon-EMR-EMRFS 옆의 **\$1**를 클릭합니다. 다음 필드를 입력합니다. **서비스 이름(표시된 경우)**: 제안되는 값은 **amazonemrs3**입니다. EMR 보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 둡니다. **표시 이름**: 이 서비스에 대해 표시되는 이름. 제안된 값은 **amazonemrs3**입니다. **인증서의 일반 이름**: 클라이언트 플러그인에서 관리 서버로 연결하는 데 사용되는 인증서 내 CN 필드입니다. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다. ![\[Ranger Admin은 EMRFS S3 서비스를 편집합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-edit-service-EMRFS.png) **참고** 이 플러그인의 TLS 인증서는 Ranger Admin 서버의 트러스트 스토어에 등록되어 있어야 합니다. 자세한 내용은 [Amazon EMR과의 Apache Ranger 통합을 위한 TLS 인증서](emr-ranger-admin-tls.md) 섹션을 참조하세요. 서비스가 생성되면 Service Manager에는 다음 이미지와 같이 'AMAZON-EMR-EMRFS'가 포함됩니다. ![\[새 EMRFS S3 서비스를 보여주는 Ranger Admin.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-new-service-EMRFS.png) ## EMRFS S3 정책 생성 Service Manager의 **정책 생성** 페이지에서 새 정책을 생성하려면 다음 필드를 채웁니다. **정책 이름**: 이 정책의 이름입니다. **정책 레이블**: 이 정책에 적용할 수 있는 레이블입니다. **S3 리소스**: 버킷과 선택적 접두사로 시작하는 리소스입니다. 모범 사례에 대한 자세한 내용은 [EMRFS S3 정책 사용 시 참고 사항](#emr-ranger-emrfs-considerations) 섹션을 참조하세요. Ranger Admin 서버의 리소스에는 **s3://**, **s3a://** 또는 **s3n://**이 포함되어서는 안 됩니다. ![\[EMRFS S3 서비스에 대한 생성 정책을 보여주는 Ranger Admin.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-EMRFS.png) 권한을 부여할 사용자 및 그룹을 지정할 수 있습니다. **허용** 조건 및 **거부** 조건에 대한 제외 항목을 지정할 수도 있습니다. ![\[EMRFS S3 정책에 대한 사용자 및 그룹 권한을 보여주는 Ranger Admin.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-permissions-EMRFS.png) **참고** 각 정책에는 최대 3개의 리소스가 허용됩니다. EMR 클러스터에서 이 정책을 사용하는 경우 리소스를 3개 넘게 추가하면 오류가 발생할 수 있습니다. 정책을 3개 넘게 추가하면 정책 한도에 대한 알림이 표시됩니다. ## EMRFS S3 정책 사용 시 참고 사항 Apache Ranger 내에서 S3 정책을 생성할 때 알아두어야 할 몇 가지 사용 고려 사항이 있습니다. ### 여러 S3 객체에 대한 권한 재귀 정책과 와일드카드 표현식을 사용하여 공통 접두사가 있는 여러 S3 객체에 권한을 부여할 수 있습니다. 재귀 정책은 공통 접두사가 있는 모든 객체에 권한을 부여합니다. 와일드카드 표현식은 여러 접두사를 선택합니다. 이 두 방법을 함께 사용하면 다음 예제와 같이 여러 개의 공통 접두사가 있는 모든 객체에 권한을 부여합니다. **Example 재귀 정책 사용** 다음과 같이 구성된 S3 버킷의 모든 parquet 파일을 나열할 수 있는 권한을 원한다고 가정합니다. ``` s3://sales-reports/americas/ +- year=2000 | +- data-q1.parquet | +- data-q2.parquet +- year=2019 | +- data-q1.json | +- data-q2.json | +- data-q3.json | +- data-q4.json | +- year=2020 | +- data-q1.parquet | +- data-q2.parquet | +- data-q3.parquet | +- data-q4.parquet | +- annual-summary.parquet +- year=2021 ``` 먼저 `s3://sales-reports/americas/year=2000` 접두사의 parquet 파일을 고려합니다. 다음과 같은 두 가지 방법으로 모두에 GetObject 권한을 부여할 수 있습니다. **비재귀 정책 사용**: 한 가지 옵션은 두 개의 개별 비재귀 정책을 사용하는 것입니다. 하나는 디렉터리용이고 다른 하나는 파일용입니다. 첫 번째 정책은 `s3://sales-reports/americas/year=2020` 접두사에 권한을 부여합니다(후행 `/` 없음). ``` - S3 resource = "sales-reports/americas/year=2000" - permission = "GetObject" - user = "analyst" ``` 두 번째 정책은 와일드카드 표현식을 사용하여 `sales-reports/americas/year=2020/` 접두사가 있는 모든 파일에 권한을 부여합니다(후행 `/` 기록). ``` - S3 resource = "sales-reports/americas/year=2020/*" - permission = "GetObject" - user = "analyst" ``` **재귀 정책 사용**: 보다 편리한 대안은 단일 재귀 정책을 사용하고 접두사에 재귀 권한을 부여하는 것입니다. ``` - S3 resource = "sales-reports/americas/year=2020" - permission = "GetObject" - user = "analyst" - is recursive = "True" ``` 지금까지는 `s3://sales-reports/americas/year=2000` 접두사의 parquet 파일만 포함되었습니다. 이제 다음과 같이 와일드카드 표현식을 도입하여 다른 `s3://sales-reports/americas/year=2020` 접두사의 parquet 파일을 동일한 재귀 정책에 포함할 수도 있습니다. ``` - S3 resource = "sales-reports/americas/year=20?0" - permission = "GetObject" - user = "analyst" - is recursive = "True" ``` ### PutObject 및 DeleteObject 권한 정책 EMRFS의 파일에 대한 `PutObject` 및 `DeleteObject` 권한과 관련한 정책을 작성하려면 GetObject 권한과 달리 접두사에 부여된 추가 재귀 권한이 필요하기 때문에 특별한 주의가 필요합니다. **Example PutObject 및 DeleteObject 권한 정책** 예를 들어, `annual-summary.parquet` 파일을 삭제하려면 실제 파일에 대한 DeleteObject 권한만 필요한 것이 아닙니다. ``` - S3 resource = "sales-reports/americas/year=2020/annual-summary.parquet" - permission = "DeleteObject" - user = "analyst" ``` 접두사에 재귀 `GetObject` 및 `PutObject` 권한을 부여하는 정책도 필요합니다. 마찬가지로 `annual-summary.parquet` 파일을 수정하려면 실제 파일에 대한 `PutObject` 권한만 필요한 것이 아닙니다. ``` - S3 resource = "sales-reports/americas/year=2020/annual-summary.parquet" - permission = "PutObject" - user = "analyst" ``` 접두사에 재귀 `GetObject` 권한을 부여하는 정책도 필요합니다. ``` - S3 resource = "sales-reports/americas/year=2020" - permission = "GetObject" - user = "analyst" - is recursive = "True" ``` ### 정책의 와일드카드 와일드카드를 지정할 수 있는 영역은 두 가지입니다. S3 리소스를 지정할 때는 '\$1'와 '?'를 사용할 수 있습니다. '\$1'는 S3 경로와의 일치 기능을 제공하고 접두사 뒤의 모든 항목을 일치시킵니다. 예를 들어, 다음 정책과 같습니다. ``` S3 resource = "sales-reports/americas/*" ``` 이는 다음 S3 경로와 일치합니다. ``` sales-reports/americas/year=2020/ sales-reports/americas/year=2019/ sales-reports/americas/year=2019/month=12/day=1/afile.parquet sales-reports/americas/year=2018/month=6/day=1/afile.parquet sales-reports/americas/year=2017/afile.parquet ``` '?' 와일드카드 문자는 모든 단일 문자와 일치합니다. 예를 들어, 다음 정책과 같습니다. ``` S3 resource = "sales-reports/americas/year=201?/" ``` 이는 다음 S3 경로와 일치합니다. ``` sales-reports/americas/year=2019/ sales-reports/americas/year=2018/ sales-reports/americas/year=2017/ ``` ### 사용자의 와일드카드 사용자에게 액세스 권한을 제공하기 위해 사용자를 할당할 때 두 가지 기본 제공 와일드카드가 있습니다. 첫 번째는 모든 사용자에게 액세스 권한을 제공하는 '\$1USER\$1' 와일드카드입니다. 두 번째 와일드카드는 '\$1OWNER\$1'입니다. 이 와일드카드는 특정 객체의 소유자에게 또는 직접 액세스 권한을 제공합니다. 그러나 '\$1USER\$1' 와일드카드는 현재 지원되지 않습니다. ## 제한 사항 EMRFS S3 플러그인의 현재 제한 사항은 다음과 같습니다. + Apache Ranger 정책에는 최대 세 개의 정책이 있을 수 있습니다. + S3에 대한 액세스는 EMRFS를 통해 이루어져야 하며 Hadoop 관련 애플리케이션과 함께 사용할 수 있습니다. 다음은 지원되지 않습니다. - Boto3 라이브러리 - AWS SDK 및 AWK CLI - S3A 오픈 소스 커넥터 + Apache Ranger 거부 정책은 지원되지 않습니다. + CSE-KMS 암호화가 적용된 키를 사용하는 S3에서의 작업은 현재 지원되지 않습니다. + 교차 리전 지원은 지원되지 않습니다. + Apache Ranger의 보안 영역 기능은 지원되지 않습니다. 보안 영역 기능을 사용하여 정의된 액세스 제어 제한은 Amazon EMR 클러스터에 적용되지 않습니다. + Hadoop은 항상 EC2 인스턴스 프로파일에 액세스하므로 Hadoop 사용자는 감사 이벤트를 생성하지 않습니다. + Amazon EMR 일관된 보기를 비활성화하는 것이 좋습니다. S3는 매우 일관되므로 더 이상 필요하지 않습니다. 자세한 내용은 [Amazon S3 강력한 일관성](https://aws.amazon.com/s3/consistency/)을 참조하세요. + EMRFS S3 플러그인은 많은 STS 직접 호출을 수행합니다. 개발 계정에서 로드 테스트를 수행하고 STS 직접 호출량을 모니터링하는 것이 좋습니다. 또한 AssumeRole 서비스 한도를 높이기 위해 STS를 요청하는 것이 좋습니다. + Ranger Admin 서버는 자동 완성 기능을 지원하지 않습니다. # Amazon EMR과 Ranger의 통합을 위한 Trino 플러그인 Trino(이전의 PrestoSQL)는 HDFS, 오브젝트 스토리지, 관계형 데이터베이스 및 NoSQL 데이터베이스와 같은 데이터 소스에서 쿼리를 실행하는 데 사용할 수 있는 SQL 쿼리 엔진입니다. 따라서 데이터를 중앙 위치로 마이그레이션할 필요가 없으며 어디서나 데이터를 쿼리할 수 있습니다. Amazon EMR은 Trino에 대한 세분화된 액세스 제어를 제공할 수 있는 Apache Ranger 플러그인을 제공합니다. 플러그인은 오픈 소스 Apache Ranger Admin 서버 버전 2.0 이상과 호환됩니다. **Topics** + [지원되는 기능](#emr-ranger-trino-features) + [서비스 구성 설치](#emr-ranger-trino-service-config) + [IAM 정책 생성](#emr-ranger-trino-create-policies) + [고려 사항](#emr-ranger-trino-considerations) + [제한 사항](#emr-ranger-trino-limitations) ## 지원되는 기능 Amazon EMR의 Trino용 Apache Ranger 플러그인은 세분화된 액세스 제어로 보호되는 Trino 쿼리 엔진의 모든 기능을 지원합니다. 여기에는 데이터베이스, 테이블, 열 수준 액세스 제어, 행 필터링 및 데이터 마스킹이 포함됩니다. Apache Ranger 정책에는 사용자 및 그룹에 대한 권한 부여 정책과 거부 정책이 포함될 수 있습니다. 감사 이벤트는 CloudWatch Logs로도 제출됩니다. ## 서비스 구성 설치 Trino 서비스 정의를 설치하려면 Ranger Admin 서버를 설정해야 합니다. Ranger Admin 서버를 설정하려면 [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md) 섹션을 참조하세요. 다음 단계에 따라 Trino 서비스 정의를 설치합니다. 1. Apache Ranger Admin 서버에 SSH로 연결합니다. ``` ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal ``` 1. Presto 서버 플러그인(있는 경우)을 제거합니다. 다음 명령을 실행합니다. '서비스를 찾을 수 없음' 오류와 함께 오류가 발생하면 Presto 서버 플러그인이 서버에 설치되지 않은 것입니다. 다음 단계를 진행합니다. ``` curl -f -u **:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X DELETE -k 'https://**:6182/service/public/v2/api/servicedef/name/presto' ``` 1. 서비스 정의와 Apache Ranger Admin 서버 플러그인을 다운로드합니다. 임시 디렉터리에서 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다. ``` wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-trino.json ``` 1. Amazon EMR에 대한 Apache Trino 서비스 정의를 등록합니다. ``` curl -u **:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-trino.json \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef' ``` 이 명령이 성공적으로 실행되면 다음 이미지와 같이 Ranger Admin UI에 `TRINO`라는 새 서비스가 표시됩니다. ![\[Ranger Admin에서 서비스를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-service-trino.png) 1. 다음 정보를 입력하여 `TRINO` 애플리케이션 인스턴스를 생성합니다. **서비스 이름**: 사용할 서비스 이름. 제안된 값은 `amazonemrtrino`입니다. Amazon EMR 보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 둡니다. **표시 이름**: 이 인스턴스에 표시될 이름. 제안된 값은 `amazonemrtrino`입니다. ![\[Ranger Admin 표시 이름.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-display-name-trino.png) **jdbc.driver.ClassName**: Trino 연결을 위한 JDBC 클래스의 클래스 이름. 기본값을 사용할 수 있습니다. **jdbc.url**: Trino 코디네이터에 연결할 때 사용할 JDBC 연결 문자열. **인증서의 일반 이름**: 클라이언트 플러그인에서 관리 서버로 연결하는 데 사용되는 인증서 내 CN 필드입니다. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다. ![\[Ranger Admin 일반 이름.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-common-name-trino.png) 이 플러그인의 TLS 인증서는 Ranger Admin 서버의 트러스트 스토어에 등록되어 있어야 합니다. 자세한 내용은 [TLS 인증서](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-admin-tls.html)를 참조하세요. ## IAM 정책 생성 새 정책을 생성할 때 다음 필드를 입력합니다. **정책 이름**: 이 정책의 이름입니다. **정책 레이블**: 이 정책에 적용할 수 있는 레이블입니다. **카탈로그**: 이 정책이 적용되는 카탈로그. 와일드카드 '\$1'는 모든 카탈로그를 나타냅니다. **스키마**: 이 정책이 적용되는 스키마. 와일드카드 '\$1'는 모든 스키마를 나타냅니다. **테이블**: 이 정책이 적용되는 테이블입니다. 와일드카드 '\$1'는 모든 테이블을 나타냅니다. **열**: 이 정책이 적용되는 열. 와일드카드 '\$1'는 모든 열을 나타냅니다. **설명**: 이 정책에 대한 설명입니다. **Trino 사용자**(사용자 위장 액세스용), **Trino 시스템 및 세션 속성**(엔진 시스템 또는 세션 속성 교체용), **함수 및 프로시저**(함수 또는 프로시저 직접 호출용), **URL**(데이터 위치에서 엔진에 대한 읽기 및 쓰기 액세스 권한 부여용)에 대해 다른 유형의 정책이 존재합니다. ![\[Ranger Admin은 정책 세부 정보를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-details-trino.png) 특정 사용자 및 그룹에 권한을 부여하려면 사용자 및 그룹을 입력합니다. **허용** 조건 및 **거부** 조건에 대한 제외 항목을 지정할 수도 있습니다. ![\[Ranger Admin 정책 세부 정보는 거부 조건을 허용합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-allow-conditions-trino.png) 허용 및 거부 조건을 지정한 후 **저장**을 선택합니다. ## 고려 사항 Apache Ranger 내에서 Trino 정책을 생성할 때 알아두어야 할 몇 가지 사용 고려 사항이 있습니다. **Hive 메타데이터 서버** Hive 메타데이터 서버는 무단 액세스로부터 보호하기 위해 신뢰할 수 있는 엔진, 특히 Trino 엔진을 통해서만 액세스할 수 있습니다. 클러스터의 모든 노드는 Hive 메타데이터 서버에도 액세스할 수 있습니다. 필수 포트 9083은 기본 노드에 대한 액세스 권한을 모든 노드에 제공합니다. **Authentication** 기본적으로 Trino는 Amazon EMR 보안 구성에 구성된 대로 Kerberos를 사용하여 인증하도록 구성됩니다. **전송 중 암호화가 필요함** Trino 플러그인을 사용하려면 Amazon EMR 보안 구성에서 전송 중 암호화를 활성화해야 합니다. 암호화를 활성화하려면 [전송 중 암호화](emr-data-encryption-options.md#emr-encryption-intransit) 섹션을 참조하세요. ## 제한 사항 Trino 플러그인의 현재 제한 사항은 다음과 같습니다. + Ranger Admin 서버는 자동 완성 기능을 지원하지 않습니다.