기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # 를 사용하여 Apache Hadoop 데이터베이스에 연결 AWS Schema Conversion Tool AWS SCT 명령줄 인터페이스(CLI)를 사용하여 Apache Hadoop에서 Amazon EMR로 마이그레이션할 수 있습니다. 마이그레이션 중에 Amazon S3 버킷을 데이터의 임시 스토리지로 AWS SCT 사용합니다. AWS SCT 는 소스 Apache Hadoop 버전 2.2.0 이상을 지원합니다. 또한 Apache Hive 버전 0.13.0 이상을 AWS SCT 지원합니다. AWS SCT 는 Amazon EMR 버전 6.3.0 이상을 대상으로 지원합니다. 또한는 대상 Apache Hadoop 버전 2.6.0 이상 및 Apache Hive 버전 0.13.0 이상을 AWS SCT 지원합니다. **Topics** + [Apache Hadoop을 소스로 사용하기 위한 사전 요구 사항](#CHAP_Source.Hadoop.Prerequisites) + [Hive를 소스로 사용하기 위한 권한](#CHAP_Source.Hadoop.Permissions) + [HDFS를 소스로 사용하기 위한 권한](#CHAP_Source.Hadoop.PermissionsHDFS) + [HDFS를 대상으로 사용하기 위한 권한](#CHAP_Source.Hadoop.PermissionsHDFSTarget) + [Apache Hadoop에 소스로 연결](#CHAP_Source.Hadoop.Connecting) + [소스 Hive 및 HDFS 서비스에 연결](#CHAP_Source.Hadoop.Hive) + [Amazon EMR에 대상으로 연결](#CHAP_Source.Hadoop.Target) ## Apache Hadoop을 소스로 사용하기 위한 사전 요구 사항 AWS SCT CLI를 사용하여 Apache Hadoop에 연결하려면 다음과 같은 사전 요구 사항이 필요합니다. + 마이그레이션 중에 데이터를 저장할 Amazon S3 버킷을 생성합니다. 그런 다음 데이터를 Amazon EMR HDFS로 복사하거나 Amazon S3을 Hadoop 워크로드용 데이터 리포지토리로 사용할 수 있습니다. 자세한 내용은 *Amazon S3 사용 설명서*의 [버킷 생성](https://docs.aws.amazon.com/AmazonS3/latest/userguide/create-bucket-overview.html)을 참조하세요. + `AmazonS3FullAccess` 정책을 사용하여 AWS Identity and Access Management (IAM) 역할을 생성합니다. AWS SCT 는이 IAM 역할을 사용하여 Amazon S3 버킷에 액세스합니다. + AWS 보안 키와 AWS 보안 액세스 키를 기록해 둡니다. AWS 액세스 키에 대한 자세한 내용은 *IAM 사용 설명서*의 [액세스 키 관리를](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_credentials_access-keys.html) 참조하세요. + 대상 Amazon EMR 클러스터를 생성 및 구성합니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Amazon EMR 시작하기](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-gs.html)를 참조하세요. + 소스 Apache Hadoop 클러스터에 `distcp` 유틸리티를 설치합니다. 또한 대상 Amazon EMR 클러스터에도 `s3-dist-cp` 유틸리티를 설치합니다. 데이터베이스 사용자에게 이러한 유틸리티를 실행할 권한이 있어야 합니다. + s3a 프로토콜을 사용하도록 소스 Hadoop 클러스터의 `core-site.xml` 파일을 구성합니다. 이 작업을 수행하려면 `fs.s3a.aws.credentials.provider` 파라미터를 다음 값 중 하나로 설정합니다. + `org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider` + `org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider` + `org.apache.hadoop.fs.s3a.AnonymousAWSCredentialsProvider` + `org.apache.hadoop.fs.s3a.auth.AssumedRoleCredentialProvider` `core-site.xml` 파일에 다음 코드 예제를 추가할 수 있습니다. ``` fs.s3a.aws.credentials.provider org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider ``` 이전 예제에서는 이전 옵션 목록의 네 가지 옵션 중 하나를 보여줍니다. `core-site.xml` 파일에서 `fs.s3a.aws.credentials.provider` 파라미터를 설정하지 않으면가 공급자를 자동으로 AWS SCT 선택합니다. ## Hive를 소스로 사용하기 위한 권한 Hive 소스 사용자에게 필요한 권한은 다음과 같습니다. + 소스 데이터 폴더 및 소스 Amazon S3 버킷에 대한 `READ` 액세스 권한 + 중간 및 대상 Amazon S3 버킷에 대한 `READ+WRITE` 액세스 권한 마이그레이션 속도를 높이려면 ACID 트랜잭션 소스 테이블에 대해 압축을 실행하는 것이 좋습니다. Amazon EMR Hive 대상 사용자에게 필요한 권한은 다음과 같습니다. + 대상 Amazon S3 버킷에 대한 `READ` 액세스 권한 + 중간 Amazon S3 버킷에 대한 `READ+WRITE` 액세스 권한 + 대상 HDFS 폴더에 대한 `READ+WRITE` 액세스 권한 ## HDFS를 소스로 사용하기 위한 권한 HDFS를 소스로 사용하는 데 필요한 권한은 다음과 같습니다. + NameNode의 경우, `EXECUTE` + 마이그레이션 프로젝트에 포함할 모든 소스 폴더 및 파일의 경우, `EXECUTE+READ` + Amazon S3로 마이그레이션하기 전에 Spark 작업을 실행하고 파일을 저장하기 위한 NameNode 내 `tmp` 디렉터리의 경우, `READ+WRITE` HDFS에서는 모든 작업에 순회 액세스가 필요합니다. 순회 액세스에는 최종 경로 구성 요소를 제외한 경로의 모든 기존 구성 요소에 대한 `EXECUTE` 권한이 필요합니다. 예를 들어 `/foo/bar/baz`에 액세스하는 모든 작업의 경우 `/`, `/foo` 및 `/foo/bar`에 대한 `EXECUTE` 권한이 사용자에게 있어야 합니다. 다음 코드 예제는 소스 폴더 및 파일에 대한 `EXECUTE+READ` 권한과 `tmp` 디렉터리에 대한 `READ+WRITE` 권한을 부여하는 방법을 보여줍니다. ``` hadoop fs –chmod –R 744 /user/hdfs-data hadoop fs –chmod –R 766 /tmp ``` ## HDFS를 대상으로 사용하기 위한 권한 Amazon EMR HDFS를 대상으로 사용하는 데 필요한 권한은 다음과 같습니다. + 대상 Amazon EMR 클러스터의 NameNode인 경우, `EXECUTE` + 마이그레이션 후 데이터를 저장할 대상 HDFS 폴더의 경우, `READ+WRITE` ## Apache Hadoop에 소스로 연결 Apache Hadoop을 AWS SCT 버전 1.0.670 이상의 소스로 사용할 수 있습니다. AWS SCT 명령줄 인터페이스(CLI)에서만 하둡 클러스터를 Amazon EMR로 마이그레이션할 수 있습니다. 시작하기 전에 AWS SCT의 명령줄 인터페이스를 숙지해야 합니다. 자세한 내용은 [에 대한 CLI 참조 AWS Schema Conversion Tool](CHAP_Reference.md) 단원을 참조하십시오. **AWS SCT CLI에서 Apache Hadoop에 연결하려면** 1. 새 AWS SCT CLI 스크립트를 생성하거나 기존 시나리오 템플릿을 편집합니다. 예를 들어 `HadoopMigrationTemplate.scts` 템플릿을 다운로드하여 편집할 수 있습니다. 자세한 내용은 [CLI 시나리오 가져오기](CHAP_Reference.md#CHAP_Reference.Scenario) 단원을 참조하십시오. 1. 드라이버 위치 및 로그 폴더와 같은 AWS SCT 애플리케이션 설정을 구성합니다. 필요한 JDBC 드라이버를 다운로드하고 파일을 저장할 위치를 지정합니다. 자세한 내용은 [용 JDBC 드라이버 설치 AWS Schema Conversion Tool](CHAP_Installing.JDBCDrivers.md) 단원을 참조하십시오. 다음 코드 예제는 Apache Hive 드라이버에 경로를 추가하는 방법을 보여줍니다. 이 코드 예제를 실행한 후는 `c:\sct` 폴더에 로그 파일을 AWS SCT 저장합니다. ``` SetGlobalSettings -save: 'true' -settings: '{ "hive_driver_file": "c:\\sct\\HiveJDBC42.jar", "log_folder": "c:\\sct", "console_log_folder": "c:\\sct" }' / ``` Windows에서 이 예제와 다음 예제를 사용할 수 있습니다. 1. 새 AWS SCT 프로젝트를 생성합니다. 다음 코드 예제는 `c:\sct` 폴더에 `hadoop_emr` 프로젝트를 만듭니다. ``` CreateProject -name: 'hadoop_emr' -directory: 'c:\sct' / ``` 1. 프로젝트에 소스 Hadoop 클러스터를 추가합니다. `AddSourceCluster` 명령을 사용하여 소스 Hadoop 클러스터에 연결합니다. `name`, `host`, `port`, `user`와 같은 필수 파라미터에 대한 값을 제공해야 합니다. 다른 파라미터는 선택 사항입니다. 다음 코드 예제는 소스 Hadoop 클러스터를 추가합니다. 이 예제에서는 `HADOOP_SOURCE`를 소스 클러스터의 이름으로 설정합니다. 이 객체 이름을 사용하여 Hive 및 HDFS 서비스를 프로젝트에 추가하고 매핑 규칙을 생성합니다. ``` AddSourceCluster -name: 'HADOOP_SOURCE' -vendor: 'HADOOP' -host: '{{hadoop_address}}' -port: '22' -user: '{{hadoop_user}}' -password: '{{hadoop_password}}' -useSSL: 'true' -privateKeyPath: 'c:\{{path\name}}.pem' -passPhrase: '{{hadoop_passphrase}}' / ``` 위 예제에서 {{hadoop\_address}}를 Hadoop 클러스터의 IP 주소로 바꿉니다. 필요한 경우 port 옵션 값을 구성합니다. 그런 다음 {{hadoop\_user}} 및 {{hadoop\_password}}를 Hadoop 사용자의 이름 및 이 사용자의 암호로 바꿉니다. {{path\\name}}에는 소스 Hadoop 클러스터의 PEM 파일 이름과 경로를 입력합니다. 1. CLI 스크립트를 저장합니다. 다음으로 Hive 및 HDFS 서비스에 대한 연결 정보를 추가합니다. ## 소스 Hive 및 HDFS 서비스에 연결 AWS SCT CLI를 사용하여 소스 Hive 및 HDFS 서비스에 연결할 수 있습니다. Apache Hive에 연결하려면 Hive JDBC 드라이버 버전 2.3.4 이상을 사용합니다. 자세한 내용은 [용 JDBC 드라이버 설치 AWS Schema Conversion Tool](CHAP_Installing.JDBCDrivers.md) 단원을 참조하십시오. AWS SCT 는 `hadoop` 클러스터 사용자와 함께 Apache Hive에 연결합니다. 이렇게 하려면 `AddSourceClusterHive` 및 `AddSourceClusterHDFS` 명령을 사용합니다. 다음 방법 중 하나를 사용할 수 있습니다. + 새 SSH 터널을 생성합니다. `createTunnel`에 **true**를 입력합니다. `host`에는 소스 Hive 또는 HDFS 서비스의 내부 IP 주소를 입력합니다. `port`에는 Hive 또는 HDFS 서비스의 서비스 포트를 입력합니다. 그런 다음 `user` 및 `password`에 대한 Hive 또는 HDFS 보안 인증 정보를 입력합니다. SSH 터널에 대한 자세한 내용은 Amazon EMR 관리 안내서에서 [로컬 포트 전달을 사용하여 프라이머리 노드에 SSH 터널 설정](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel-local.html)을 참조하세요. + 기존 SSH 터널을 사용합니다. `host`에 **localhost**를 입력합니다. `port`에는 SSH 터널 파라미터에서 로컬 포트를 입력합니다. + Hive 및 HDFS 서비스에 직접 연결합니다. `host`에는 소스 Hive 또는 HDFS 서비스의 IP 주소 또는 호스트 이름을 입력합니다. `port`에는 Hive 또는 HDFS 서비스의 서비스 포트를 입력합니다. 그런 다음 `user` 및 `password`에 대한 Hive 또는 HDFS 보안 인증 정보를 입력합니다. **AWS SCT CLI에서 Hive 및 HDFS에 연결하려면** 1. 소스 Hadoop 클러스터의 연결 정보가 포함된 CLI 스크립트를 엽니다. 이전 단계에서 정의한 Hadoop 클러스터의 이름을 사용해야 합니다. 1. 프로젝트에 소스 Hive 서비스를 추가합니다. `AddSourceClusterHive` 명령을 사용하여 소스 Hive 서비스를 연결합니다. `user`, `password`, `cluster`, `name`, `port`와 같은 필수 파라미터에 대한 값을 제공해야 합니다. 다른 파라미터는 선택 사항입니다. 다음 코드 예제에서는가 Hive 서비스와 함께 작동 AWS SCT 하도록 터널을 생성합니다. 이 소스 Hive 서비스는 AWS SCT와 동일한 PC에서 실행됩니다. 이 예제에서는 이전 예제의 `HADOOP_SOURCE` 소스 클러스터를 사용합니다. ``` AddSourceClusterHive -cluster: 'HADOOP_SOURCE' -name: 'HIVE_SOURCE' -host: 'localhost' -port: '10005' -user: '{{hive_user}}' -password: '{{hive_password}}' -createTunnel: 'true' -localPort: '10005' -remoteHost: '{{hive_remote_address}}' -remotePort: '{{hive_port}}' / ``` 다음 코드 예제에서는 터널 없이 Hive 서비스에 연결합니다. ``` AddSourceClusterHive -cluster: 'HADOOP_SOURCE' -name: 'HIVE_SOURCE' -host: '{{hive_address}}' -port: '{{hive_port}}' -user: '{{hive_user}}' -password: '{{hive_password}}' / ``` 이전 예제에서 {{hive\_user}} 및 {{hive\_password}}를 Hive 사용자 이름과 이 사용자의 암호로 바꿉니다. 다음으로, {{hive\_address}} 및 {{hive\_port}}를 소스 Hadoop 클러스터의 NameNode IP 주소와 포트로 바꿉니다. {{hive\_remote\_address}}에는 소스 Hive 서비스의 기본값 `127.0.0.1` 또는 NameNode IP 주소를 사용할 수 있습니다. 1. 프로젝트에 소스 HDFS 서비스를 추가합니다. `AddSourceClusterHDFS` 명령을 사용하여 소스 HDFS 서비스를 연결합니다. `user`, `password`, `cluster`, `name`, `port`와 같은 필수 파라미터에 대한 값을 제공해야 합니다. 다른 파라미터는 선택 사항입니다. 사용자가 소스 HDFS 서비스에서 데이터를 마이그레이션하는 데 필요한 권한을 가지고 있어야 합니다. 자세한 내용은 [Hive를 소스로 사용하기 위한 권한](#CHAP_Source.Hadoop.Permissions) 단원을 참조하십시오. 다음 코드 예제에서는가 Apache HDFS 서비스와 함께 작동 AWS SCT 하도록 터널을 생성합니다. 이 예제는 이전에 만든 `HADOOP_SOURCE` 소스 클러스터를 사용합니다. ``` AddSourceClusterHDFS -cluster: 'HADOOP_SOURCE' -name: 'HDFS_SOURCE' -host: 'localhost' -port: '9005' -user: '{{hdfs_user}}' -password: '{{hdfs_password}}' -createTunnel: 'true' -localPort: '9005' -remoteHost: '{{hdfs_remote_address}}' -remotePort: '{{hdfs_port}}' / ``` 다음 코드에서는 터널 없이 Apache HDFS 서비스에 연결합니다. ``` AddSourceClusterHDFS -cluster: 'HADOOP_SOURCE' -name: 'HDFS_SOURCE' -host: '{{hdfs_address}}' -port: '{{hdfs_port}}' -user: '{{hdfs_user}}' -password: '{{hdfs_password}}' / ``` 이전 예제에서 {{hdfs\_user}} 및 {{hdfs\_password}}를 HDFS 사용자 이름과 이 사용자의 암호로 바꿉니다. 다음으로, {{hdfs\_address}} 및 {{hdfs\_port}}를 소스 Hadoop 클러스터의 NameNode IP 주소와 포트로 바꿉니다. {{hdfs\_remote\_address}}에는 소스 Hive 서비스의 기본값 `127.0.0.1` 또는 NameNode IP 주소를 사용할 수 있습니다. 1. CLI 스크립트를 저장합니다. 다음으로, 대상 Amazon EMR 클러스터의 연결 정보와 마이그레이션 명령을 추가합니다. ## Amazon EMR에 대상으로 연결 AWS SCT CLI를 사용하여 대상 Amazon EMR 클러스터에 연결할 수 있습니다. 이 작업을 수행하려면 인바운드 트래픽을 승인하고 SSH를 사용해야 합니다. 이 경우 AWS SCT 에는 Amazon EMR 클러스터와 함께 작동하는 데 필요한 모든 권한이 있습니다. 자세한 내용은 Amazon EMR 관리 안내서에서 [연결하기 전에](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-ssh-prereqs.html) 및 [SSH를 사용하여 프라이머리 노드에 연결](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html)을 참조하세요. AWS SCT 는 `hadoop` 클러스터 사용자와 함께 Amazon EMR Hive에 연결합니다. Amazon EMR Hive에 연결하려면 Hive JDBC 드라이버 버전 2.6.2.1002 이상을 사용합니다. 자세한 내용은 [용 JDBC 드라이버 설치 AWS Schema Conversion Tool](CHAP_Installing.JDBCDrivers.md) 단원을 참조하십시오. **AWS SCT CLI에서 Amazon EMR에 연결하려면** 1. 소스 Hadoop 클러스터의 연결 정보가 포함된 CLI 스크립트를 엽니다. 대상 Amazon EMR 보안 인증 정보를 이 파일에 추가합니다. 1. 대상 Amazon EMR 클러스터를 프로젝트에 추가합니다. 다음 코드 예제는 대상 Amazon EMR 클러스터를 추가합니다. 이 예제에서는 `HADOOP_TARGET`을 대상 클러스터의 이름으로 설정합니다. 이 객체 이름을 사용하여 Hive 및 HDFS 서비스와 Amazon S3 버킷 폴더를 프로젝트에 추가하고 매핑 규칙을 생성합니다. ``` AddTargetCluster -name: 'HADOOP_TARGET' -vendor: 'AMAZON_EMR' -host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com' -port: '22' -user: '{{emr_user}}' -password: '{{emr_password}}' -useSSL: 'true' -privateKeyPath: 'c:\{{path\name}}.pem' -passPhrase: '1234567890abcdef0!' -s3Name: 'S3_TARGET' -accessKey: 'AKIAIOSFODNN7EXAMPLE' -secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY' -region: 'eu-west-1' -s3Path: 'doc-example-bucket/example-folder' / ``` 이전 예제에서 AWS 리소스 이름과 Amazon EMR 연결 정보를 입력합니다. 여기에는 Amazon EMR 클러스터의 IP 주소, AWS 액세스 키, AWS 보안 액세스 키 및 Amazon S3 버킷이 포함됩니다. 필요한 경우 port 변수 값을 구성합니다. 그런 다음 {{emr\_user}} 및 {{emr\_password}}를 Amazon EMR 사용자의 이름 및 이 사용자의 암호로 바꿉니다. {{path\\name}}에는 대상 Amazon EMR 클러스터의 PEM 파일 이름과 경로를 입력합니다. 자세한 내용은 [EMR 클러스터 액세스를 위한 PEM 파일 다운로드](https://docs.aws.amazon.com/whitepapers/latest/teaching-big-data-skills-with-amazon-emr/download-pem-file-for-emr-cluster-access.html)를 참조하세요. 1. 대상 Amazon S3 버킷을 프로젝트에 추가합니다. 다음 코드 예제는 대상 Amazon S3 버킷을 추가합니다. 이 예제는 이전에 만든 `HADOOP_TARGET` 클러스터를 사용합니다. ``` AddTargetClusterS3 -cluster: 'HADOOP_TARGET' -Name: 'S3_TARGET' -accessKey: 'AKIAIOSFODNN7EXAMPLE' -secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY' -region: 'eu-west-1' -s3Path: 'doc-example-bucket/example-folder' / ``` 이전 예제에서 AWS 액세스 키, AWS 보안 액세스 키 및 Amazon S3 버킷을 입력합니다. 1. 프로젝트에 대상 Hive 서비스를 추가합니다. 다음 코드 예제에서는가 대상 Hive 서비스와 함께 작동 AWS SCT 하도록 터널을 생성합니다. 이 예제는 이전에 만든 `HADOOP_TARGET` 대상 클러스터를 사용합니다. ``` AddTargetClusterHive -cluster: 'HADOOP_TARGET' -name: 'HIVE_TARGET' -host: 'localhost' -port: '10006' -user: '{{hive_user}}' -password: '{{hive_password}}' -createTunnel: 'true' -localPort: '10006' -remoteHost: '{{hive_address}}' -remotePort: '{{hive_port}}' / ``` 이전 예제에서 {{hive\_user}} 및 {{hive\_password}}를 Hive 사용자 이름과 이 사용자의 암호로 바꿉니다. 그 다음으로, {{hive\_address}}를 기본값 `127.0.0.1` 또는 대상 Hive 서비스의 NameNode IP 주소로 바꿉니다. 그 다음으로, {{hive\_port}}를 대상 Hive 서비스의 포트로 바꿉니다. 1. 프로젝트에 대상 HDFS 서비스를 추가합니다. 다음 코드 예제에서는가 Apache HDFS 서비스와 함께 작동 AWS SCT 하도록 터널을 생성합니다. 이 예제는 이전에 만든 `HADOOP_TARGET` 대상 클러스터를 사용합니다. ``` AddTargetClusterHDFS -cluster: 'HADOOP_TARGET' -name: 'HDFS_TARGET' -host: 'localhost' -port: '8025' -user: '{{hdfs_user}}' -password: '{{hdfs_password}}' -createTunnel: 'true' -localPort: '8025' -remoteHost: '{{hdfs_address}}' -remotePort: '{{hdfs_port}}' / ``` 이전 예제에서 {{hdfs\_user}} 및 {{hdfs\_password}}를 HDFS 사용자 이름과 이 사용자의 암호로 바꿉니다. 그 다음으로, {{hdfs\_address}} 및 {{hdfs\_port}}를 대상 HDFS 서비스의 NameNode의 프라이빗 IP 주소와 포트로 바꿉니다. 1. CLI 스크립트를 저장합니다. 그 다음으로, 매핑 규칙과 마이그레이션 명령을 추가합니다. 자세한 내용은 [Hadoop 워크로드 마이그레이션](big-data-hadoop.md) 단원을 참조하십시오.