As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Especificar a criptografia do Amazon S3 usando propriedades do EMRFS
**Importante**
A partir do Amazon EMR versão 4.8.0, você pode usar configurações de segurança para aplicar configurações de criptografia mais facilmente e com mais opções. Recomendamos usar configuração de segurança. Para obter informações, consulte [Configure data encryption](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-create-security-configuration.html#emr-security-configuration-encryption). As instruções do console descritas nesta seção estão disponíveis para versões anteriores à 4.8.0. Se você usar o AWS CLI para configurar a criptografia do Amazon S3 na configuração do cluster e em uma configuração de segurança nas versões subsequentes, a configuração de segurança substituirá a configuração do cluster.
Ao criar um cluster, você pode especificar criptografia do lado do servidor (SSE) ou criptografia do lado do cliente (CSE) para dados do EMRFS no Amazon S3 usando o console ou usando propriedades de classificação por meio do SDK do EMR ou do EMR. `emrfs-site` AWS CLI A SSE e a CSE do Amazon S3 são mutuamente exclusivas. Você pode escolher uma delas, mas não ambas.
Para AWS CLI obter instruções, consulte a seção apropriada para seu tipo de criptografia abaixo.
**Para especificar as opções de criptografia do EMRFS usando o Console de gerenciamento da AWS**
1. Navegue até o novo console do Amazon EMR e selecione **Alternar para o console antigo** na navegação lateral. Para obter mais informações sobre o que esperar ao alternar para o console antigo, consulte [Usar o console antigo](https://docs.aws.amazon.com/emr/latest/ManagementGuide/whats-new-in-console.html#console-opt-in).
1. Escolha **Create cluster (Criar cluster)**, **Go to advanced options (Ir para opções avançadas)**.
1. Escolha uma **Release** de 4.7.2 ou anterior.
1. Escolha outras opções para **Software and Steps (Software e etapas)**, conforme apropriado para seu aplicativo e, em seguida, escolha **Next (Próximo)**.
1. Escolha as configurações nos painéis **Hardware** e **General Cluster Settings (Configurações gerais do cluster)**, conforme apropriado para seu aplicativo.
1. No painel **Security (Segurança)**, em **Authentication and encryption (Autenticação e criptografia)**, selecione a opção **S3 Encryption (with EMRFS) (Criptografia do S3 (com EMRFS))** a ser usada.
**nota**
A **criptografia do lado do servidor do S3 com gerenciamento de chaves do KMS** (SSE-KMS) não está disponível ao usar o Amazon EMR 4.4 ou versões anteriores.
+ Se você escolher uma opção que use **Gerenciamento de chaves da AWS **, escolha um **ID da chave do AWS KMS**. Para obter mais informações, consulte [Usando AWS KMS keys para criptografia EMRFS](#emr-emrfs-awskms).
+ Se você escolher **S3 client-side encryption with custom materials provider (Criptografia do lado do cliente do S3 com fornecedor de materiais personalizados)**, forneça o **Class name (Nome da classe)** e o **JAR location (Local de JAR)**. Para obter mais informações, consulte [Criptografia do lado do cliente do Amazon S3](emr-emrfs-encryption-cse.md).
1. Escolha outras opções conforme apropriado para seu aplicativo e, em seguida, escolha **Create Cluster (Criar cluster)**.
## Usando AWS KMS keys para criptografia EMRFS
A chave de AWS KMS criptografia deve ser criada na mesma região da sua instância de cluster do Amazon EMR e dos buckets do Amazon S3 usados com o EMRFS. Se a chave especificada estiver em uma conta diferente da que foi usada para configurar um cluster, será necessário especificar a chave usando o respectivo ARN.
O perfil do perfil de instância do Amazon EC2 deverá ter permissões para usar a chave do KMS que você especificar. O perfil padrão para o perfil de instância no Amazon EMR é `EMR_EC2_DefaultRole`. Se você usar um perfil diferente para o perfil de instância ou usar perfis do IAM para solicitações do EMRFS para o Amazon S3, certifique-se de que cada perfil seja adicionado como um usuário de chave, conforme o caso. Isso concede ao perfil permissões para usar a chave do KMS. Para obter mais informações, consulte [Using Key Policies](https://docs.aws.amazon.com/kms/latest/developerguide/key-policies.html#key-policy-default-allow-users) no *Guia do desenvolvedor do AWS Key Management Service * e [Configure IAM roles for EMRFS requests to Amazon S3](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-emrfs-iam-roles.html).
Você pode usar o Console de gerenciamento da AWS para adicionar seu perfil de instância ou perfil de instância do EC2 à lista de usuários principais da chave KMS especificada, ou você pode usar o AWS CLI ou um AWS SDK para anexar uma política de chaves apropriada.
O Amazon EMR oferece suporte somente a [chaves do KMS simétricas](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#symmetric-cmks). Não é possível usar uma [chave do KMS assimétrica](https://docs.aws.amazon.com/kms/latest/developerguide/symmetric-asymmetric.html#asymmetric-cmks) para criptografar dados em repouso em um cluster do Amazon EMR. Para obter ajuda para determinar se uma chave do KMS é simétrica ou assimétrica, consulte [Identifying symmetric and asymmetric KMS keys](https://docs.aws.amazon.com/kms/latest/developerguide/find-symm-asymm.html).
O procedimento abaixo descreve como adicionar o perfil de instância do Amazon EMR padrão, `EMR_EC2_DefaultRole`, como um *usuário de chave* usando o Console de gerenciamento da AWS. Ele pressupõe que você já tenha criado uma chave do KMS. Para criar uma nova chave do KMS, consulte [Creating Keys](https://docs.aws.amazon.com/kms/latest/developerguide/create-keys.html) no *Guia do desenvolvedor do AWS Key Management Service *.
**Adicionar o perfil de instância do EC2 para Amazon EMR à lista de usuários de chaves de criptografia**
1. Faça login no console Console de gerenciamento da AWS e abra o AWS Key Management Service (AWS KMS) em [https://console.aws.amazon.com/kms](https://console.aws.amazon.com/kms).
1. Para alterar o Região da AWS, use o seletor de região no canto superior direito da página.
1. Selecione o alias da chave do KMS a ser modificada.
1. Na página de detalhes da chave, em **Key Users (Usuários de chaves)**, escolha **Add (Adicionar)**.
1. Na caixa de diálogo **Add key users (Adicionar usuários da chave)** selecione a função apropriada. O nome da função padrão é `EMR_EC2_DefaultRole`.
1. Escolha **Adicionar**.
## Criptografia do lado do servidor do Amazon S3
Todos os buckets do Amazon S3 têm criptografia configurada por padrão, e todos os novos objetos que são carregados em um bucket do S3 são automaticamente criptografados em repouso. O Amazon S3 criptografa os dados no nível do objeto à medida que os grava no disco e os descriptografa quando eles são acessados. Para ter mais informações sobre o SSE, consulte [Proteger os dados usando criptografia do lado do servidor](https://docs.aws.amazon.com/AmazonS3/latest/userguide/serv-side-encryption.html) no *Guia do usuário do Amazon Simple Storage Service*.
Você pode escolher entre dois sistemas de gerenciamento de chaves diferentes ao especificar a SSE no Amazon EMR:
+ **SSE-S3**: o Amazon S3 gerencia as chaves para você.
+ **SSE-KMS** — Você usa um AWS KMS key para configurar políticas adequadas para o Amazon EMR. Para obter mais informações sobre os principais requisitos do Amazon EMR, consulte [Uso AWS KMS keys para criptografia](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-encryption-enable.html#emr-awskms-keys).
A SSE com chaves fornecidas pelo cliente (SSE-C) não está disponível para o uso com o Amazon EMR.
**Para criar um cluster com o SSE-S3 habilitado usando o AWS CLI**
+ Digite o seguinte comando:
```
aws emr create-cluster --release-label emr-4.7.2 or earlier \
--instance-count 3 --instance-type m5.xlarge --emrfs Encryption=ServerSide
```
Você também pode ativar o SSE-S3 configurando o fs.s3. enableServerSidePropriedade de criptografia para verdadeira nas `emrfs-site` propriedades. Consulte o exemplo para SSE-KMS a seguir e omita a propriedade para Key ID.
**Para criar um cluster com o SSE-KMS ativado usando o AWS CLI**
**nota**
O SSE-KMS está disponível apenas no Amazon EMR versão 4.5.0 e posteriores.
+ Digite o AWS CLI comando a seguir para criar um cluster com SSE-KMS, onde *keyID* está, por exemplo AWS KMS key, um: *a4567b8-9900-12ab-1234-123a45678901*
```
aws emr create-cluster --release-label emr-4.7.2 or earlier --instance-count 3 \
--instance-type m5.xlarge --use-default-roles \
--emrfs Encryption=ServerSide,Args=[fs.s3.serverSideEncryption.kms.keyId=keyId]
```
**--OU--**
Digite o AWS CLI comando a seguir usando a `emrfs-site` classificação e forneça um arquivo JSON de configuração com conteúdo semelhante ao mostrado `myConfig.json` no exemplo abaixo:
```
aws emr create-cluster --release-label emr-4.7.2 or earlier --instance-count 3 --instance-type m5.xlarge --applications Name=Hadoop --configurations file://myConfig.json --use-default-roles
```
Exemplo de conteúdo de **myConfig.json**:
```
[
{
"Classification":"emrfs-site",
"Properties": {
"fs.s3.enableServerSideEncryption": "true",
"fs.s3.serverSideEncryption.kms.keyId":"a4567b8-9900-12ab-1234-123a45678901"
}
}
]
```
### Propriedades de configuração para SSE-S3 e SSE-KMS
Essas propriedades podem ser configuradas usando a classificação de configuração `emrfs-site`. O SSE-KMS está disponível apenas no Amazon EMR versão 4.5.0 e posteriores.
| Propriedade | Valor padrão | Description |
| --- | --- | --- |
| fs.s3.enableServerSideEncryption | false | Quando definida como **true**, objetos armazenados no Amazon S3 são criptografados usando criptografia do lado do servidor. Se nenhuma chave for especificada, SSE-S3 será usada. |
| fs.s3.serverSideEncryption.kms.keyId | n/a | Especifica um ID de AWS KMS chave ou ARN. Se uma chave for especificada, SSE-KMS será usada. |
# Criptografia do lado do cliente do Amazon S3
Com a criptografia do lado do cliente do Amazon S3, a criptografia e a descriptografia do Amazon S3 ocorrem no cliente do EMRFS em seu cluster. Os objetos são criptografados antes de serem carregados no Amazon S3 e descriptografados após serem baixados. O provedor especificado por você fornece a chave de criptografia que o cliente usa. O cliente pode usar chaves fornecidas pelo AWS KMS (CSE-KMS) ou uma classe Java personalizada que fornece a chave raiz do lado do cliente (CSE-C). As especificações de criptografia são ligeiramente diferentes entre a CSE-KMS e a CSE-C, dependendo do provedor especificado e dos metadados do objeto que está sendo descriptografado ou criptografado. Para obter mais informações sobre essas diferenças, consulte [Proteger dados usando a criptografia do lado do cliente](https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingClientSideEncryption.html) no *Guia do usuário do Amazon Simple Storage Service*.
**nota**
A CSE do Amazon S3 garante somente que os dados do EMRFS trocados com o Amazon S3 sejam criptografados. Não são todos os dados nos volumes de instâncias do cluster que são criptografados. Além disso, como o Hue não usa o EMRFS, os objetos que o navegador de arquivos do S3 para Hue grava no Amazon S3 não são criptografados.
**Para especificar o CSE-KMS para dados do EMRFS no Amazon S3 usando o AWS CLI**
+ Digite o comando a seguir e *MyKMSKeyID* substitua pelo ID da chave ou ARN da chave KMS a ser usada:
```
aws emr create-cluster --release-label emr-4.7.2 or earlier
--emrfs Encryption=ClientSide,ProviderType=KMS,KMSKeyId=MyKMSKeyId
```
## Criar um provedor de chaves personalizado
Dependendo do tipo de criptografia que você usa ao criar um provedor de chave personalizado, o aplicativo também deve implementar EncryptionMaterialsProvider interfaces diferentes. Ambas as interfaces estão disponíveis no AWS SDK for Java versão 1.11.0 e posterior.
+ [Para implementar a criptografia do Amazon S3, use o com.amazonaws.services.s3.model. EncryptionMaterialsProvider ](https://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/s3/model/EncryptionMaterialsProvider.html)interface.
+ Para implementar a criptografia de disco local, use [com.amazonaws.services.elasticmapreduce.spi.security. EncryptionMaterialsProvider ](https://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/elasticmapreduce/spi/security/EncryptionMaterialsProvider.html)interface.
Você pode usar qualquer estratégia para fornecer materiais de criptografia para a implementação. Por exemplo, você pode optar por fornecer materiais de criptografia estáticos ou fazer uma integração com um sistema de gerenciamento de chaves mais complexo.
Se você estiver usando a criptografia do Amazon S3, deverá usar os algoritmos de criptografia **AES/GCM/NoPadding**para materiais de criptografia personalizados.
Se estiver usando criptografia de disco local, o algoritmo de criptografia a ser utilizado para materiais de criptografia personalizados varia de acordo com a versão do EMR. Para o Amazon EMR 7.0.0 e versões anteriores, você deve usar. **AES/GCM/NoPadding** No Amazon EMR 7.1.0 e versões posteriores, você deve usar **AES**.
A EncryptionMaterialsProvider classe obtém materiais de criptografia por contexto de criptografia. O Amazon EMR popula informações de contexto de criptografia em runtime para ajudar o chamador a determinar os materiais de criptografia corretos a serem retornados.
**Example Exemplo: usar um provedor de chaves personalizado para a criptografia do Amazon S3 com o EMRFS**
Quando o Amazon EMR busca os materiais de criptografia da EncryptionMaterialsProvider classe para realizar a criptografia, o EMRFS opcionalmente preenche o argumento MaterialsDescription com dois campos: o URI do Amazon S3 para o objeto JobFlowId e o do cluster, que pode ser usado pela classe para retornar materiais de criptografia seletivamente. EncryptionMaterialsProvider
Por exemplo, o provedor pode retornar diferentes chaves para diferentes prefixos de URI do Amazon S3. É a descrição dos materiais de criptografia retornados que acaba sendo armazenada com o objeto do Amazon S3 no lugar do valor de materialsDescription que é gerado pelo EMRFS e transmitido ao provedor. Ao descriptografar um objeto do Amazon S3, a descrição do material de criptografia é passada para a EncryptionMaterialsProvider classe, para que ela possa, novamente, retornar seletivamente a chave correspondente para descriptografar o objeto.
Uma implementação de EncryptionMaterialsProvider referência é fornecida abaixo. Outro provedor personalizado, [EMRFSRSAEncryptionMaterialsProvider](https://github.com/awslabs/emr-sample-apps/tree/master/emrfs-plugins/EMRFSRSAEncryptionMaterialsProvider), está disponível em GitHub.
```
import com.amazonaws.services.s3.model.EncryptionMaterials;
import com.amazonaws.services.s3.model.EncryptionMaterialsProvider;
import com.amazonaws.services.s3.model.KMSEncryptionMaterials;
import org.apache.hadoop.conf.Configurable;
import org.apache.hadoop.conf.Configuration;
import java.util.Map;
/**
* Provides KMSEncryptionMaterials according to Configuration
*/
public class MyEncryptionMaterialsProviders implements EncryptionMaterialsProvider, Configurable{
private Configuration conf;
private String kmsKeyId;
private EncryptionMaterials encryptionMaterials;
private void init() {
this.kmsKeyId = conf.get("my.kms.key.id");
this.encryptionMaterials = new KMSEncryptionMaterials(kmsKeyId);
}
@Override
public void setConf(Configuration conf) {
this.conf = conf;
init();
}
@Override
public Configuration getConf() {
return this.conf;
}
@Override
public void refresh() {
}
@Override
public EncryptionMaterials getEncryptionMaterials(Map materialsDescription) {
return this.encryptionMaterials;
}
@Override
public EncryptionMaterials getEncryptionMaterials() {
return this.encryptionMaterials;
}
}
```
## Especificando um fornecedor de materiais personalizados usando o AWS CLI
Para usar a AWS CLI, transmita os argumentos `Encryption`, `ProviderType`, `CustomProviderClass` e `CustomProviderLocation` para a opção `emrfs`.
```
aws emr create-cluster --instance-type m5.xlarge --release-label emr-4.7.2 or earlier --emrfs Encryption=ClientSide,ProviderType=Custom,CustomProviderLocation=s3://amzn-s3-demo-bucket/myfolder/provider.jar,CustomProviderClass=classname
```
Configurar `Encryption` como `ClientSide` permite a criptografia do lado do cliente, `CustomProviderClass` é o nome do seu objeto `EncryptionMaterialsProvider` e `CustomProviderLocation` é o local ou a localização no Amazon S3 de onde o Amazon EMR copia `CustomProviderClass` para cada nó do cluster e o coloca no caminho de classe.
## Especificar um provedor de materiais personalizado usando um SDK
Para usar um SDK, primeiro você pode definir a propriedade `fs.s3.cse.encryptionMaterialsProvider.uri` para baixar a classe personalizada `EncryptionMaterialsProvider` que é armazenada no Amazon S3 em cada nó do cluster. Isso pode ser configurado no arquivo `emrfs-site.xml`, juntamente com a CSE habilitada e a localização apropriada do provedor personalizado.
Por exemplo, no AWS SDK para Java uso RunJobFlowRequest, seu código pode ter a seguinte aparência:
```
Map emrfsProperties = new HashMap();
emrfsProperties.put("fs.s3.cse.encryptionMaterialsProvider.uri","s3://amzn-s3-demo-bucket/MyCustomEncryptionMaterialsProvider.jar");
emrfsProperties.put("fs.s3.cse.enabled","true");
emrfsProperties.put("fs.s3.consistent","true");
emrfsProperties.put("fs.s3.cse.encryptionMaterialsProvider","full.class.name.of.EncryptionMaterialsProvider");
Configuration myEmrfsConfig = new Configuration()
.withClassification("emrfs-site")
.withProperties(emrfsProperties);
RunJobFlowRequest request = new RunJobFlowRequest()
.withName("Custom EncryptionMaterialsProvider")
.withReleaseLabel("emr-7.12.0")
.withApplications(myApp)
.withConfigurations(myEmrfsConfig)
.withServiceRole("EMR_DefaultRole_V2")
.withJobFlowRole("EMR_EC2_DefaultRole")
.withLogUri("s3://myLogUri/")
.withInstances(new JobFlowInstancesConfig()
.withEc2KeyName("myEc2Key")
.withInstanceCount(2)
.withKeepJobFlowAliveWhenNoSteps(true)
.withMasterInstanceType("m5.xlarge")
.withSlaveInstanceType("m5.xlarge")
);
RunJobFlowResult result = emr.runJobFlow(request);
```
## Personalizar EncryptionMaterialsProvider com argumentos
Pode ser necessário passar argumentos diretamente para o provedor. Para fazer isso, você pode usar a classificação de configuração `emrfs-site` com argumentos personalizados definidos como propriedades. Uma configuração de exemplo é mostrada a seguir, que é salva como um arquivo, `myConfig.json`:
```
[
{
"Classification": "emrfs-site",
"Properties": {
"myProvider.arg1":"value1",
"myProvider.arg2":"value2"
}
}
]
```
Usando o `create-cluster` comando do AWS CLI, você pode usar a `--configurations` opção para especificar o arquivo conforme mostrado abaixo:
```
aws emr create-cluster --release-label emr-7.12.0 --instance-type m5.xlarge --instance-count 2 --configurations file://myConfig.json --emrfs Encryption=ClientSide,CustomProviderLocation=s3://amzn-s3-demo-bucket/myfolder/myprovider.jar,CustomProviderClass=classname
```
## Configurar o suporte ao EMRFS S3EC V2
As versões do SDK para Java no S3 (1.11.837 e posteriores) têm suporte para cliente de criptografia versão 2 (S3EC V2) com vários aprimoramentos de segurança. Para obter mais informações, consulte a publicação no blog do S3 [Updates to the Amazon S3 encryption client](https://aws.amazon.com/blogs/developer/updates-to-the-amazon-s3-encryption-client/). Além disso, consulte a [migração do cliente de criptografia Amazon S3](https://docs.aws.amazon.com/sdk-for-java/v1/developer-guide/s3-encryption-migration.html) no Guia do AWS SDK para Java desenvolvedor.
O Encryption Client V1 ainda está disponível no SDK para compatibilidade retroativa. Por padrão, o EMRFS usará o S3EC V1 para criptografar e descriptografar objetos do S3 quando o CSE estiver habilitado.
Não é possível descriptografar objetos do S3 criptografados com o S3EC V2 pelo EMRFS em um cluster do EMR cuja versão seja anterior ao emr-5.31.0 (emr-5.30.1 e anteriores, emr-6.1.0 e anteriores).
**Example Configurar o EMRFS para usar o S3EC V2**
Para configurar o EMRFS para usar o S3EC V2, adicione esta configuração:
```
{
"Classification": "emrfs-site",
"Properties": {
"fs.s3.cse.encryptionV2.enabled": "true"
}
}
```
## Propriedades `emrfs-site.xml` para criptografia do lado do cliente do Amazon S3
| Propriedade | Valor padrão | Description |
| --- | --- | --- |
| fs.s3.cse.enabled | false | Quando definido como **true**, os objetos do EMRFS armazenados no Amazon S3 são criptografados usando a criptografia do lado do cliente. |
| fs.s3.cse.encryptionV2.enabled | false | Quando estiver definido como `true`, o EMRFS usará o cliente de criptografia do S3 versão 2 para criptografar e descriptografar objetos no S3. Disponível no EMR 5.31.0 e versões posteriores. |
| fs.s3.cse.encryptionMaterialsProvider.uri | N/A | Aplica-se ao usar materiais de criptografia personalizada. O URI do Amazon S3 em que o JAR com EncryptionMaterialsProvider está localizado. Quando você fornecer esse URI, o Amazon EMR baixará o JAR automaticamente em todos os nós do cluster. |
| fs.s3.cse.encryptionMaterialsProvider | N/A | O caminho da classe `EncryptionMaterialsProvider` usado com a criptografia no lado do cliente. Ao usar CSE-KMS, especifique `com.amazon.ws.emr.hadoop.fs.cse.KMSEncryptionMaterialsProvider`. |
| fs.s3.cse.materialsDescription.enabled | false | Quando definido como`true`, preenche a MaterialsDescription de objetos criptografados com o URI do Amazon S3 para o objeto e o. JobFlowId Defina como `true` ao usar materiais de criptografia personalizados. |
| fs.s3.cse.kms.keyId | N/A | Aplica-se ao usar a CSE-KMS. O valor do KeyId, ARN ou alias da chave KMS usada para criptografia. |
| fs.s3.cse.cryptoStorageMode | ObjectMetadata | O modo de armazenamento do Amazon S3. Por padrão, a descrição das informações de criptografia é armazenada nos metadados do objeto. Você também pode armazenar a descrição em um arquivo de instruções. Os valores válidos são ObjectMetadata InstructionFile e. Para obter mais informações, consulte [Criptografia de dados do lado do cliente com o AWS SDK para Java e o Amazon S3](https://aws.amazon.com/articles/client-side-data-encryption-with-the-aws-sdk-for-java-and-amazon-s3/). |