Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Amazon EMR AWS Systems Manager L'automazione fornisce runbook predefiniti per Amazon EMR. Per informazioni sull'uso dei runbook, consulta [Working with runbooks](https://docs.aws.amazon.com/systems-manager/latest/userguide/automation-documents.html). Per informazioni su come visualizzare i contenuti dei runbook, consulta. [Visualizza il contenuto del runbook](automation-runbook-reference.md#view-automation-json) **Topics** + [`AWSSupport-AnalyzeEMRLogs`](automation-awssupport-analyzeemrlogs.md) + [`AWSSupport-DiagnoseEMRLogsWithAthena`](awssupport-diagnose-emr-logs-with-athena.md) # `AWSSupport-AnalyzeEMRLogs` **Descrizione** Questo runbook aiuta a identificare gli errori durante l'esecuzione di un job su un cluster Amazon EMR. Il runbook analizza un elenco di log definiti sul file system e cerca un elenco di parole chiave predefinite. Queste voci di registro vengono utilizzate per creare CloudWatch eventi Amazon Events in modo da poter intraprendere tutte le azioni necessarie in base agli eventi. Facoltativamente, il runbook pubblica le voci di registro nel gruppo di log Amazon CloudWatch Logs di tua scelta. Questo runbook attualmente cerca i seguenti errori e modelli nei file di registro: + container\$1out\$1of\$1memory — Il contenitore YARN ha esaurito la memoria, l'esecuzione del processo potrebbe non riuscire. + yarn\$1nodemanager\$1health: il nodo CORE o TASK sta esaurendo lo spazio su disco e non sarà in grado di eseguire attività. + node\$1state\$1change: il nodo CORE o TASK non è raggiungibile dal nodo MASTER. + step\$1failure: Un passaggio EMR non è riuscito. + no\$1core\$1nodes\$1running: Nessun nodo CORE è attualmente in esecuzione, il cluster non è integro. + hdfs\$1missing\$1blocks: Mancano blocchi HDFS che potrebbero portare alla perdita di dati. + hdfs\$1high\$1util: L'utilizzo di HDFS è elevato, il che può influire sui job e sullo stato del cluster. + instance\$1controller\$1restart: il processo Instance-Controller è stato riavviato. Questo processo è essenziale per l'integrità del cluster. + instance\$1controller\$1restart\$1legacy: il processo Instance-Controller è stato riavviato. Questo processo è essenziale per l'integrità del cluster. + high\$1load: rilevata una media di carico elevata, può influire sulla segnalazione dello stato dei nodi o causare timeout o rallentamenti. + yarn\$1node\$1blacklisted: il nodo CORE o TASK è stato inserito nella lista nera da YARN per impedire l'esecuzione delle attività. + yarn\$1node\$1lost: il nodo CORE o TASK è stato contrassegnato come LOST da YARN, possibili problemi di connettività. Le istanze associate a quello `ClusterID` specificato devono essere gestite da. AWS Systems ManagerÈ possibile eseguire questa automazione una sola volta, pianificare l'automazione in modo che venga eseguita a un intervallo di tempo specifico o rimuovere una pianificazione creata in precedenza da un'automazione. Questo runbook supporta le versioni di Amazon EMR dalla 5.20 alla 6.30. [Esegui questa automazione (console)](https://console.aws.amazon.com/systems-manager/automation/execute/AWSSupport-AnalyzeEMRLogs) **Tipo di documento** Automazione **Proprietario** Amazon **Piattaforme** LinuxmacOS, Windows **Parametri** + AutomationAssumeRole Tipo: String Descrizione: (Facoltativo) L'Amazon Resource Name (ARN) del ruolo AWS Identity and Access Management (IAM) che consente a Systems Manager Automation di eseguire le azioni per tuo conto. Se non viene specificato alcun ruolo, Systems Manager Automation utilizza le autorizzazioni dell'utente che avvia questo runbook. + ClusterID Tipo: String Descrizione: (Obbligatorio) L'ID del cluster di cui si desidera analizzare i log dei nodi. + Operation Tipo: String Valori validi: Run Once \$1 Schedule \$1 Remove Schedule Descrizione: (Obbligatoria) L'operazione da eseguire sul cluster. + IntervalTime Tipo: String Valori validi: 5 minuti \$1 10 minuti \$1 15 minuti Descrizione: (Facoltativo) L'intervallo di tempo che intercorre tra l'esecuzione dell'automazione. Questo parametro è applicabile solo se viene specificato `Schedule` per il `Operation` parametro. + LogToCloudWatchLogs Tipo: String Valori validi: sì \$1 no Descrizione: (Facoltativo) Se si specifica `yes` il valore di questo parametro, l'automazione crea un gruppo di log CloudWatch Logs con il nome specificato nel `CloudWatchLogGroup` parametro per memorizzare tutte le voci di registro corrispondenti. + CloudWatchLogGroup Tipo: String Descrizione: (Facoltativo) Il nome del gruppo di log CloudWatch Logs in cui si desidera memorizzare tutte le voci di registro corrispondenti. Questo parametro è applicabile solo se viene specificato `yes` per il `LogToCloudWatchLogs` parametro. + CreateLogInsightsDashboard Tipo: String Valori validi: sì \$1 no Descrizione: (Facoltativo) Se si specifica`yes`, la CloudWatch dashboard viene creata se non esiste già. Questo parametro è applicabile solo se viene specificato `yes` per il `LogToCloudWatchLogs` parametro. + CreateMetricFilters Tipo: String Valori validi: sì \$1 no Descrizione: (Facoltativo) Specificate `yes` se desiderate creare filtri metrici per il gruppo di log CloudWatch Logs. Questo parametro è applicabile solo se si specifica `yes` per il `LogToCloudWatchLogs` parametro. **Autorizzazioni IAM richieste** Il `AutomationAssumeRole` parametro richiede le seguenti azioni per utilizzare correttamente il runbook. + `ssm:StartAutomationExecution` + `ssm:GetDocument` + `ssm:ListDocuments` + `ssm:DescribeAutomationExecutions` + `ssm:DescribeAutomationStepExecutions` + `ssm:GetAutomationExecution` + `ssm:DescribeInstanceInformation` + `ssm:ListCommandInvocations` + `ssm:ListCommands` + `ssm:SendCommand` + `iam:CreateRole` + `iam:DeleteRole` + `iam:GetRolePolicy` + `iam:PutRolePolicy` + `iam:DeleteRolePolicy` + `iam:passrole` + `cloudformation:DescribeStacks` + `cloudformation:DeleteStack` + `cloudformation:CreateStack` + `events:DeleteRule` + `events:RemoveTargets` + `events:PutTargets` + `events:PutRule` + `events:DescribeRule` + `logs:DescribeLogGroups` + `logs:CreateLogGroup` + `logs:PutMetricFilter` + `cloudwatch:PutDashboard` + `elasticmapreduce:ListInstances` + `elasticmapreduce:DescribeCluster` **Fasi del documento** + `aws:executeAwsApi`- Raccoglie informazioni sul cluster Amazon EMR specificato nel `ClusterID` parametro. + `aws:branch`- Filiali basate sull'input. + Se l'operazione fornita è `Run Once` o`Schedule`: + `aws:assertAwsResourceProperty`- Verifica che il cluster sia disponibile. + `aws:executeAwsApi`- Raccoglie tutte le istanze in esecuzione nel cluster. IDs + `aws:assertAwsResourceProperty`- Verifica che l'agente SSM sia in esecuzione su tutte le istanze del cluster. + `aws:branch`- Filiali a seconda che tu abbia specificato di eseguire l'automazione una sola volta o in base a una pianificazione. + Se l'operazione fornita è`Run Once`: + `aws:branch`- Rami basati sul valore specificato nel `LogToCloudWatchLogs` parametro. + Se `LogToCloudWatchLogs` il valore è`yes`: + `aws:executeScript`- Verifica se esiste `CloudWatchLogGroup` già un gruppo di log CloudWatch Logs con il nome specificato nel parametro. In caso contrario, il gruppo viene creato con il nome specificato. + `aws:branch`- Rami basati sul valore specificato nel `CreateMetricFilters` parametro. + Se `CreateMetricFilters` il valore è`yes`: + `aws:executeAwsApi`- Vengono eseguiti 12 passaggi per ogni filtro metrico + `aws:branch`- Rami basati sul valore specificato nel `CreateLogInsightsDashboard` parametro. + Se `CreateLogInsightsDashboard` il valore è`yes`: + `aws:executeAwsApi`- Crea una CloudWatch dashboard con lo stesso nome specificato nel `CloudWatchLogGroup` parametro, se non esiste già. + Se `CreateLogInsightsDashboard` il valore è`no`: + `aws:runCommand`- Esegue uno script di shell per trovare modelli di registro su ogni istanza del cluster. + Se `CreateMetricFilters` il valore è`no`: + `aws:branch`- Rami basati sul valore specificato nel `CreateLogInsightsDashboard` parametro. + Se `CreateLogInsightsDashboard` il valore è`yes`: + `aws:executeAwsApi`- Crea una CloudWatch dashboard con lo stesso nome specificato nel `CloudWatchLogGroup` parametro, se non esiste già. + Se `CreateLogInsightsDashboard` il valore è`no`: + `aws:runCommand`- Esegue uno script di shell per trovare modelli di registro su ogni istanza del cluster. + Se `LogToCloudWatchLogs` il valore è`no`: + `aws:executeAwsApi`- Esegue uno script di shell per trovare modelli di registro su ogni istanza del cluster. + Se l'operazione fornita è`Schedule`: + `aws:createStack`- Crea un EventBridge evento Amazon destinato a questo runbook. + Se l'operazione fornita è`Remove Schedule`: + `aws:executeAwsApi`- Verifica l'esistenza di una pianificazione per il cluster. + `aws:deleteStack`- Elimina la pianificazione. **Output** GetClusterInformation.ClusterName GetClusterInformation.ClusterState ListingClusterInstances.Istanza IDs CreatingScheduleCloudFormationStack.StackStatus RemovingScheduleByDeletingScheduleCloudFormationStack.StackStatus CheckIfLogGroupExists.uscita FindLogPatternOnEMRNode.CommandId # `AWSSupport-DiagnoseEMRLogsWithAthena` **Descrizione** Il `AWSSupport-DiagnoseEMRLogsWithAthena` runbook aiuta a diagnosticare i log di Amazon EMR utilizzando Amazon Athena in integrazione con Data Catalog. AWS Glue Amazon Athena viene utilizzato per interrogare i file di log di Amazon EMR per contenitori, log dei nodi o entrambi, con parametri opzionali per intervalli di date specifici o ricerche basate su parole chiave. Il runbook può recuperare automaticamente la posizione di log di Amazon EMR per un cluster esistente oppure puoi specificare la posizione di log di Amazon S3. Per analizzare i log, il runbook: + Crea un AWS Glue database ed esegue query Amazon Athena Data Definition Language (DDL) sulla posizione di log Amazon EMR Amazon S3 per creare tabelle per i log del cluster e un elenco di problemi noti. + Esegue query DML (Data Manipulation Language) per cercare modelli di problemi noti nei log di Amazon EMR. Le query restituiscono un elenco di problemi rilevati, il relativo numero di occorrenze e il numero di parole chiave corrispondenti in base al percorso del file Amazon S3. + I risultati vengono caricati in un bucket Amazon S3 specificato sotto il prefisso. `saw_diagnose_EMR_known_issues` + Il runbook restituisce i risultati delle query di Amazon Athena, evidenziando risultati, consigli e riferimenti agli articoli di Amazon Knowledge Center (KC) provenienti da un sottoinsieme predefinito. + In caso di completamento o errore, il AWS Glue database e i file dei problemi noti caricati nel bucket Amazon S3 vengono eliminati. **Come funziona?** `AWSSupport-DiagnoseEMRLogsWithAthena`Esegui l'analisi dei log di Amazon EMR utilizzando Amazon Athena per rilevare errori ed evidenziare risultati, consigli e articoli pertinenti del Knowledge Center. Il runbook esegue i seguenti passaggi: + Ottieni la posizione del log del cluster Amazon EMR utilizzando l'ID del cluster o inserisci la posizione Amazon S3 per recuperare la posizione e le dimensioni del log. + Fornisci una stima dei costi di Athena in base alla dimensione della posizione del registro. + Ottieni l'approvazione per procedere richiedendo l'approvazione ai responsabili IAM designati prima di eseguire le query Athena e continuare con i passaggi successivi. + Carica i problemi noti nel bucket Amazon S3 specificato, crea un AWS Glue database e tabelle. + Esegui le query Athena sui dati dei log di Amazon EMR. Le query possono essere eseguite per intervallo di date, parole chiave, entrambi i criteri oppure essere eseguite senza filtri in base agli input forniti. + Analizza i risultati per evidenziare i risultati, i consigli e gli articoli KC pertinenti. + Link di output per i risultati delle query DML di Amazon Athena. + Pulisci l'ambiente rimuovendo il database creato, le tabelle e i problemi noti caricati. **Tipo di documento** Automazione **Proprietario** Amazon **Piattaforme** / Il AutomationAssumeRole parametro richiede le seguenti azioni per utilizzare correttamente il runbook: + atena: GetQueryExecution + atena: StartQueryExecution + atena: GetPreparedStatement + atena: CreatePreparedStatement + colla: GetDatabase + colla: CreateDatabase + colla: DeleteDatabase + colla: CreateTable + colla: GetTable + colla: DeleteTable + mappa elastica riduce: DescribeCluster + s3: ListBucket + s3: GetBucketVersioning + s3: ListBucketVersions + s3: GetBucketPublicAccessBlock + s3: GetBucketPolicyStatus + s3: GetObject + s3: GetBucketLocation + prezzi: GetProducts + prezzi: GetAttributeValues + prezzi: DescribeServices + prezzi: ListPriceLists **Importante** Per limitare l'accesso solo alle risorse necessarie a questa automazione, collega la seguente policy al ruolo IAM che si fida del servizio SSM. Sostituisci Partition, Region e Account con i valori appropriati per la partizione, la regione e il numero di account in cui viene eseguito il runbook. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "elasticmapreduce:DescribeCluster", "glue:GetDatabase", "athena:GetQueryExecution", "athena:StartQueryExecution", "athena:GetPreparedStatement", "athena:CreatePreparedStatement", "s3:ListBucket", "s3:GetBucketVersioning", "s3:ListBucketVersions", "s3:GetBucketPublicAccessBlock", "s3:GetBucketPolicyStatus", "s3:GetObject", "s3:GetBucketLocation", "pricing:GetProducts", "pricing:GetAttributeValues", "pricing:DescribeServices", "pricing:ListPriceLists" ], "Resource": "*" }, { "Sid": "RestrictPutObjects", "Effect": "Allow", "Action": [ "s3:PutObject" ], "Resource": [ "arn:aws:s3:::*/*/results/*", "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*" ] }, { "Sid": "RestrictDeleteAccess", "Effect": "Allow", "Action": [ "s3:DeleteObject", "s3:DeleteObjectVersion" ], "Resource": [ "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*" ] }, { "Effect": "Allow", "Action": [ "glue:GetDatabase", "glue:CreateDatabase", "glue:DeleteDatabase" ], "Resource": [ "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*", "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/*", "arn:aws:glue:us-east-1:111122223333:userDefinedFunction/saw_diagnose_emr_database_*/*", "arn:aws:glue:us-east-1:111122223333:catalog" ] }, { "Effect": "Allow", "Action": [ "glue:CreateTable", "glue:GetTable", "glue:DeleteTable" ], "Resource": [ "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_known_issues", "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_logs_table", "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/j_*", "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*", "arn:aws:glue:us-east-1:111122223333:catalog" ] } ] } ``` ------ **Istruzioni** Segui questi passaggi per configurare l'automazione: 1. Naviga [AWSSupport-DiagnoseEMRLogsWithAthena](https://console.aws.amazon.com/systems-manager/documents/AWSSupport-DiagnoseEMRLogsWithAthena/description)nella AWS Systems Manager sezione Documenti. 1. Seleziona Execute automation (Esegui automazione). 1. Per i parametri di input, inserisci quanto segue: + **AutomationAssumeRole (Facoltativo):** L'Amazon Resource Name (ARN) del ruolo AWS Identity and Access Management (IAM) che consente a Systems Manager Automation di eseguire le azioni per tuo conto. Se non viene specificato alcun ruolo, Systems Manager Automation utilizza le autorizzazioni dell'utente che avvia questo runbook. + **ClusterId (obbligatorio):** L'ID del cluster Amazon EMR. + **S3 LogLocation (opzionale):** La posizione del log Amazon S3 Amazon EMR. Inserisci la posizione Amazon S3 dell'URL in stile Path, ad esempio:. `s3://amzn-s3-demo-bucket/myfolder/j-1K48XXXXXXHCB/` Fornisci questo parametro se il cluster Amazon EMR è stato chiuso per più di giorni. `30` + **S3 BucketName (richiesto):** Il nome del bucket Amazon S3 per caricare un elenco di problemi noti e l'output delle query Amazon Athena. Il bucket deve avere l'opzione [Block Public Access abilitata](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-control-block-public-access.html) e trovarsi nella stessa AWS regione e nello stesso account del cluster Amazon EMR. + **Approvatori (obbligatorio):** L'elenco dei responsabili AWS autenticati che sono in grado di approvare o rifiutare l'azione. Puoi specificare i principali utilizzando uno dei seguenti formati: nome utente, ARN utente, ruolo IAM ARN o IAM assume il ruolo ARN. Il numero massimo di approvatori è 10. + **FetchNodeLogsOnly (Facoltativo):** Se impostato su`true`, l'automazione diagnostica i log dei contenitori delle applicazioni Amazon EMR. Il valore predefinito è `false`. + **FetchContainersLogsOnly(Facoltativo):** Se impostato su`true`, l'automazione diagnostica i log dei contenitori Amazon EMR. Il valore predefinito è `false`. + **EndSearchDate (Facoltativo):** La data di fine delle ricerche nei log. Se fornito, l'automazione cercherà esclusivamente i log generati fino alla data specificata nel formato YYYY-MM-DD (ad esempio:`2024-12-30`). + **DaysToCheck (Facoltativo):** Quando `EndSearchDate` viene fornito, questo parametro è necessario per determinare il numero di giorni in cui cercare in modo retrospettivo i log tra quelli specificati. `EndSearchDate` Il valore massimo è in giorni. `30` Il valore predefinito è `1`. + **SearchKeywords (Facoltativo):** L'elenco delle parole chiave da cercare nei log, separate da virgole. Le parole chiave non possono contenere virgolette singole o doppie. ![\[Input parameters form for AWS Systems Manager Automation with various fields and options.\]](http://docs.aws.amazon.com/it_it/systems-manager-automation-runbooks/latest/userguide/images/awssupport-diagnose-emr-logs-with-athena_input_parameters.png) 1. Seleziona **Esegui**. 1. L'automazione viene avviata. 1. Il documento esegue le seguenti operazioni: + **getLogLocation:** Recupera la posizione del log di Amazon S3 interrogando l'ID cluster Amazon EMR specificato. Se l'automazione non è in grado di interrogare la posizione del log dall'ID del cluster Amazon EMR, il runbook utilizza il `S3LogLocation` parametro di input. + **branchOnValidRegistro:** Verifica la posizione dei log di Amazon EMR. Se la posizione è valida, procedi a stimare i costi potenziali di Amazon Athena durante l'esecuzione di query sui log di Amazon EMR. + **estimateAthenaCosts:** Determina la dimensione dei log di Amazon EMR e fornisce una stima dei costi per l'esecuzione delle scansioni Athena sul set di dati di log. Per le regioni non commerciali (non AWS partizioni), questo passaggio fornisce semplicemente la dimensione del log senza stimare i costi. I costi possono essere calcolati utilizzando la documentazione sui prezzi di Athena nella regione specificata. + **Approva l'automazione:** Attende l'approvazione dei responsabili IAM designati per procedere con i passaggi successivi dell'automazione. La notifica di approvazione contiene il costo stimato della scansione di Amazon Athena sui log di Amazon EMR e dettagli sulle risorse fornite dall'automazione. + **uploadKnownIssuesExecuteAthenaQueries:** Carica i problemi noti predefiniti nel bucket Amazon S3 specificato nel parametro. `S3BucketName` Crea database e tabelle AWS Glue . Esegue le query di Amazon Athena nel database in base AWS Glue ai parametri di input. + **getQueryExecutionStato:** Attende che l'esecuzione della query di Amazon Athena sia `SUCCEEDED` in corso. La query DML di Amazon Athena cerca errori ed eccezioni nei log del cluster Amazon EMR. + **analyzeAthenaResults:** Analizza i risultati di Amazon Athena per fornire risultati, consigli e articoli del Knowledge Center (KC) provenienti da un set predefinito di mappature. + **getAnalyzeResultsQuery 1: ExecutionStatus** Attende che l'esecuzione della query sia in corso. `SUCCEEDED` La query DML di Amazon Athena analizza i risultati della precedente query DML. Questa query di analisi restituirà eccezioni corrispondenti con risoluzioni e articoli KC + **getAnalyzeResultsExecutionStatusQuery 2:** Attende che l'esecuzione della query sia in corso. `SUCCEEDED` La query DML di Amazon Athena analizza i risultati della precedente query DML. Questa query di analisi restituirà un elenco dei percorsi di log exceptions/errors rilevati in ogni percorso di log di Amazon S3. + **printAthenaQueriesMessaggio:** Stampa i link per i risultati delle query DML di Amazon Athena. + **Risorse di pulizia:** Pulisce le risorse eliminando il AWS Glue database creato ed eliminando i file con problemi noti creati nel bucket di log di Amazon EMR. 1. Al termine, consulta la sezione Output per i risultati dettagliati dell'esecuzione: **L'output fornisce tre collegamenti per i risultati delle query Athena:** + Elenco di tutti gli errori e le eccezioni ricorrenti presenti nei log del cluster Amazon EMR, insieme alle posizioni dei log corrispondenti (prefisso Amazon S3). + Riepilogo delle eccezioni note uniche riportate nei log di Amazon EMR, insieme alle risoluzioni consigliate e agli articoli KC per facilitare la risoluzione dei problemi. + Dettagli su dove compaiono errori ed eccezioni specifici nei percorsi di log di Amazon S3, per supportare ulteriori diagnosi. ![\[Output section showing query links for exception summaries and analysis in AWS logs.\]](http://docs.aws.amazon.com/it_it/systems-manager-automation-runbooks/latest/userguide/images/awssupport-diagnose-emr-logs-with-athena_outputs.png) **Riferimenti** Systems Manager Automation + [Esegui questa automazione (console)](https://console.aws.amazon.com/systems-manager/documents/AWSSupport-DiagnoseEMRLogsWithAthena/description) + [Esegui un'automazione](https://docs.aws.amazon.com//systems-manager/latest/userguide/automation-working-executing.html) + [Configurazione di un'automazione](https://docs.aws.amazon.com//systems-manager/latest/userguide/automation-setup.html) + [Pagina iniziale Support Automation Workflows](https://aws.amazon.com/premiumsupport/technology/saw/) AWS documentazione di servizio + Per ulteriori informazioni, consulta [Risoluzione dei problemi dei cluster Amazon EMR](https://docs.aws.amazon.com//emr/latest/ManagementGuide/emr-troubleshoot.html)