`AWSSupport-DiagnoseEMRLogsWithAthena`

説明

AWSSupport-DiagnoseEMRLogsWithAthena ランブックは、 AWS Glue Data Catalog との統合で Amazon Athena を使用して Amazon EMR ログを診断するのに役立ちます。Amazon Athena は、コンテナ、ノードログ、またはその両方について Amazon EMR ログファイルをクエリするために使用されます。特定の日付範囲またはキーワードベースの検索のオプションパラメータを使用します。

ランブックは、既存のクラスターの Amazon EMR ログの場所を自動的に取得することも、Amazon S3 ログの場所を指定することもできます。ログを分析するには、ランブックは次のとおりです。

AWS Glue データベースを作成し、Amazon EMR Amazon S3 ログの場所に対して Amazon Athena データ定義言語 (DDL) クエリを実行して、クラスターログのテーブルと既知の問題のリストを作成します。 Amazon S3
データ操作言語 (DML) クエリを実行して、Amazon EMR ログ内の既知の問題パターンを検索します。クエリは、検出された問題のリスト、その発生数、および Amazon S3 ファイルパスで一致したキーワードの数を返します。
結果は、プレフィックスで指定した Amazon S3 バケットにアップロードされますsaw_diagnose_EMR_known_issues。
ランブックは Amazon Athena クエリ結果を返します。結果、推奨事項、および事前定義されたサブセットから取得した Amazon Knowledge Center (KC) 記事への参照が強調表示されます。
完了または失敗すると、 AWS Glue データベースと Amazon S3 バケットにアップロードされた既知の問題ファイルは削除されます。

動作の仕組み

は、Amazon Athena を使用して Amazon EMR ログの分析AWSSupport-DiagnoseEMRLogsWithAthenaを実行し、エラーを検出し、検出結果、推奨事項、関連するナレッジセンターの記事を強調表示します。

ランブックは次のステップを実行します。

クラスター ID を使用して Amazon EMR クラスターログの場所を取得するか、Amazon S3 の場所を入力してログの場所とサイズを取得します。
ログの場所サイズに基づいて Athena のコスト見積もりを提供します。
Athena クエリを実行し、次のステップに進む前に、指定された IAM プリンシパルの承認をリクエストして、続行の承認を取得します。
指定された Amazon S3 バケットに既知の問題をアップロードし、 AWS Glue データベースとテーブルを作成します。
Amazon EMR ログデータに対して Athena クエリを実行します。クエリは、日付範囲、キーワード、両方の基準で検索することも、提供された入力に基づいてフィルターなしで実行することもできます。
結果を分析して、結果、推奨事項、関連する KC 記事を強調表示します。
Amazon Athena DML クエリ結果の出力リンク。
作成したデータベース、テーブル、アップロードされた既知の問題を削除して、環境をクリーンアップします。

ドキュメントタイプ

オートメーション

[所有者]

Amazon

[Platforms] (プラットフォーム)

AutomationAssumeRole パラメータでは、ランブックを正常に使用するために次のアクションが必要です。

athena:GetQueryExecution
athena:StartQueryExecution
athena:GetPreparedStatement
athena:CreatePreparedStatement
glue:GetDatabase
glue:CreateDatabase
glue:DeleteDatabase
glue:CreateTable
glue:GetTable
glue:DeleteTable
elasticmapreduce:DescribeCluster
s3:ListBucket
s3:GetBucketVersioning
s3:ListBucketVersions
s3:GetBucketPublicAccessBlock
s3:GetBucketPolicyStatus
s3:GetObject
s3:GetBucketLocation
料金:GetProducts
料金:GetAttributeValues
料金:DescribeServices
料金:ListPriceLists

重要

この自動化に必要なリソースのみにアクセスを制限するには、SSM サービスを信頼する IAM ロールに次のポリシーをアタッチします。パーティション、リージョン、アカウントを、実行ブックが実行されるパーティション、リージョン、アカウント番号の適切な値に置き換えます。

JSON


{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:DescribeCluster",
                "glue:GetDatabase",
                "athena:GetQueryExecution",
                "athena:StartQueryExecution",
                "athena:GetPreparedStatement",
                "athena:CreatePreparedStatement",
                "s3:ListBucket",
                "s3:GetBucketVersioning",
                "s3:ListBucketVersions",
                "s3:GetBucketPublicAccessBlock",
                "s3:GetBucketPolicyStatus",
                "s3:GetObject",
                "s3:GetBucketLocation",
                "pricing:GetProducts",
                "pricing:GetAttributeValues",
                "pricing:DescribeServices",
                "pricing:ListPriceLists"
            ],
            "Resource": "*"
        },
        {
            "Sid": "RestrictPutObjects",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::*/*/results/*",
                "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*"
            ]
        },
        {
            "Sid": "RestrictDeleteAccess",
            "Effect": "Allow",
            "Action": [
                "s3:DeleteObject",
                "s3:DeleteObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:GetDatabase",
                "glue:CreateDatabase",
                "glue:DeleteDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/*",
                "arn:aws:glue:us-east-1:111122223333:userDefinedFunction/saw_diagnose_emr_database_*/*",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:DeleteTable"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_known_issues",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_logs_table",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/j_*",
                "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        }
    ]
}

指示

次の手順に従って自動化を設定します。

「ドキュメント AWS Systems Manager 」のAWSSupport-DiagnoseEMRLogsWithAthena」に移動します。
[Execute automation] (オートメーションを実行) を選択します。
次の入力パラメータを入力します。
- AutomationAssumeRole（オプション):
  
  Systems Manager Automation がユーザーに代わってアクションを実行できるようにする AWS Identity and Access Management (IAM) ロールの Amazon リソースネーム (ARN)。ロールを指定しない場合、Systems Manager Automation はこのランブックを開始するユーザーのアクセス許可を使用します。
- ClusterID (必須):
  
  Amazon EMR クラスター ID。
- S3LogLocation (オプション):
  
  Amazon S3 Amazon EMR ログの場所。パス形式の URL Amazon S3 の場所を入力します。例: s3://amzn-s3-demo-bucket/myfolder/j-1K48XXXXXXHCB/。Amazon EMR クラスターが 30日以上終了している場合は、このパラメータを指定します。
- S3BucketName (必須):
  
  既知の問題のリストをアップロードする Amazon S3 バケット名、および Amazon Athena クエリの出力。バケットはブロックパブリックアクセスが有効で、Amazon EMR クラスターと同じ AWS リージョンとアカウントにある必要があります。
- 承認者 (必須):
  
  アクションを承認または拒否できる AWS 認証済みプリンシパルのリスト。プリンシパルは、ユーザー名、ユーザー ARN、IAM ロール ARN、または IAM 継承ロール ARN のいずれかの形式を使用して指定できます。承認者の最大数は 10 です。
- FetchNodeLogsOnly (オプション):
  
  に設定するとtrue、オートメーションは Amazon EMR アプリケーションコンテナログを診断します。デフォルト値は false です。
- FetchContainersLogsOnly (オプション):
  
  に設定するとtrue、オートメーションは Amazon EMR コンテナログを診断します。デフォルト値は false です。
- EndSearchDate (オプション):
  
  ログ検索の終了日。指定した場合、オートメーションは指定された日付までに生成されたログを YYYY-MM-DD 形式で排他的に検索します (例: 2024-12-30)。
- DaysToCheck (オプション):
  
  EndSearchDate が指定されている場合、このパラメータは、指定されたからログを遡及的に検索する日数を決定するために必要ですEndSearchDate。最大値は30日です。デフォルト値は 1 です。
- SearchKeywords (オプション):
  
  ログで検索するキーワードのリスト。カンマで区切られています。キーワードに一重引用符または二重引用符を含めることはできません。
[実行] を選択します。
自動化が開始されます。
ドキュメントは以下のステップを実行します。
- getLogLocation:
  
  指定された Amazon S3 ログの場所を取得します。オートメーションが Amazon EMR クラスター ID からログの場所をクエリできない場合、ランブックはS3LogLocation入力パラメータを使用します。
- branchOnValidLog:
  
  Amazon EMR ログの場所を検証します。場所が有効な場合は、Amazon EMR ログでクエリを実行するときに発生する可能性のある Amazon Athena のコストを見積もります。
- estimateAthenaCosts:
  
  Amazon EMR ログのサイズを決定し、ログデータセットで Athena スキャンを実行するためのコスト見積もりを提供します。非商用リージョン (非AWS パーティション) の場合、このステップではコストを見積もることなくログサイズを提供します。コストは、指定されたリージョンの Athena 料金ドキュメントを使用して計算できます。
- approveAutomation:
  
  指定された IAM プリンシパルの承認が自動化の次のステップに進むのを待ちます。承認通知には、Amazon EMR ログに対する Amazon Athena スキャンの推定コストと、自動化によってプロビジョニングされるリソースの詳細が含まれます。
- uploadKnownIssuesExecuteAthenaQueries:
  
  事前定義された既知の問題を、 S3BucketNameパラメータで指定された Amazon S3 バケットにアップロードします。 AWS Glue データベースとテーブルを作成します。入力パラメータに基づいて、 AWS Glue データベースで Amazon Athena クエリを実行します。
- getQueryExecutionStatus:
  
  Amazon Athena クエリの実行が SUCCEEDED状態になるまで待ちます。Amazon Athena DML クエリは、Amazon EMR クラスターログのエラーと例外を検索します。
- analyzeAthenaResults:
  
  Amazon Athena の結果を分析し、事前定義されたマッピングセットから取得した検出結果、推奨事項、ナレッジセンター (KC) の記事を提供します。
- getAnalyzeResultsQuery1ExecutionStatus:
  
  クエリの実行が SUCCEEDED状態になるまで待ちます。Amazon Athena DML クエリは、前の DML クエリの結果を分析します。この分析クエリは、解決と KC 記事で一致した例外を返します
- getAnalyzeResultsQuery2ExecutionStatus:
  
  クエリの実行が SUCCEEDED状態になるまで待ちます。Amazon Athena DML クエリは、前の DML クエリの結果を分析します。この分析クエリは、各 Amazon S3 ログパスで検出された例外/エラーのリストを返します。
- printAthenaQueriesMessage:
  
  Amazon Athena DML クエリ結果のリンクを出力します。
- cleanupResources:
  
  作成された AWS Glue データベースを削除してリソースをクリーンアップし、Amazon EMR ログバケットで作成された既知の問題ファイルを削除します。
完了したら、出力セクションで実行の詳細な結果を確認します。
出力には、Athena クエリ結果の 3 つのリンクがあります。
- Amazon EMR クラスターログで見つかったすべてのエラーと頻繁に発生する例外と、対応するログの場所 (Amazon S3 プレフィックス) のリスト。
- Amazon EMR ログで一致した一意の既知の例外の概要と、トラブルシューティングに役立つ推奨される解決策と KC 記事。
- 詳細な診断をサポートするために、Amazon S3 ログパスに特定のエラーと例外が表示される場所に関する詳細。

リファレンス

Systems Manager Automation

AWS サービスドキュメント

詳細については、「Amazon EMR クラスターのトラブルシューティング」を参照してください。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

AWSSupport-AnalyzeEMRLogs

Amazon OpenSearch Service