Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # `AWSSupport-AnalyzeEMRLogs` **Deskripsi** Runbook ini membantu mengidentifikasi kesalahan saat menjalankan pekerjaan di klaster EMR Amazon. Runbook menganalisis daftar log yang ditentukan pada sistem file dan mencari daftar kata kunci yang telah ditentukan. Entri log ini digunakan untuk membuat CloudWatch peristiwa Amazon Events sehingga Anda dapat mengambil tindakan apa pun yang diperlukan berdasarkan peristiwa. Secara opsional, runbook menerbitkan entri log ke grup CloudWatch log Amazon Logs yang Anda pilih. Runbook ini saat ini mencari kesalahan dan pola berikut dalam file log: + container\$1out\$1of\$1memory - wadah YARN kehabisan memori, menjalankan pekerjaan mungkin gagal. + yarn\$1nodemanager\$1health: CORE atau TASK node kehabisan ruang disk dan tidak akan dapat menjalankan tugas. + node\$1state\$1change: CORE atau TASK node tidak dapat dijangkau oleh node MASTER. + step\$1failure: Langkah EMR telah gagal. + no\$1core\$1nodes\$1running: Tidak ada node CORE yang sedang berjalan, cluster tidak sehat. + hdfs\$1missing\$1blocks: Ada blok HDFS yang hilang yang dapat menyebabkan hilangnya data. + hdfs\$1high\$1util: Pemanfaatan HDFS tinggi, yang dapat mempengaruhi pekerjaan dan kesehatan cluster. + instance\$1controller\$1restart: Proses Instance-Controller telah dimulai ulang. Proses ini sangat penting untuk kesehatan cluster. + instance\$1controller\$1restart\$1legacy: Proses Instance-Controller telah dimulai ulang. Proses ini sangat penting untuk kesehatan cluster. + high\$1load: Rata-rata Beban Tinggi terdeteksi, dapat memengaruhi pelaporan kesehatan node atau mengakibatkan batas waktu atau perlambatan. + yarn\$1node\$1blacklisted: CORE atau TASK node telah masuk daftar hitam oleh YARN dari menjalankan tugas. + yarn\$1node\$1lost: CORE atau TASK node telah ditandai sebagai LOST oleh YARN, kemungkinan masalah konektivitas. Contoh yang terkait dengan `ClusterID` yang Anda tentukan harus dikelola oleh AWS Systems Manager. Anda dapat menjalankan otomatisasi ini sekali, menjadwalkan otomatisasi untuk berjalan pada interval waktu tertentu, atau menghapus jadwal yang dibuat sebelumnya oleh otomatisasi. Runbook ini mendukung versi rilis Amazon EMR 5.20 hingga 6.30. [Jalankan Otomasi ini (konsol)](https://console.aws.amazon.com/systems-manager/automation/execute/AWSSupport-AnalyzeEMRLogs) **Jenis dokumen** Otomatisasi **Pemilik** Amazon **Platform** Linux,macOS, Windows **Parameter** + AutomationAssumeRole Tipe: String Deskripsi: (Opsional) Nama Sumber Daya Amazon (ARN) peran AWS Identity and Access Management (IAM) yang memungkinkan Otomasi Systems Manager untuk melakukan tindakan atas nama Anda. Jika tidak ada peran yang ditentukan, Systems Manager Automation menggunakan izin pengguna yang memulai runbook ini. + ClusterID Tipe: String Deskripsi: (Wajib) ID cluster yang node log Anda ingin menganalisis. + Operasi Tipe: String Nilai yang valid: Jalankan Sekali \$1 Jadwal \$1 Hapus Jadwal Deskripsi: (Wajib) Operasi untuk melakukan pada cluster. + IntervalTime Tipe: String Nilai yang valid: 5 menit \$1 10 menit \$1 15 menit Deskripsi: (Opsional) Durasi waktu antara menjalankan otomatisasi. Parameter ini hanya berlaku jika Anda menentukan `Schedule` `Operation` parameter. + LogToCloudWatchLogs Tipe: String Nilai yang valid: ya \$1 tidak Deskripsi: (Opsional) Jika Anda menentukan `yes` nilai parameter ini, otomatisasi membuat grup CloudWatch log Log dengan nama yang ditentukan dalam `CloudWatchLogGroup` parameter untuk menyimpan entri log yang cocok. + CloudWatchLogGroup Tipe: String Deskripsi: (Opsional) Nama grup CloudWatch log Log tempat Anda ingin menyimpan entri log yang cocok. Parameter ini hanya berlaku jika Anda menentukan `yes` `LogToCloudWatchLogs` parameter. + CreateLogInsightsDashboard Tipe: String Nilai yang valid: ya \$1 tidak Deskripsi: (Opsional) Jika Anda menentukan`yes`, CloudWatch dasbor dibuat jika belum ada. Parameter ini hanya berlaku jika Anda menentukan `yes` `LogToCloudWatchLogs` parameter. + CreateMetricFilters Tipe: String Nilai yang valid: ya \$1 tidak Deskripsi: (Opsional) Tentukan `yes` apakah Anda ingin membuat filter metrik untuk grup CloudWatch log Log. Parameter ini hanya berlaku jika Anda menentukan `yes` `LogToCloudWatchLogs` parameter. **Izin IAM yang diperlukan** `AutomationAssumeRole`Parameter memerlukan tindakan berikut untuk menggunakan runbook dengan sukses. + `ssm:StartAutomationExecution` + `ssm:GetDocument` + `ssm:ListDocuments` + `ssm:DescribeAutomationExecutions` + `ssm:DescribeAutomationStepExecutions` + `ssm:GetAutomationExecution` + `ssm:DescribeInstanceInformation` + `ssm:ListCommandInvocations` + `ssm:ListCommands` + `ssm:SendCommand` + `iam:CreateRole` + `iam:DeleteRole` + `iam:GetRolePolicy` + `iam:PutRolePolicy` + `iam:DeleteRolePolicy` + `iam:passrole` + `cloudformation:DescribeStacks` + `cloudformation:DeleteStack` + `cloudformation:CreateStack` + `events:DeleteRule` + `events:RemoveTargets` + `events:PutTargets` + `events:PutRule` + `events:DescribeRule` + `logs:DescribeLogGroups` + `logs:CreateLogGroup` + `logs:PutMetricFilter` + `cloudwatch:PutDashboard` + `elasticmapreduce:ListInstances` + `elasticmapreduce:DescribeCluster` **Langkah Dokumen** + `aws:executeAwsApi`- Mengumpulkan informasi tentang cluster EMR Amazon yang ditentukan dalam `ClusterID` parameter. + `aws:branch`- Cabang berdasarkan masukan. + Jika operasi yang disediakan adalah `Run Once` atau`Schedule`: + `aws:assertAwsResourceProperty`- Memverifikasi cluster tersedia. + `aws:executeAwsApi`- Mengumpulkan IDs semua instance yang berjalan di cluster. + `aws:assertAwsResourceProperty`- Memverifikasi Agen SSM berjalan pada semua instance di cluster. + `aws:branch`- Cabang berdasarkan apakah Anda menentukan untuk menjalankan otomatisasi sekali atau sesuai jadwal. + Jika operasi yang disediakan adalah`Run Once`: + `aws:branch`- Cabang berdasarkan nilai yang ditentukan dalam `LogToCloudWatchLogs` parameter. + Jika `LogToCloudWatchLogs` nilainya adalah`yes`: + `aws:executeScript`- Memeriksa apakah grup CloudWatch log Log dengan nama yang ditentukan dalam parameter `CloudWatchLogGroup` sudah ada. Jika tidak, grup dibuat dengan nama yang ditentukan. + `aws:branch`- Cabang berdasarkan nilai yang ditentukan dalam `CreateMetricFilters` parameter. + Jika `CreateMetricFilters` nilainya adalah`yes`: + `aws:executeAwsApi`- 12 langkah dijalankan untuk setiap filter metrik + `aws:branch`- Cabang berdasarkan nilai yang ditentukan dalam `CreateLogInsightsDashboard` parameter. + Jika `CreateLogInsightsDashboard` nilainya adalah`yes`: + `aws:executeAwsApi`- Membuat CloudWatch dasbor dengan nama yang sama yang ditentukan dalam `CloudWatchLogGroup` parameter, jika belum ada. + Jika `CreateLogInsightsDashboard` nilainya adalah`no`: + `aws:runCommand`- Menjalankan skrip shell untuk menemukan pola log pada setiap instance di cluster. + Jika `CreateMetricFilters` nilainya adalah`no`: + `aws:branch`- Cabang berdasarkan nilai yang ditentukan dalam `CreateLogInsightsDashboard` parameter. + Jika `CreateLogInsightsDashboard` nilainya adalah`yes`: + `aws:executeAwsApi`- Membuat CloudWatch dasbor dengan nama yang sama yang ditentukan dalam `CloudWatchLogGroup` parameter, jika belum ada. + Jika `CreateLogInsightsDashboard` nilainya adalah`no`: + `aws:runCommand`- Menjalankan skrip shell untuk menemukan pola log pada setiap instance di cluster. + Jika `LogToCloudWatchLogs` nilainya adalah`no`: + `aws:executeAwsApi`- Menjalankan skrip shell untuk menemukan pola log pada setiap instance di cluster. + Jika operasi yang disediakan adalah`Schedule`: + `aws:createStack`- Membuat EventBridge acara Amazon yang menargetkan runbook ini. + Jika operasi yang disediakan adalah`Remove Schedule`: + `aws:executeAwsApi`- Memverifikasi jadwal yang ada untuk cluster. + `aws:deleteStack`- Menghapus jadwal. **Keluaran** GetClusterInformation.ClusterName GetClusterInformation.ClusterState ListingClusterInstancesInstansIDs. CreatingScheduleCloudFormationStack.StackStatus RemovingScheduleByDeletingScheduleCloudFormationStack.StackStatus CheckIfLogGroupExists.keluaran FindLogPatternOnEMRNode.CommandId