View a markdown version of this page

Log penjadwal di AWS PCS - AWS PCS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Log penjadwal di AWS PCS

Anda dapat mengonfigurasi AWS PCS untuk mengirim data pencatatan terperinci dari penjadwal klaster ke Amazon CloudWatch Logs, Amazon Simple Storage Service (Amazon S3), dan Amazon Data Firehose. Ini dapat membantu pemantauan dan pemecahan masalah.

AWS PCS mengirimkan log dari daemon Slurm berikut melalui jenis log: PCS_SCHEDULER_LOGS

  • slurmctld— Daemon pengontrol Slurm. Tersedia untuk semua versi Slurm yang didukung.

  • slurmdbd— Daemon database Slurm. Tersedia untuk Slurm 24.11 dan yang lebih baru.

  • slurmrestd— Daemon API Slurm REST. Tersedia untuk Slurm 25.05 dan yang lebih baru.

Cluster yang sudah memiliki PCS_SCHEDULER_LOGS pengiriman dikonfigurasi secara otomatis mulai menerima slurmdbd dan slurmrestd mencatat ketika mereka menjalankan versi Slurm yang didukung. Tidak diperlukan konfigurasi tambahan.

Prasyarat

Prinsipal IAM yang mengelola cluster AWS PCS harus memungkinkan pcs:AllowVendedLogDeliveryForResource tindakan.

Contoh berikut kebijakan IAM memberikan izin yang diperlukan.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Sid": "PcsAllowVendedLogsDelivery", "Effect": "Allow", "Action": ["pcs:AllowVendedLogDeliveryForResource"], "Resource": [ "arn:aws:pcs:*::cluster/*" ] } ] }

Siapkan log penjadwal

Anda dapat mengatur log penjadwal untuk klaster AWS PCS Anda dengan Konsol Manajemen AWS atau AWS CLI.

Konsol Manajemen AWS
Untuk mengatur log penjadwal dengan konsol
  1. Buka konsol AWS PCS.

  2. Pada panel navigasi, silakan pilih Klaster.

  3. Pilih cluster tempat Anda ingin menambahkan log penjadwal.

  4. Pada halaman detail cluster, pilih tab Log.

  5. Di bawah Log Penjadwal, pilih Tambahkan untuk menambahkan hingga 3 tujuan pengiriman log dari antara CloudWatch Log, Amazon S3, dan Firehose.

  6. Pilih Perbarui pengiriman log.

AWS CLI
Untuk mengatur log penjadwal dengan AWS CLI
  1. Buat tujuan pengiriman log:

    aws logs put-delivery-destination --region region \ --name pcs-logs-destination \ --delivery-destination-configuration \ destinationResourceArn=resource-arn

    Ganti:

    • region— AWS Region Tempat Anda ingin membuat tujuan, seperti us-east-1

    • pcs-logs-destination— Nama untuk tujuan

    • resource-arn— Nama Sumber Daya Amazon (ARN) dari grup CloudWatch log Log, bucket S3, atau aliran pengiriman Firehose.

    Untuk informasi selengkapnya, lihat PutDeliveryDestinationdi Referensi API Amazon CloudWatch Logs.

  2. Tetapkan cluster PCS sebagai sumber pengiriman log:

    aws logs put-delivery-source --region region \ --name cluster-logs-source-name \ --resource-arn cluster-arn \ --log-type PCS_SCHEDULER_LOGS

    Ganti:

    • region— AWS Region Cluster Anda, seperti us-east-1

    • cluster-logs-source-name— Nama untuk sumbernya

    • cluster-arn— ARN dari cluster PCS Anda AWS

    Untuk informasi selengkapnya, lihat PutDeliverySourcedi Referensi API Amazon CloudWatch Logs.

  3. Hubungkan sumber pengiriman ke tujuan pengiriman:

    aws logs create-delivery --region region \ --delivery-source-name cluster-logs-source \ --delivery-destination-arn destination-arn

    Ganti:

    • region— yang AWS Region, seperti us-east-1

    • cluster-logs-source— Nama sumber pengiriman Anda

    • destination-arn— ARN tujuan pengiriman Anda

    Untuk informasi selengkapnya, lihat CreateDeliverydi Referensi API Amazon CloudWatch Logs.

Jalur dan nama aliran log penjadwal

Jalur dan nama untuk log penjadwal AWS PCS bergantung pada jenis tujuan.

${log_name}Nilai di jalur di bawah ini adalahslurmctld,slurmdbd, atauslurmrestd, tergantung pada daemon yang menghasilkan log.

  • CloudWatch Log

    • Aliran CloudWatch Log mengikuti konvensi penamaan ini.

      AWSLogs/PCS/${cluster_id}/${log_name}_${scheduler_major_version}.log
      contoh
      AWSLogs/PCS/abcdef0123/slurmctld_25.11.log
      AWSLogs/PCS/abcdef0123/slurmdbd_24.11.log
      AWSLogs/PCS/abcdef0123/slurmrestd_25.05.log
  • Ember S3

    • Jalur keluaran bucket S3 mengikuti konvensi penamaan ini:

      AWSLogs/${account-id}/PCS/${region}/${cluster_id}/${log_name}/${scheduler_major_version}/yyyy/MM/dd/HH/
      contoh
      AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmctld/25.11/2024/09/01/00/
      AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmdbd/24.11/2024/09/01/00/
      AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmrestd/25.05/2024/09/01/00/
    • Nama objek S3 mengikuti konvensi ini:

      PCS_${log_name}_${scheduler_major_version}_#{expr date 'event_timestamp', format: "yyyy-MM-dd-HH"}_${cluster_id}_${hash}.log
      contoh
      PCS_slurmctld_25.11_2024-09-01-00_abcdef0123_0123abcdef.log

Contoh catatan log penjadwal

AWS Log penjadwal PCS terstruktur. Mereka termasuk bidang seperti pengidentifikasi cluster, tipe scheduler, versi mayor dan patch, selain pesan log yang dipancarkan dari proses daemon Slurm. node_typeBidang log_name dan mengidentifikasi daemon mana yang menghasilkan log.

Contoh berikut menunjukkan catatan slurmctld log.

{
    "resource_id": "s3431v9rx2",
    "resource_type": "PCS_CLUSTER",
    "event_timestamp": 1721230979,
    "log_level": "info",
    "log_name": "slurmctld",
    "scheduler_type": "slurm",
    "scheduler_major_version": "25.11",
    "scheduler_patch_version": "2",
    "node_type": "controller_primary",
    "message": "[2024-07-17T15:42:58.614+00:00] Running as primary controller\n"
}

Contoh berikut menunjukkan catatan slurmdbd log (Slurm 24.11 dan yang lebih baru).

{
    "resource_id": "pcs_bu93qsds2j",
    "resource_type": "PCS_CLUSTER",
    "event_timestamp": 1774485082772,
    "log_level": "info",
    "log_name": "slurmdbd",
    "scheduler_type": "slurm",
    "scheduler_major_version": "25.11",
    "scheduler_patch_version": "2",
    "node_type": "slurmdbd_primary",
    "message": "[2026-03-26T00:31:22.772+00:00] mysql_common: storage token refreshed"
}

Contoh berikut menunjukkan catatan slurmrestd log (Slurm 25.05 dan yang lebih baru).

{
    "resource_id": "pcs_bu93qsds2j",
    "resource_type": "PCS_CLUSTER",
    "event_timestamp": 1774485082772,
    "log_level": "info",
    "log_name": "slurmrestd",
    "scheduler_type": "slurm",
    "scheduler_major_version": "25.05",
    "scheduler_patch_version": "3",
    "node_type": "slurmrestd_primary",
    "message": "[2026-03-26T00:31:22.772+00:00] slurmrestd: Listening on port 6820\n"
}