Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Siapkan logging terpusat pada skala perusahaan dengan menggunakan Terraform *Aarti Rajput, Yashwant Patel, dan Nishtha Yadav, Amazon Web Services* ## Ringkasan Pencatatan terpusat sangat penting untuk infrastruktur cloud organisasi, karena memberikan visibilitas ke dalam operasi, keamanan, dan kepatuhannya. Saat organisasi Anda menskalakan AWS lingkungannya di beberapa akun, strategi manajemen log terstruktur menjadi dasar untuk menjalankan operasi keamanan, memenuhi persyaratan audit, dan mencapai keunggulan operasional. Pola ini menyediakan kerangka kerja yang dapat diskalakan dan aman untuk memusatkan log dari beberapa Akun AWS dan layanan, untuk memungkinkan manajemen logging skala perusahaan di seluruh penerapan yang kompleks. AWS Solusinya otomatis dengan menggunakan Terraform, yang merupakan alat infrastruktur sebagai kode (IAc) HashiCorp yang memastikan penerapan yang konsisten dan berulang, serta meminimalkan konfigurasi manual. Dengan menggabungkan Amazon CloudWatch Logs, Amazon Data Firehose, dan Amazon Simple Storage Service (Amazon S3), Anda dapat menerapkan alur agregasi dan analisis log yang kuat yang memberikan: + Manajemen log terpusat di seluruh organisasi Anda di AWS Organizations + Pengumpulan log otomatis dengan kontrol keamanan bawaan + Pemrosesan log yang dapat diskalakan dan penyimpanan yang tahan lama + Pelaporan kepatuhan dan jejak audit yang disederhanakan + Wawasan dan pemantauan operasional waktu nyata Solusi ini mengumpulkan log dari wadah, fungsi, dan instans database Amazon Elastic Kubernetes Service (Amazon EKS AWS Lambda ), dan instans database Amazon Relational Database Service (Amazon RDS) melalui Log. CloudWatch Secara otomatis meneruskan log ini ke akun logging khusus dengan menggunakan filter CloudWatch berlangganan. Firehose mengelola pipeline streaming log throughput tinggi ke Amazon S3 untuk penyimpanan jangka panjang. Amazon Simple Queue Service (Amazon Simple Service) dikonfigurasi untuk menerima pemberitahuan peristiwa Amazon S3 setelah pembuatan objek. Ini memungkinkan integrasi dengan layanan analitik, termasuk: + OpenSearch Layanan Amazon untuk penelusuran log, visualisasi, dan analitik waktu nyata + Amazon Athena untuk kueri berbasis SQL + Amazon EMR untuk pemrosesan skala besar + Lambda untuk transformasi kustom + Amazon Quick Sight untuk dasbor Semua data dienkripsi dengan menggunakan AWS Key Management Service (AWS KMS), dan seluruh infrastruktur diterapkan dengan menggunakan Terraform untuk konfigurasi yang konsisten di seluruh lingkungan. Pendekatan logging terpusat ini memungkinkan organisasi untuk meningkatkan postur keamanan mereka, mempertahankan persyaratan kepatuhan, dan mengoptimalkan efisiensi operasional di seluruh AWS infrastruktur mereka. ## Prasyarat dan batasan **Prasyarat** + Sebuah landing zone untuk organisasi Anda yang dibangun dengan menggunakan [AWS Control Tower](https://docs.aws.amazon.com/controltower/latest/userguide/getting-started-with-control-tower.html) + [Account Factory for Terraform (AFT)](https://docs.aws.amazon.com/controltower/latest/userguide/aft-getting-started.html), digunakan dan dikonfigurasi dengan akun yang diperlukan + [Terraform](https://developer.hashicorp.com/terraform/downloads) untuk penyediaan infrastruktur + [AWS Identity and Access Management (IAM)](https://docs.aws.amazon.com/IAM/latest/UserGuide/getting-started.html) peran dan kebijakan untuk akses lintas akun Untuk petunjuk pengaturan AWS Control Tower, AFT, dan akun Aplikasi, lihat [bagian Epik](#set-up-centralized-logging-at-enterprise-scale-by-using-terraform-epics). **Akun yang diperlukan** Organisasi Anda AWS Organizations harus menyertakan akun-akun ini: + **Akun aplikasi** - Satu atau beberapa akun sumber tempat Layanan AWS (Amazon EKS, Lambda, dan Amazon RDS) menjalankan dan menghasilkan log + **Akun Arsip Log** - Akun khusus untuk penyimpanan dan manajemen log terpusat **Versi produk** + [AWS Control Tower versi 3.1](https://docs.aws.amazon.com/controltower/latest/userguide/2023-all.html#lz-3-1) atau yang lebih baru + [Terraform versi 0.15.0](https://developer.hashicorp.com/terraform/tutorials/aws-get-started/install-cli) atau yang lebih baru ## Arsitektur Diagram berikut menggambarkan arsitektur logging AWS terpusat yang menyediakan solusi terukur untuk mengumpulkan, memproses, dan menyimpan log dari beberapa akun Aplikasi ke akun Arsip Log khusus. Arsitektur ini secara efisien menangani log dari Layanan AWS, termasuk Amazon RDS, Amazon EKS, dan Lambda, dan merutekkannya melalui proses yang disederhanakan ke bucket Regional S3 di akun Arsip Log. ![\[Arsitektur logging terpusat AWS untuk mengumpulkan log dari beberapa akun Aplikasi.\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/images/pattern-img/9fc71a10-65d6-437b-9128-cc27bda11af4/images/2e916040-0f11-4712-a8dd-31c95194ce5d.png) Alur kerja mencakup lima proses: 1. **Proses aliran log** + Proses alur log dimulai di akun Aplikasi, di mana Layanan AWS menghasilkan berbagai jenis log, seperti umum, kesalahan, audit, log kueri lambat dari Amazon RDS, log bidang kontrol dari Amazon EKS, dan eksekusi fungsi dan log kesalahan dari Lambda. + CloudWatch berfungsi sebagai titik pengumpulan awal. Ini mengumpulkan log ini di tingkat grup log dalam setiap akun aplikasi. + Di CloudWatch, [filter langganan](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Subscriptions.html) menentukan log mana yang harus diteruskan ke akun pusat. Filter ini memberi Anda kontrol granular atas penerusan log, sehingga Anda dapat menentukan pola log yang tepat atau aliran log lengkap untuk sentralisasi. 1. **Transfer log lintas akun** + Log pindah ke akun Arsip Log. CloudWatch filter berlangganan memfasilitasi transfer lintas akun dan mempertahankan konteks Regional. + Arsitektur menetapkan beberapa aliran paralel untuk menangani sumber log yang berbeda secara efisien, untuk memastikan kinerja dan skalabilitas yang optimal. 1. **Pemrosesan log di akun Arsip Log** + Di akun Arsip Log, Firehose memproses aliran log yang masuk. + Setiap Wilayah mengelola aliran pengiriman Firehose khusus yang dapat mengubah, mengonversi, atau memperkaya log sesuai kebutuhan. + Aliran Firehose ini mengirimkan log yang diproses ke bucket S3 di akun Arsip Log, yang terletak di Wilayah yang sama dengan akun Aplikasi sumber (Wilayah A dalam diagram) untuk mempertahankan persyaratan kedaulatan data. 1. **Pemberitahuan dan alur kerja tambahan** + Saat log mencapai bucket S3 tujuan, arsitektur mengimplementasikan sistem notifikasi dengan menggunakan Amazon SQS. + Antrian SQS Regional memungkinkan pemrosesan asinkron dan dapat memicu alur kerja tambahan, analitik, atau sistem peringatan berdasarkan log yang disimpan. 1. **AWS KMS untuk keamanan** Arsitektur menggabungkan AWS KMS untuk keamanan. AWS KMS menyediakan kunci enkripsi untuk bucket S3. Ini memastikan bahwa semua log yang disimpan mempertahankan enkripsi saat istirahat sambil menjaga enkripsi Regional untuk memenuhi persyaratan residensi data. ## Alat **Layanan AWS** + [Amazon CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/WhatIsCloudWatch.html) adalah layanan pemantauan dan observabilitas yang mengumpulkan data pemantauan dan operasional dalam bentuk log, metrik, dan peristiwa. Ini memberikan tampilan terpadu AWS sumber daya, aplikasi, dan layanan yang berjalan di AWS dan server lokal. + [CloudWatch Filter langganan log](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/SubscriptionFilters.html) adalah ekspresi yang cocok dengan pola dalam peristiwa log masuk dan mengirimkan peristiwa log yang cocok ke AWS sumber daya yang ditentukan untuk diproses atau dianalisis lebih lanjut. + [AWS Control Tower Account Factory For Terraform (AFT)](https://docs.aws.amazon.com/controltower/latest/userguide/aft-overview.html) menyiapkan pipeline Terraform untuk membantu Anda menyediakan dan menyesuaikan akun. AWS Control Tower AFT menyediakan penyediaan akun berbasis Terraform sambil memungkinkan Anda untuk mengatur akun Anda. AWS Control Tower + [Amazon Data Firehose](https://docs.aws.amazon.com/firehose/latest/dev/what-is-this-service.html) memberikan data streaming real-time ke tujuan seperti Amazon S3, Amazon Redshift, dan Amazon Service. OpenSearch Ini secara otomatis menskalakan agar sesuai dengan throughput data Anda dan tidak memerlukan administrasi yang berkelanjutan. + [Amazon Elastic Kubernetes Service (Amazon EKS) adalah layanan orkestrasi kontainer terkelola yang memudahkan penerapan, pengelolaan, dan skala aplikasi kontainer dengan menggunakan Kubernetes](https://docs.aws.amazon.com/eks/latest/userguide/what-is-eks.html). Secara otomatis mengelola ketersediaan dan skalabilitas node bidang kontrol Kubernetes. + [AWS Key Management Service (AWS KMS)](https://docs.aws.amazon.com/kms/latest/developerguide/overview.html) membuat dan mengontrol kunci enkripsi untuk mengenkripsi data Anda. AWS KMS terintegrasi dengan yang lain Layanan AWS untuk membantu Anda melindungi data yang Anda simpan dengan layanan ini. + [AWS Lambda](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html)adalah layanan komputasi tanpa server yang memungkinkan Anda menjalankan kode tanpa menyediakan atau mengelola server. Ini secara otomatis menskalakan aplikasi Anda dengan menjalankan kode sebagai respons terhadap setiap pemicu, dan hanya mengenakan biaya untuk waktu komputasi yang Anda gunakan. + [Amazon Relational Database Service (Amazon RDS](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Welcome.html)) adalah layanan database relasional terkelola yang memudahkan pengaturan, pengoperasian, dan skala database relasional di cloud. Ini memberikan kapasitas hemat biaya dan dapat diubah ukurannya sambil mengotomatiskan tugas administrasi yang memakan waktu. + [Amazon Simple Queue Service (Amazon SQS) adalah layanan](https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/welcome.html) antrian pesan yang memungkinkan Anda memisahkan dan menskalakan layanan mikro, sistem terdistribusi, dan aplikasi tanpa server. Ini menghilangkan kompleksitas mengelola dan mengoperasikan middleware berorientasi pesan. + [Amazon Simple Storage Service (Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html)) adalah layanan penyimpanan objek berbasis cloud yang menawarkan skalabilitas, ketersediaan data, keamanan, dan kinerja. Ini dapat menyimpan dan mengambil sejumlah data dari mana saja di web. **Alat-alat lainnya** + [Terraform](https://www.terraform.io/) adalah alat infrastruktur sebagai kode (IAc) HashiCorp yang membantu Anda membuat dan mengelola sumber daya cloud dan lokal. **Kode** Kode untuk pola ini tersedia di repositori [logging GitHub terpusat](https://github.com/aws-samples/sample-centralised-logging-at-enterprise-scale-using-terraform). ## Praktik terbaik + Gunakan [beberapa Akun AWS dalam satu organisasi di AWS Organizations](https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_accounts.html). Praktik ini memungkinkan manajemen terpusat dan pencatatan standar di seluruh akun. + Konfigurasikan [bucket S3 dengan pembuatan versi, kebijakan siklus hidup, dan replikasi lintas wilayah](https://docs.aws.amazon.com/AmazonS3/latest/userguide/replication.html). Menerapkan enkripsi dan log akses untuk keamanan dan kepatuhan. + Menerapkan [standar logging umum dengan menggunakan format JSON](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_AnalyzeLogData-discoverable-fields.html) dengan stempel waktu dan bidang standar. Gunakan struktur awalan dan korelasi yang konsisten IDs untuk memudahkan pelacakan dan analisis. + Aktifkan [kontrol keamanan dengan AWS KMS enkripsi](https://docs.aws.amazon.com/AmazonS3/latest/userguide/security-best-practices.html) dan akses hak istimewa paling sedikit. Pertahankan AWS CloudTrail pemantauan dan rotasi kunci reguler untuk keamanan yang ditingkatkan. + Siapkan [CloudWatch metrik dan peringatan untuk pelacakan](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/working_with_metrics.html) pengiriman. Pantau biaya dan kinerja dengan notifikasi otomatis. + Konfigurasikan [kebijakan retensi Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html) untuk memenuhi persyaratan kepatuhan dan aktifkan pencatatan akses server Amazon S3 untuk melacak semua permintaan yang dibuat ke bucket S3 Anda. Menjaga dokumentasi untuk kebijakan bucket S3 dan aturan siklus hidup. Melakukan tinjauan berkala terhadap log akses, izin bucket, dan konfigurasi penyimpanan untuk membantu memastikan kepatuhan dan praktik [terbaik keamanan](https://docs.aws.amazon.com/AmazonS3/latest/userguide/security-best-practices.html). ## Epik ### Mengatur AWS Control Tower, AFT, dan akun Aplikasi | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Siapkan AWS Control Tower lingkungan dengan AFT. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | Administrator AWS | | Aktifkan berbagi sumber daya untuk organisasi. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | Administrator AWS | | Verifikasi atau berikan akun Aplikasi. | Untuk menyediakan akun Aplikasi baru untuk kasus penggunaan Anda, buat melalui AFT. Untuk informasi selengkapnya, lihat [Menyediakan akun baru dengan AFT](https://docs.aws.amazon.com/controltower/latest/userguide/aft-provision-account.html) dalam AWS Control Tower dokumentasi. | Administrator AWS | ### Mengatur file konfigurasi untuk akun Aplikasi | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Salin isi `Application_account` folder ke dalam `aft-account-customizations` repositori. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | | Tinjau dan edit parameter input untuk menyiapkan akun Aplikasi. | Pada langkah ini, Anda menyiapkan file konfigurasi untuk membuat sumber daya di akun Aplikasi, termasuk grup CloudWatch log, filter CloudWatch langganan, peran dan kebijakan IAM, serta detail konfigurasi untuk fungsi Amazon RDS, Amazon EKS, dan Lambda.Di `aft-account-customizations` repositori Anda, di `Application_account` folder, konfigurasikan parameter input dalam `terraform.tfvars` file berdasarkan persyaratan organisasi Anda:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | ### Mengatur file konfigurasi untuk akun Arsip Log | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Salin isi `Log_archive_account` folder ke dalam `aft-account-customizations` repositori. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | | Tinjau dan edit parameter input untuk menyiapkan akun Arsip Log. | Pada langkah ini, Anda menyiapkan file konfigurasi untuk membuat resource di akun Arsip Log, termasuk aliran pengiriman Firehose, bucket S3, antrian SQS, serta peran dan kebijakan IAM.Di `Log_archive_account` folder `aft-account-customizations` repositori Anda, konfigurasikan parameter input dalam `terraform.tfvars` file berdasarkan persyaratan organisasi Anda:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | ### Jalankan perintah Terraform untuk menyediakan sumber daya | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Opsi 1 - Menyebarkan file konfigurasi Terraform dari AFT. | Di AFT, pipeline AFT dipicu setelah Anda mendorong kode dengan perubahan konfigurasi ke GitHub `aft-account-customizations` repositori. AFT secara otomatis mendeteksi perubahan dan memulai proses kustomisasi akun.Setelah Anda membuat perubahan pada file Terraform (`terraform.tfvars`) Anda, komit dan dorong perubahan Anda ke repositori Anda`aft-account-customizations`:
$ git add *
$ git commit -m "update message"
$ git push origin main
Jika Anda menggunakan cabang yang berbeda (seperti`dev`), ganti `main` dengan nama cabang Anda. | DevOps insinyur | | Opsi 2 - Menyebarkan file konfigurasi Terraform secara manual. | Jika Anda tidak menggunakan AFT atau ingin menerapkan solusi secara manual, Anda dapat menggunakan perintah Terraform berikut dari folder dan`Application_account`: `Log_archive_account`[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | ### Validasi sumber daya | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Verifikasi filter langganan. | Untuk memverifikasi bahwa langganan memfilter meneruskan log dengan benar dari grup log akun Aplikasi ke akun Arsip Log:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | | Verifikasi aliran Firehose. | Untuk memverifikasi bahwa Firehose melakukan streaming di log aplikasi proses akun Arsip Log berhasil:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | | Validasi bucket S3 terpusat. | Untuk memverifikasi bahwa bucket S3 terpusat menerima dan mengatur log dengan benar:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | | Validasi antrian SQS. | Untuk memverifikasi bahwa antrian SQS menerima pemberitahuan untuk file log baru:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | ### Pembersihan sumber daya | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Opsi 1 - Nonaktifkan file konfigurasi Terraform dari AFT. | Saat Anda menghapus file konfigurasi Terraform dan mendorong perubahan, AFT secara otomatis memulai proses penghapusan sumber daya.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | | Opsi 2 — Bersihkan sumber daya Terraform secara manual. | Jika Anda tidak menggunakan AFT atau Anda ingin membersihkan sumber daya secara manual, gunakan perintah Terraform berikut dari folder `Application_account` dan`Log_archive_account`:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | DevOps insinyur | ## Pemecahan masalah | Isu | Solusi | | --- | --- | | Tujuan CloudWatch Log tidak dibuat atau tidak aktif. | Validasi berikut ini:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | | Filter langganan gagal atau macet dalam status tertunda. | Periksa hal-hal berikut:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | | Aliran pengiriman Firehose tidak menunjukkan catatan yang masuk. | Verifikasi hal berikut:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/set-up-centralized-logging-at-enterprise-scale-by-using-terraform.html) | ## Sumber daya terkait + [Pengaturan infrastruktur Terraform](https://developer.hashicorp.com/terraform/tutorials/aws-get-started) (dokumentasi Terraform) + [Menyebarkan AWS Control Tower Account Factory untuk Terraform (AFT) (dokumentasi)](https://docs.aws.amazon.com/controltower/latest/userguide/aft-getting-started.html)AWS Control Tower + [Tutorial IAM: Delegasikan akses di seluruh Akun AWS menggunakan peran IAM ()](https://docs.aws.amazon.com/IAM/latest/UserGuide/tutorial_cross-account-with-roles.html) IAMdocumentation