# OPS 11. Bagaimana cara mengembangkan operasi?
Luangkan waktu dan sumber daya khusus untuk peningkatan bertahap yang hampir berkelanjutan untuk meningkatkan dan efisiensi operasi Anda.
**Topics**
+ [OPS11-BP01 Buatlah suatu proses untuk peningkatan berkelanjutan](ops_evolve_ops_process_cont_imp.md)
+ [OPS11-BP02 Lakukan analisis pasca-insiden](ops_evolve_ops_perform_rca_process.md)
+ [OPS11-BP03 Menerapkan loop umpan balik](ops_evolve_ops_feedback_loops.md)
+ [OPS11-BP04 Melakukan manajemen pengetahuan](ops_evolve_ops_knowledge_management.md)
+ [OPS11-BP05 Menetapkan pendorong untuk perbaikan](ops_evolve_ops_drivers_for_imp.md)
+ [OPS11-BP06 Validasi wawasan](ops_evolve_ops_validate_insights.md)
+ [OPS11-BP07 Lakukan tinjauan metrik operasi](ops_evolve_ops_metrics_review.md)
+ [OPS11-BP08 Mendokumentasikan dan membagikan pelajaran yang didapatkan](ops_evolve_ops_share_lessons_learned.md)
+ [OPS11-BP09 Alokasikan waktu untuk melakukan perbaikan](ops_evolve_ops_allocate_time_for_imp.md)
# OPS11-BP01 Buatlah suatu proses untuk peningkatan berkelanjutan
Evaluasi beban kerja Anda berdasarkan praktik terbaik arsitektur internal dan eksternal. Lakukan tinjauan beban kerja yang sering dan terencana. Prioritaskan peluang perbaikan ke dalam jadwal pengembangan perangkat lunak Anda.
**Hasil yang diinginkan:**
+ Anda sering menganalisis beban kerja berdasarkan praktik-praktik terbaik arsitektur.
+ Anda memberikan peluang perbaikan dengan prioritas yang setara pada fitur-fitur di dalam proses pengembangan perangkat lunak Anda.
**Anti-pola umum:**
+ Anda belum menjalankan peninjauan arsitektur pada beban kerja Anda sejak melakukan deployment beberapa tahun lalu.
+ Anda memberikan prioritas yang lebih rendah untuk peluang perbaikan. Dibandingkan dengan fitur-fitur baru, peluang ini tetap berada di backlog.
+ Tidak ada standar untuk mengimplementasikan modifikasi terhadap praktik-praktik terbaik untuk organisasi.
**Manfaat menjalankan praktik terbaik ini:**
+ Beban kerja Anda selalu dimutakhirkan dengan praktik terbaik arsitektur.
+ Anda mengembangkan beban kerja Anda secara terencana.
+ Anda dapat memanfaatkan praktik-praktik terbaik organisasi untuk meningkatkan semua beban kerja.
+ Anda menghasilkan keuntungan stabil yang memberikan dampak kumulatif, yang mendorong efisiensi yang lebih menyeluruh.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Tinggi
## Panduan implementasi
Lakukan tinjauan arsitektur dari beban kerja Anda dalam rentang waktu yang lebih pendek. Gunakan praktik-praktik terbaik internal dan eksternal, evaluasi beban kerja Anda, dan identifikasi peluang perbaikan. Prioritaskan peluang perbaikan ke dalam jadwal pengembangan perangkat lunak Anda.
### Langkah-langkah implementasi
1. Lakukan peninjauan arsitektur secara berkala pada beban kerja produksi Anda dengan frekuensi yang sudah disepakati. Gunakan standar arsitektur terdokumentasi yang menyertakan praktik terbaik khusus AWS.
1. Gunakan standar yang ditetapkan secara internal untuk peninjauan ini. Jika Anda tidak memiliki standar internal, gunakan Kerangka Kerja AWS Well-Architected.
1. Gunakan AWS Well-Architected Tool untuk membuat lensa kustom praktik-praktik terbaik internal Anda dan lakukan peninjauan arsitektur Anda.
1. Hubungi Manajer Akun Teknis atau Arsitek Solusi AWS Anda untuk melakukan Peninjauan Kerangka Kerja Well-Architected terpandu pada beban kerja Anda.
1. Prioritaskan peluang perbaikan yang diidentifikasi selama peninjauan ke dalam proses pengembangan perangkat lunak Anda.
**Tingkat upaya untuk rencana implementasi:** Rendah. Anda dapat menggunakan Kerangka Kerja AWS Well-Architected untuk melakukan peninjauan arsitektur tahunan Anda.
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS11-BP02 Menjalankan analisis setelah insiden](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_evolve_ops_perform_rca_process.html)
+ [OPS11-BP08 Mendokumentasikan dan membagikan pelajaran yang didapatkan](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_evolve_ops_share_lessons_learned.html)
+ [OPS04 - Mengimplementasikan observabilitas](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_evolve_ops_process_cont_imp.html)
**Dokumen terkait:**
+ [AWS Well-Architected Tool - Lensa Kustom](https://docs.aws.amazon.com/wellarchitected/latest/userguide/lenses-custom.html)
+ [Laporan Resmi AWS Well-Architected - Proses peninjauan](https://docs.aws.amazon.com/wellarchitected/latest/framework/the-review-process.html)
+ [Sesuaikan Ulasan Well-Architected menggunakan Lensa Kustom dan AWS Well-Architected Tool](https://aws.amazon.com/blogs/mt/customize-well-architected-reviews-using-custom-lenses-and-the-aws-well-architected-tool/)
+ [Menerapkan siklus hidup Lensa Kustom AWS Well-Architected di organisasi Anda](https://aws.amazon.com/blogs/architecture/implementing-the-aws-well-architected-custom-lens-lifecycle-in-your-organization/)
**Video terkait:**
+ [AWS re:Invent 2023 - Menskalakan praktik terbaik AWS Well-Architected di seluruh organisasi Anda](https://youtu.be/UXtZCoE9qfQ?si=OPATCOY2YAwiF2TS)
**Contoh terkait:**
+ [AWS Well-Architected Tool](https://docs.aws.amazon.com/wellarchitected/latest/userguide/intro.html)
# OPS11-BP02 Lakukan analisis pasca-insiden
Tinjau peristiwa yang memengaruhi pelanggan dan identifikasi faktor yang berkontribusi serta tindakan pencegahannya. Gunakan informasi ini untuk mengembangkan langkah-langkah mitigasi untuk meminimalkan atau mencegah kemungkinan terjadi lagi. Kembangkan prosedur untuk respons efektif dan cepat. Komunikasikan faktor-faktor yang berkontribusi dan tindakan-tindakan korektif yang diperlukan, yang disesuaikan dengan audiens target.
**Hasil yang diinginkan:**
+ Anda telah menetapkan proses manajemen insiden yang mencakup analisis pasca-insiden.
+ Anda menerapkan rencana observabilitas untuk mengumpulkan data tentang peristiwa.
+ Dengan data ini, Anda memahami dan mengumpulkan metrik yang mendukung proses analisis pasca-insiden Anda.
+ Anda belajar dari insiden untuk meningkatkan hasil di masa depan.
**Anti-pola umum:**
+ Anda mengelola server aplikasi. Kira-kira setiap 23 jam 55 menit, semua sesi aktif Anda dihapus. Anda berupaya mengidentifikasi masalah yang terjadi di server aplikasi Anda. Anda menduga bahwa masalah ini mungkin masalah jaringan, tetapi tidak dapat memperoleh bantuan dari tim jaringan karena mereka terlalu sibuk. Anda tidak menetapkan proses di awal yang dapat Anda jadikan panduan untuk mendapatkan dukungan dan mengumpulkan informasi yang dibutuhkan guna mengetahui masalah yang sedang terjadi.
+ Anda mengalami kehilangan data di dalam beban kerja Anda. Hal ini baru pertama kali terjadi dan penyebabnya belum jelas. Anda menganggap bahwa kejadian ini tidak penting karena Anda dapat membuat ulang data. Kehilangan data makin sering terjadi dan memengaruhi pelanggan Anda. Hal ini juga menambah beban operasional Anda karena harus memulihkan data yang hilang.
**Manfaat menjalankan praktik terbaik ini:**
+ Anda memiliki proses yang telah ditetapkan di awal untuk menentukan komponen, kondisi, tindakan, dan peristiwa yang berkontribusi terhadap suatu insiden, yang membantu Anda mengidentifikasi peluang untuk perbaikan.
+ Anda menggunakan data dari analisis pasca-insiden untuk melakukan perbaikan.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Tinggi
## Panduan implementasi
Gunakan sebuah proses untuk menentukan faktor yang berkontribusi. Tinjau semua insiden yang memengaruhi pelanggan. Buatlah sebuah proses untuk mengidentifikasi dan membuat dokumentasi dari faktor-faktor yang berkontribusi terhadap sebuah insiden agar Anda dapat mengembangkan langkah-langkah mitigasi untuk membatasi atau mencegah kejadian serupa serta mengembangkan prosedur untuk merespons dengan cepat dan efektif. Komunikasikan akar masalah insiden sebagaimana mestinya, dan sesuaikan komunikasi dengan audiens target Anda. Bagikan pembelajaran secara terbuka di dalam organisasi Anda.
### Langkah-langkah implementasi
1. Kumpulkan meterik-metrik seperti perubahan deployment, perubahan konfigurasi, waktu mulai insiden, waktu alarm, waktu keterlibatan, waktu mulai mitigasi, dan waktu penyelesaian insiden.
1. Jelaskan titik-titik waktu utama pada kronologi (timeline) untuk memahami peristiwa insiden.
1. Ajukan pertanyaan-pertanyaan berikut:
1. Apakah Anda dapat mempersingkat waktu deteksi?
1. Apakah ada pembaruan metrik dan alarm yang dapat mendeteksi insiden lebih dini?
1. Apakah Anda dapat mempersingkat waktu diagnosis?
1. Apakah ada pembaruan pada rencana respons atau rencana eskalasi Anda yang melibatkan perespons yang tepat lebih dini?
1. Apakah Anda dapat mempersingkat waktu mitigasi?
1. Apakah ada langkah-langkah runbook atau panduan yang dapat Anda tambahkan atau tingkatkan?
1. Apakah Anda dapat mencegah terjadinya insiden di masa mendatang?
1. Buat daftar periksa dan tindakan. Lacak dan selesaikan semua tindakan.
**Tingkat upaya untuk rencana implementasi:** Sedang
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS11-BP01 Buatlah suatu proses untuk peningkatan berkelanjutan](ops_evolve_ops_process_cont_imp.md)
+ [OPS4 - Menerapkan observabilitas](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/implement-observability.html)
**Dokumen terkait:**
+ [Menjalankan analisis pasca-insiden di Incident Manager](https://docs.aws.amazon.com/incident-manager/latest/userguide/analysis.html)
+ [Peninjauan Kesiapan Operasional](https://docs.aws.amazon.com/wellarchitected/latest/operational-readiness-reviews/iteration.html)
# OPS11-BP03 Menerapkan loop umpan balik
Loop umpan balik menyediakan wawasan yang dapat ditindaklanjuti yang mendorong pengambilan keputusan. Masukkan loop umpan balik ke dalam prosedur dan beban kerja Anda. Ini akan membantu Anda mengidentifikasi permasalahan dan area yang memerlukan perbaikan. Loop umpan balik juga memvalidasi investasi yang dilakukan dalam upaya perbaikan. Loop umpan balik ini adalah landasan untuk meningkatkan beban kerja Anda secara berkelanjutan.
Loop umpan balik terbagi dalam dua kategori: *umpan balik langsung* dan *analisis retrospektif*. Umpan balik langsung (immediate feedback) dikumpulkan melalui peninjauan kinerja dan hasil dari aktivitas operasi. Umpan balik ini berasal dari anggota tim, pelanggan, atau output otomatis dari aktivitas. Umpan balik langsung diterima dari hal-hal seperti pengujian A/B dan pengiriman fitur baru, dan ini penting bagi gagal cepat (fail fast).
Analisis retrospektif dilakukan secara rutin untuk menangkap umpan balik dari peninjauan metrik dan hasil operasional dari waktu ke waktu. Retrospektif ini terjadi pada akhir sprint, secara terjadwal, atau setelah perilisan atau peristiwa besar. Tipe loop umpan balik ini memvalidasi investasi dalam operasi atau beban kerja Anda. Loop umpan balik ini akan membantu Anda mengukur keberhasilan dan memvalidasi strategi Anda.
**Hasil yang diinginkan:** Anda menggunakan umpan balik langsung dan analisis retrospektif untuk mendorong perbaikan. Terdapat sebuah mekanisme untuk mendapatkan umpan balik dari pengguna dan anggota tim. Analisis retrospektif digunakan untuk mengidentifikasi kecenderungan yang mendorong perbaikan.
**Anti-pola umum:**
+ Anda meluncurkan fitur baru tetapi tidak ada cara untuk menerima umpan balik pelanggan tentangnya.
+ Setelah berinvestasi dalam perbaikan operasi, Anda tidak melakukan analisis retrospektif untuk memvalidasinya.
+ Anda mengumpulkan umpan balik pelanggan tetapi tidak meninjaunya secara rutin.
+ Loop umpan balik mendatangkan item-item tindakan yang diajukan tetapi item-item tersebut tidak disertakan dalam proses pengembangan perangkat lunak.
+ Pelanggan tidak menerima umpan balik tentang perbaikan yang mereka ajukan.
**Manfaat menjalankan praktik terbaik ini:**
+ Anda dapat bekerja mundur (work backward) dari pelanggan untuk mendorong fitur-fitur baru.
+ Budaya organisasi Anda dapat merespons perubahan lebih cepat.
+ Tren digunakan untuk mengidentifikasi peluang perbaikan.
+ Retrospektif memvalidasi investasi yang dilakukan pada beban kerja dan operasi Anda.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Tinggi
## Panduan implementasi
Dengan mengimplementasikan praktik-praktik terbaik ini, Anda dapat menggunakan umpan balik langsung dan analisis retrospektif. Loop umpan balik ini mendorong perbaikan. Terdapat banyak mekanisme untuk umpan balik langsung, termasuk survei, jajak pendapat pelanggan, atau formulir umpan balik. Organisasi Anda juga menggunakan retrospektif untuk mengidentifikasi peluang-peluang perbaikan dan memvalidasi inisiatif.
**Contoh pelanggan**
AnyCompany Retail membuat formulir web di mana pelanggan dapat memberikan umpan balik atau melaporkan masalah. Selama melakukan scrum mingguan, umpan balik pengguna dievaluasi oleh tim pengembangan perangkat lunak. Umpan balik digunakan secara rutin sebagai landasan pengembangan platform mereka. Mereka melakukan analisis retrospektif di akhir setiap sprint untuk mengidentifikasi item yang ingin mereka tingkatkan.
## Langkah-langkah implementasi
1. Umpan balik langsung
+ Anda memerlukan sebuah mekanisme untuk menjangkau umpan balik dari pelanggan dan anggota tim. Aktivitas operasi Anda juga dapat dikonfigurasi untuk menghadirkan umpan balik otomatis.
+ Organisasi Anda perlu sebuah proses untuk meninjau umpan balik ini, menentukan hal-hal yang harus ditingkatkan, dan menjadwalkan perbaikan.
+ Umpan balik harus ditambahkan ke dalam proses pengembangan perangkat lunak Anda.
+ Seiring Anda melakukan perbaikan, lakukan tindak lanjut dengan pemberi umpan balik.
+ Anda dapat menggunakan [AWS Systems Manager OpsCenter](https://docs.aws.amazon.com/systems-manager/latest/userguide/OpsCenter.html)untuk membuat dan melacak peningkatan ini sebagai [OpsItems](https://docs.aws.amazon.com/systems-manager/latest/userguide/OpsCenter-working-with-OpsItems.html).
1. Analisis retrospektif
+ Lakukan retrospektif di akhir siklus pengembangan, pada jadwal yang ditetapkan, atau setelah perilisan besar.
+ Kumpulkan para pemangku kepentingan yang terlibat dalam beban kerja untuk melakukan rapat retrospektif.
+ Buat tiga kolom di papan tulis atau lembar kerja: Hentikan, Mulai, dan Pertahankan
+ *Stop* adalah untuk apa pun yang Anda ingin tidak dilakukan lagi oleh tim Anda.
+ *Start* adalah gagasan yang ingin mulai Anda lakukan.
+ *Keep* adalah untuk item-item yang ingin tetap Anda lakukan.
+ Keliling ruangan dan kumpulkan umpan balik dari para pemangku kepentingan.
+ Buat prioritas umpan balik. Tetapkan tindakan dan pemangku kepentingan untuk item-item Mulai atau Pertahankan.
+ Tambahkan tindakan-tindakan ke proses pengembangan perangkat lunak Anda dan sampaikan pembaruan status kepada para pemangku kepentingan seiring Anda melakukan perbaikan.
**Tingkat upaya untuk rencana implementasi:** Sedang. Untuk mengimplementasikan praktik terbaik ini, Anda memerlukan cara untuk menyerap umpan balik langsung dan menganalisisnya. Selain itu, Anda perlu membangun sebuah proses analisis retrospektif.
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS01-BP01 Mengevaluasi kebutuhan pelanggan eksternal](ops_priorities_ext_cust_needs.md): Loop umpan balik adalah sebuah mekanisme untuk mengumpulkan kebutuhan pelanggan eksternal.
+ [OPS01-BP02 Mengevaluasi kebutuhan nasabah internal](ops_priorities_int_cust_needs.md): Para pemangku kepentingan internal dapat menggunakan loop umpan balik untuk menyampaikan kebutuhan dan persyaratan.
+ [OPS11-BP02 Lakukan analisis pasca-insiden](ops_evolve_ops_perform_rca_process.md): Analisis pasca-insiden adalah bentuk analisis retrospektif yang penting yang dilakukan setelah insiden.
+ [OPS11-BP07 Lakukan tinjauan metrik operasi](ops_evolve_ops_metrics_review.md): Peninjauan metrik operasi mengidentifikasi tren dan area perbaikan.
**Dokumen terkait:**
+ [7 Jebakan yang Harus Dihindari Saat Membangun CCOE](https://aws.amazon.com/blogs/enterprise-strategy/7-pitfalls-to-avoid-when-building-a-ccoe/)
+ [Playbook Tim Atlassian - Retrospektif](https://www.atlassian.com/team-playbook/plays/retrospective)
+ [Definisi Email: Loop Umpan Balik](https://aws.amazon.com/blogs/messaging-and-targeting/email-definitions-feedback-loops/)
+ [Membangun Loop Umpan Balik Berdasarkan Tinjauan Kerangka AWS Well-Architected](https://aws.amazon.com/blogs/architecture/establishing-feedback-loops-based-on-the-aws-well-architected-framework-review/)
+ [IBMMetodologi Garasi - Pegang retrospektif](https://www.ibm.com/garage/method/practices/learn/practice_retrospective_analysis/)
+ [Investopedia — Siklus PDCS](https://www.investopedia.com/terms/p/pdca-cycle.asp)
+ [Memaksimalkan Efektivitas Developer oleh Tim Cochran](https://martinfowler.com/articles/developer-effectiveness.html)
+ [Ulasan Kesiapan Operasi (ORR) Whitepaper - Iterasi](https://docs.aws.amazon.com/wellarchitected/latest/operational-readiness-reviews/iteration.html)
+ [ITILCSI- Peningkatan Layanan Berkelanjutan](https://wiki.en.it-processmaps.com/index.php/ITIL_CSI_-_Continual_Service_Improvement)
+ [Saat Toyota bertemu e-commerce: Bersandar pada Amazon](https://www.mckinsey.com/capabilities/operations/our-insights/when-toyota-met-e-commerce-lean-at-amazon)
**Video terkait:**
+ [Membangun Loop Umpan Balik Pelanggan yang Efektif](https://www.youtube.com/watch?v=zz_VImJRZ3U)
**Contoh terkait: **
+ [Astuto - Alat umpan balik pelanggan sumber terbuka](https://github.com/riggraz/astuto)
+ [AWS Solusi - Q nABot on AWS](https://aws.amazon.com/solutions/implementations/qnabot-on-aws/)
+ [Fider - Platform untuk mengatur umpan balik pelanggan](https://github.com/getfider/fider)
**Layanan terkait:**
+ [AWS Systems Manager OpsCenter](https://docs.aws.amazon.com/systems-manager/latest/userguide/OpsCenter.html)
# OPS11-BP04 Melakukan manajemen pengetahuan
Manajemen pengetahuan membantu anggota tim menemukan informasi untuk melakukan pekerjaan mereka. Di dalam organisasi yang mau belajar, informasi dibagikan secara bebas sehingga individu diberdayakan. Informasi dapat ditemukan atau dicari. Informasi bersifat akurat dan mutakhir. Ada mekanisme untuk membuat informasi baru, memperbarui informasi yang sudah ada, dan mengarsipkan informasi yang kedaluwarsa. Contoh paling umum dari platform manajemen pengetahuan adalah suatu sistem manajemen konten seperti wiki.
**Hasil yang diinginkan:**
+ Anggota tim memiliki akses ke informasi yang akurat secara tepat waktu.
+ Informasi dapat dicari.
+ Ada mekanisme untuk menambahkan, memperbarui, dan mengarsipkan informasi.
**Anti-pola umum:**
+ Tidak ada penyimpanan pengetahuan tersentralisasi. Anggota tim mengelola catatan mereka sendiri di mesin mereka secara lokal.
+ Anda memiliki wiki yang di-hosting secara mandiri tetapi tidak ada mekanisme untuk mengelola informasi, yang mengakibatkan informasi menjadi kedaluwarsa.
+ Seseorang melihat ada informasi yang kurang tetapi tidak ada proses untuk meminta penambahannya ke tim wiki. Mereka menambahkannya sendiri tetapi mereka melewatkan langkah yang penting, sehingga mengakibatkan terjadinya gangguan (outage).
**Manfaat menjalankan praktik terbaik ini:**
+ Anggota tim diberdayakan karena informasi dibagikan secara bebas.
+ Anggota tim baru menjalani masa orientasi dengan lebih cepat karena dokumentasinya mutakhir dan dapat dicari.
+ Informasi bersifat tepat waktu, akurat, dan dapat ditindaklanjuti.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Tinggi
## Panduan implementasi
Manajemen pengetahuan adalah segi penting dari organisasi yang mau belajar. Untuk memulai, Anda memerlukan tempat penyimpanan terpusat guna menyimpan pengetahuan Anda (contoh yang umum yakni wiki yang di-hosting secara mandiri). Anda harus membuat proses untuk menambahkan, memperbarui, dan mengarsipkan pengetahuan. Buatlah standar mengenai apa yang harus didokumentasikan dan izinkan semua orang memberi kontribusi.
**Contoh pelanggan**
AnyCompany Retail menghosting Wiki internal tempat semua pengetahuan disimpan. Anggota tim didorong untuk menambahkan pengetahuan seiring pengerjaan tugas sehari-hari mereka. Setiap tiga bulan sekali, tim lintas fungsi mengevaluasi halaman mana yang paling jarang diperbarui dan menentukan apakah halaman tersebut harus diarsipkan atau diperbarui.
**Langkah-langkah implementasi**
1. Mulailah dengan mengidentifikasi sistem manajemen konten tempat pengetahuan akan disimpan. Dapatkan kesepakatan dari para para pemangku kepentingan di seluruh organisasi Anda.
1. Jika Anda belum memiliki sistem manajemen konten, pertimbangkan untuk menjalankan wiki yang di-hosting secara mandiri atau menggunakan tempat penyimpanan kontrol versi sebagai titik awal.
1. Kembangkan runbook untuk menambahkan, memperbarui, dan mengarsipkan informasi. Didik tim Anda tentang proses-proses ini.
1. Identifikasi pengetahuan apa yang harus disimpan di sistem manajemen konten. Mulailah dengan aktivitas harian (runbook dan playbook) yang dilakukan anggota tim. Bekerja samalah dengan para pemangku kepentingan untuk memprioritaskan pengetahuan yang akan ditambahkan.
1. Secara berkala, bekerja dengan pemangku kepentingan untuk mengidentifikasi out-of-date informasi dan mengarsipkannya atau memperbaruinya.
**Tingkat upaya untuk rencana implementasi:** Sedang. Jika Anda belum memiliki sistem manajemen konten, Anda dapat membuat wiki yang di-hosting secara mandiri atau menggunakan tempat penyimpanan dokumen dengan pengontrolan versi.
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS11-BP08 Mendokumentasikan dan membagikan pelajaran yang didapatkan](ops_evolve_ops_share_lessons_learned.md) - Manajemen pengetahuan memfasilitasi pembagian informasi tentang pelajaran yang didapatkan.
**Dokumen terkait:**
+ [ Atlassian - Manajemen Pengetahuan ](https://www.atlassian.com/itsm/knowledge-management)
**Contoh terkait:**
+ [ DokuWiki ](https://www.dokuwiki.org/dokuwiki)
+ [ Gollum ](https://github.com/gollum/gollum)
+ [ MediaWiki ](https://www.mediawiki.org/wiki/MediaWiki)
+ [ Wiki.js ](https://github.com/Requarks/wiki)
# OPS11-BP05 Menetapkan pendorong untuk perbaikan
Identifikasi pendorong perbaikan untuk membantu Anda mengevaluasi dan memprioritaskan peluang berdasarkan data dan loop umpan balik. Jelajahi peluang perbaikan di dalam sistem dan proses Anda, dan otomatiskan jika sesuai.
**Hasil yang diinginkan:**
+ Anda melacak data dari seluruh lingkungan Anda.
+ Anda mengorelasikan peristiwa dan aktivitas dengan hasil bisnis.
+ Anda dapat mencari kesamaan dan perbedaan di antara lingkungan dan sistem.
+ Anda memelihara riwayat aktivitas mendetail untuk deployment dan hasil Anda.
+ Anda mengumpulkan data untuk mendukung postur keamanan Anda.
**Anti-pola umum:**
+ Anda mengumpulkan data dari seluruh lingkungan Anda tetapi tidak mengorelasikan peristiwa dan aktivitas.
+ Anda mengumpulkan data mendetail dari seluruh estate Anda, dan hal tersebut mendorong aktivitas dan biaya Amazon CloudWatch dan AWS CloudTrail yang tinggi. Namun, Anda tidak menggunakan data ini secara bermakna.
+ Anda tidak memperhitungkan hasil bisnis ketika menentukan pendorong untuk perbaikan.
+ Anda tidak mengukur dampak fitur-fitur baru.
**Manfaat menjalankan praktik terbaik ini:**
+ Anda meminimalkan dampak motivasi berbasis peristiwa atau investasi emosional dengan menentukan kriteria perbaikan.
+ Anda merespons peristiwa-peristiwa bisnis, bukan hanya peristiwa teknis.
+ Anda mengukur lingkungan Anda untuk mengidentifikasi area-area perbaikan.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Sedang
## Panduan implementasi
+ Pahami pendorong perbaikan: Anda sebaiknya hanya melakukan perubahan pada suatu sistem ketika hasil-hasil yang diinginkan didukung.
+ Kemampuan yang diinginkan: Lakukan evaluasi terhadap fitur dan kemampuan yang diinginkan saat mengevaluasi peluang-peluang perbaikan.
+ [Yang Baru dengan AWS](https://aws.amazon.com/new/)
+ Masalah yang tidak dapat diterima: Lakukan evaluasi pada masalah, bug, dan kerentanan yang tidak dapat diterima saat mengevaluasi peluang-peluang perbaikan. Lacak opsi penyesuaian ukuran, dan cari peluang optimalisasi.
+ [Buletin Keamanan Terkini AWS](https://aws.amazon.com/security/security-bulletins/)
+ [AWS Trusted Advisor](https://aws.amazon.com/premiumsupport/trustedadvisor/)
+ [Dasbor Inteligensi Cloud](https://www.wellarchitectedlabs.com/cloud-intelligence-dashboards/)
+ Persyaratan kepatuhan: Lakukan evaluasi terhadap pembaruan dan perubahan yang diperlukan untuk mempertahankan kepatuhan Anda terhadap peraturan, kebijakan, atau agar tetap memperoleh dukungan pihak ketiga, saat meninjau peluang untuk perbaikan.
+ [Kepatuhan AWS](https://aws.amazon.com/compliance/)
+ [Program Kepatuhan AWS](https://aws.amazon.com/compliance/programs/)
+ [Berita Terbaru Kepatuhan AWS](https://aws.amazon.com/compliance/compliance-latest-news/)
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS01 Prioritas organisasi](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/organization-priorities.html)
+ [OPS02 Hubungan dan Kepemilikan](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/relationships-and-ownership.html)
+ [OPS04-BP01 Identifikasikan indikator performa utama](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_observability_identify_kpis.html)
+ [OPS08 Memanfaatkan observabilitas beban kerja](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/utilizing-workload-observability.html)
+ [OPS09 Memahami Kesehatan Operasional](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/understanding-operational-health.html)
+ [OPS11-BP03 Mengimplementasikan loop umpan balik](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_evolve_ops_feedback_loops.html)
**Dokumen terkait:**
+ [Amazon Athena](https://aws.amazon.com/athena/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc)
+ [Quick](https://aws.amazon.com/quicksight/)
+ [Kepatuhan AWS](https://aws.amazon.com/compliance/)
+ [Berita Terbaru Kepatuhan AWS](https://aws.amazon.com/compliance/compliance-latest-news/)
+ [Program Kepatuhan AWS](https://aws.amazon.com/compliance/programs/)
+ [AWS Glue](https://aws.amazon.com/glue/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc)
+ [Buletin Keamanan Terkini AWS](https://aws.amazon.com/security/security-bulletins/)
+ [AWS Trusted Advisor](https://aws.amazon.com/premiumsupport/trustedadvisor/)
+ [Ekspor data log Anda ke Amazon S3](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/S3Export.html)
+ [Yang Baru dengan AWS](https://aws.amazon.com/new/)
+ [Keharusan Inovasi yang Berpusat pada Pelanggan](https://aws.amazon.com/executive-insights/content/the-imperatives-of-customer-centric-innovation/)
+ [Transformasi Digital: Kehebohan Sementara atau Kebutuhan Strategis?](https://aws.amazon.com/blogs/enterprise-strategy/digital-transformation-hype-or-a-strategic-necessity/)
**Video Terkait**
+ [AWS re:Invent 2023 - Meningkatkan efisiensi operasional dan ketahanan dengan Dukungan (SUP310)](https://youtu.be/jaehZYBNG0Y?si=UNEaLZsXDrxcBgYo)
# OPS11-BP06 Validasi wawasan
Tinjau respons dan hasil analisis Anda dengan tim lintas fungsi serta pemilik bisnis. Gunakan tinjauan tersebut untuk menetapkan pemahaman umum, mengidentifikasi dampak-dampak tambahan, dan menentukan alur tindakan. Sesuaikan respons sebagaimana mestinya.
**Hasil yang diinginkan:**
+ Anda meninjau wawasan bersama dengan para pemilik bisnis secara rutin. Pemilik bisnis memberikan konteks tambahan untuk wawasan yang baru diperoleh.
+ Anda meninjau wawasan dan meminta umpan balik dari rekan-rekan di bidang teknis, dan Anda membagikan pembelajaran Anda ke seluruh tim.
+ Anda memublikasikan data dan wawasan untuk ditinjau oleh tim teknis dan bisnis lainnya. Anda memperhitungkan pembelajaran Anda untuk praktik-praktik baru oleh departemen lain.
+ Ringkas dan tinjau wawasan baru bersama para pemimpin senior. Pemimpin senior menggunakan wawasan baru untuk menentukan strategi.
**Anti-pola umum:**
+ Anda merilis fitur baru. Fitur ini mengubah beberapa perilaku pelanggan Anda. Observabilitas Anda tidak memperhitungkan perubahan ini. Anda tidak mengukur manfaat perubahan ini.
+ Anda mendorong pembaruan baru dan mengabaikan penyegaran AndaCDN. CDNCache tidak lagi kompatibel dengan rilis terbaru. Anda mengukur persentase permintaan dengan kesalahan. Semua pengguna Anda melaporkan HTTP 400 kesalahan saat berkomunikasi dengan server backend. Anda menyelidiki kesalahan klien dan menemukan bahwa waktu Anda terbuang sia-sia karena Anda mengukur dimensi yang salah.
+ Perjanjian tingkat layanan Anda menetapkan waktu aktif 99,9%, dan sasaran titik pemulihan Anda adalah empat jam. Pemilik layanan menyatakan bahwa sistem memiliki nol waktu henti (down time). Anda mengimplementasikan solusi replikasi yang mahal dan kompleks, yang menyita banyak waktu dan uang.
**Manfaat menjalankan praktik terbaik ini: **
+ Ketika Anda memvalidasi wawasan bersama para pemilik bisnis dan orang yang ahli di bidangnya, Anda membangun pemahaman yang sama dan memandu perbaikan dengan lebih efektif.
+ Anda menemukan masalah tersembunyi dan memperhitungkannya untuk keputusan masa depan.
+ Fokus Anda beralih dari hasil teknis ke hasil bisnis.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Sedang
## Panduan implementasi
+ **Validasikan wawasan:** Berinteraksi dengan para pemilik bisnis dan orang yang ahli di bidangnya untuk memastikan ada pemahaman dan kesepakatan bersama tentang makna data yang dikumpulkan. Identifikasi masalah-masalah tambahan, dampak potensial, dan tentukan alur tindakan.
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS01-BP06 Mengevaluasi pengorbanan sambil mengelola manfaat dan risiko](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_priorities_eval_tradeoffs.html)
+ [OPS02-BP06 Tanggung jawab antar tim telah ditentukan sebelumnya atau dinegosiasikan](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_ops_model_def_neg_team_agreements.html)
+ [OPS11-BP03 Menerapkan loop umpan balik](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_evolve_ops_feedback_loops.html)
**Dokumen terkait:**
+ [Merancang Cloud Center of Excellence (CCOE)](https://aws.amazon.com/blogs/enterprise-strategy/designing-a-cloud-center-of-excellence-ccoe/)
**Video terkait:**
+ [Membangun observabilitas untuk meningkatkan ketahanan](https://youtu.be/6bJkYtrMMPI?si=yu8tVMz4a6ax9f34&t=2695)
# OPS11-BP07 Lakukan tinjauan metrik operasi
Lakukan analisis retrospektif rutin terhadap metrik operasi dengan peserta lintas tim dari berbagai area bisnis. Gunakan tinjauan ini untuk mengidentifikasi peluang perbaikan, potensi pilihan tindakan, dan untuk membagikan pelajaran yang diperoleh. Cari peluang perbaikan di semua lingkungan Anda (misalnya pengembangan, pengujian, dan produksi).
**Hasil yang diinginkan:**
+ Anda sering meninjau metrik yang memengaruhi bisnis
+ Anda mendeteksi dan meninjau anomali melalui kemampuan observabilitas Anda
+ Anda menggunakan data untuk mendukung hasil dan sasaran bisnis
**Anti-pola umum:**
+ Jendela pemeliharaan Anda mengganggu promosi retail yang signifikan. Bisnis tidak tahu bahwa ada jadwal pemeliharaan standar yang dapat ditunda jika terdapat peristiwa lain yang memengaruhi bisnis.
+ Anda mengalami pemadaman berkepanjangan karena Anda umumnya menggunakan pustaka yang sudah usang di organisasi Anda. Sejak saat itu Anda beralih ke pustaka yang didukung. Tim-tim lain yang ada di organisasi Anda tidak tahu bahwa mereka terpapar risiko.
+ Anda tidak secara teratur meninjau pencapaian pelangganSLAs. Anda sedang tren untuk tidak bertemu pelanggan SLAs Anda. Ada hukuman finansial yang terkait dengan tidak bertemu pelanggan SLAs Anda.
**Manfaat menjalankan praktik terbaik ini:**
+ Ketika Anda melakukan pertemuan rutin untuk meninjau-metrik metrik operasi, peristiwa, dan insiden, Anda dapat menjaga pemahaman bersama lintas tim.
+ Tim Anda bertemu secara rutin untuk meninjau metrik dan insiden, yang memposisikan Anda untuk mengambil tindakan terhadap risiko dan mengenali pelanggan. SLAs
+ Anda berbagi pelajaran yang diperoleh, yang menyediakan data untuk penyusunan prioritas dan perbaikan tertarget untuk hasil bisnis.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Sedang
## Panduan implementasi
+ Lakukan analisis retrospektif rutin terhadap metrik operasi dengan peserta lintas tim dari berbagai area bisnis.
+ Libatkan pemangku kepentingan, termasuk tim bisnis, pengembangan, dan operasi, untuk memvalidasi temuan dari umpan balik langsung dan analisis retrospektif, serta untuk membagikan pelajaran yang diperoleh.
+ Gunakan wawasan mereka untuk mengidentifikasi peluang perbaikan dan potensi pilihan tindakan.
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS08-BP05 Buat dasbor](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_workload_observability_create_dashboards.html)
+ [OPS09-BP03 Meninjau metrik operasi dan memprioritaskan peningkatan](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_operations_health_review_ops_metrics_prioritize_improvement.html)
+ [OPS10-BP01 Gunakan proses untuk manajemen peristiwa, insiden, dan masalah](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_event_response_event_incident_problem_process.html)
**Dokumen terkait:**
+ [Amazon CloudWatch](https://aws.amazon.com/cloudwatch/)
+ [ CloudWatch Referensi metrik dan dimensi Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CW_Support_For_AWS.html)
+ [Menerbitkan metrik kustom](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/publishingMetrics.html)
+ [Menggunakan CloudWatch metrik Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/working_with_metrics.html)
+ [Dasbor dan visualisasi dengan CloudWatch](https://docs.aws.amazon.com/prescriptive-guidance/latest/implementing-logging-monitoring-cloudwatch/cloudwatch-dashboards-visualizations.html)
# OPS11-BP08 Mendokumentasikan dan membagikan pelajaran yang didapatkan
Dokumentasikan dan bagikan pelajaran yang didapatkan dari aktivitas operasional sehingga Anda dapat menggunakannya secara internal dan di seluruh tim. Anda harus membagikan pelajaran yang didapatkan oleh tim Anda guna meningkatkan manfaat di seluruh organisasi Anda. Bagikan informasi dan sumber daya untuk mencegah kesalahan yang dapat dihindari dan memudahkan upaya pengembangan, dan berfokus pada pengiriman fitur-fitur yang diinginkan.
Gunakan AWS Identity and Access Management (IAM) untuk menetapkan izin yang memungkinkan akses terkontrol ke sumber daya yang ingin Anda bagikan di dalam dan antarakun.
**Hasil yang diinginkan:**
+ Anda menggunakan repositori terkontrol versi untuk membagikan pustaka aplikasi, prosedur dalam skrip, dokumentasi prosedur, dan dokumentasi sistem lainnya.
+ Anda membagikan standar infrastruktur Anda dalam bentuk templat AWS CloudFormation terkontrol versi.
+ Anda meninjau pelajaran yang didapatkan di seluruh tim.
**Anti-pola umum:**
+ Anda mengalami pemadaman berkepanjangan karena organisasi Anda umumnya menggunakan pustaka yang mengandung masalah. Sejak saat itu Anda beralih ke pustaka yang andal. Tim-tim lain di organisasi Anda tidak mengetahui bahwa mereka terpapar risiko. Tidak ada orang yang mendokumentasikan dan membagikan pengalaman dengan pustaka ini, dan mereka tidak menyadari risiko tersebut.
+ Anda mengidentifikasi sebuah masalah edge di dalam layanan mikro yang digunakan bersama secara internal yang menyebabkan terganggunya sesi. Anda pun memperbarui panggilan Anda ke layanan guna menghindari masalah edge tersebut. Tim-tim lain yang ada di organisasi Anda tidak tahu bahwa mereka terpapar risiko.
+ Anda menemukan cara untuk mengurangi secara signifikan persyaratan pemanfaatan CPU untuk salah satu layanan mikro Anda. Anda tidak tahu bahwa tim lain bisa memanfaatkan teknik ini.
**Manfaat menerapkan praktik terbaik ini:** Bagikan pelajaran yang didapatkan untuk mendukung perbaikan dan memaksimalkan manfaat pengalaman.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Rendah
## Panduan implementasi
+ **Dokumentasikan dan bagikan pelajaran yang didapatkan** Miliki prosedur untuk mendokumentasikan pelajaran didapatkan dari aktivitas operasional dan analisis retrospektif agar dapat digunakan oleh tim lain.
+ **Bagikan pembelajaran:** Miliki prosedur untuk membagikan pelajaran yang didapatkan serta artefak terkait ke seluruh tim. Sebagai contoh, bagikan prosedur, panduan, tata kelola, dan praktik terbaik yang telah diperbarui melalui wiki yang dapat diakses. Bagikan skrip, kode, dan pustaka melalui repositori umum.
+ Manfaatkan [AWS re:Post Private](https://aws.amazon.com/repost-private/) sebagai layanan pengetahuan untuk merampingkan kolaborasi dan berbagi pengetahuan dalam organisasi Anda.
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS02-BP06 Tanggung jawab antara tim telah dinegosiasikan atau ditetapkan sebelumnya](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_ops_model_def_neg_team_agreements.html)
+ [OPS05-BP01 Menggunakan kontrol versi](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_dev_integ_version_control.html)
+ [OPS05-BP06 Membagikan standar desain](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_dev_integ_share_design_stds.html)
+ [OPS11-BP03 Mengimplementasikan loop umpan balik](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_evolve_ops_feedback_loops.html)
+ [OPS11-BP07 Melakukan peninjauan metrik operasi](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_evolve_ops_metrics_review.html)
**Dokumen terkait:**
+ [ Tingkatkan kolaborasi dan bagikan pengetahuan cloud secara aman dengan AWS re:Post Private](https://aws.amazon.com/blogs/aws/increase-collaboration-and-securely-share-cloud-knowledge-with-aws-repost-private/)
+ [ Kurangi penundaan proyek dengan solusi docs-as-code ](https://aws.amazon.com/blogs/infrastructure-and-automation/reduce-project-delays-with-docs-as-code-solution/)
**Video terkait:**
+ [AWS re:invent 2023 - Berkolaborasi dalam perusahaan Anda dan dengan AWS menggunakan AWS re:Post Private](https://www.youtube.com/watch?v=HNq_kU2QJLU)
+ [Dukungan Anda \$1 Menjelajahi Latihan Diskusi Manajemen Insiden](https://www.youtube.com/watch?v=0m8sGDx-pRM)
# OPS11-BP09 Alokasikan waktu untuk melakukan perbaikan
Dedikasikan waktu dan sumber daya dalam proses Anda untuk memungkinkan peningkatan bertahap yang berkelanjutan.
**Hasil yang diinginkan:**
+ Anda dapat membuat duplikat lingkungan sementara, yang menurunkan risiko, usaha, serta biaya eksperimen dan pengujian.
+ Lingkungan duplikat ini dapat digunakan untuk menguji kesimpulan dari analisis dan eksperimen Anda, serta mengembangkan dan menguji peningkatan terencana.
+ Anda menjalankan gamedays, dan Anda menggunakan Fault Injection Service (FIS) untuk menyediakan kontrol dan pagar pembatas yang dibutuhkan tim untuk menjalankan eksperimen di lingkungan seperti produksi.
**Anti-pola umum:**
+ Ada masalah performa yang diketahui dalam aplikasi Anda. Ini ditambahkan ke backlog di balik setiap implementasi fitur terencana. Jika peringkat fitur terencana yang ditambahkan tetap konstan, masalah performa tidak akan pernah tertangani.
+ Untuk mendukung peningkatan berkelanjutan yang disetujui, administrator dan developer menggunakan seluruh waktu tambahan mereka untuk memilih dan mengimplementasikan peningkatan. Tidak ada peningkatan yang diselesaikan.
+ Penerimaan operasional sudah selesai, dan Anda tidak menguji praktik operasional lagi.
**Manfaat menerapkan praktik terbaik ini:** Dengan mendedikasikan waktu dan sumber daya dalam proses, Anda memungkinkan peningkatan bertahap yang berkelanjutan.
**Tingkat risiko yang terjadi jika praktik terbaik ini tidak diterapkan:** Rendah
## Panduan implementasi
+ Alokasikan waktu untuk membuat peningkatan: Dedikasikan waktu dan sumber daya dalam proses Anda untuk membuat peningkatan bertahap yang berkelanjutan.
+ Implementasikan perubahan guna meningkatkan dan mengevaluasi hasil untuk menentukan keberhasilan.
+ Jika hasilnya tidak memenuhi tujuan, dan peningkatan masih menjadi prioritas, lakukan tindakan alternatif.
+ Simulasikan beban kerja produksi melalui game day, dan gunakan pembelajaran dari simulasi ini untuk melakukan peningkatan.
## Sumber daya
**Praktik-praktik terbaik terkait:**
+ [OPS05-BP08 Gunakan beberapa lingkungan](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/ops_dev_integ_multi_env.html)
**Video terkait:**
+ [AWS RE: invent 2023 - Meningkatkan ketahanan aplikasi dengan Fault Injection Service AWS](https://youtu.be/N0aZZVVZiUw?si=ivYa9ScBfHcj-IAq)