

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Evaluasi DeepRacer model AWS Anda dalam simulasi
<a name="deepracer-get-started-test-in-simulator"></a>

 Setelah tugas pelatihan Anda selesai, Anda harus mengevaluasi model terlatih untuk menilai perilaku konvergennya. Evaluasi berlangsung dengan menyelesaikan sejumlah uji coba pada lintasan yang dipilih dan membuat agen bergerak di lintasan sesuai dengan kemungkinan tindakan yang disimpulkan oleh model terlatih. Metrik performa mencakup persentase penyelesaian lintasan dan waktu yang berjalan di setiap lintasan dari awal hingga akhir atau keluar jalur. 

Untuk mengevaluasi model terlatih Anda, Anda dapat menggunakan DeepRacer konsol AWS. Untuk melakukannya, ikuti langkah-langkah dalam topik ini. 

**Untuk mengevaluasi model terlatih di DeepRacer konsol AWS**

1. Buka DeepRacer konsol AWS di https://console.aws.amazon.com /deepracer. 

1. Dari panel navigasi utama, pilih **Model** lalu pilih model yang baru saja Anda latih dari daftar **Model** untuk membuka halaman detail model.

1.  Pilih tab **Evaluasi**. 

1. Dalam **detail Evaluasi**, pilih **Mulai evaluasi**.  
![\[Evaluation details section showing training complete message and option to start evaluation.\]](http://docs.aws.amazon.com/id_id/deepracer/latest/developerguide/images/evaluation_details_start.png)

   Anda dapat memulai evaluasi setelah status tugas pelatihan Anda berubah ke **Selesai** atau perubahan status model ke **Siap** jika tugas pelatihan tidak selesai. 

   Model siap saat tugas pelatihan selesai. Jika pelatihan tidak selesai, model juga dapat berada dalam status **Siap** jika model dilatih hingga ke titik gagal.

1. Pada halaman **Evaluasi model**, di bawah **Jenis ras**, masukkan nama untuk evaluasi Anda, lalu pilih jenis balap yang Anda pilih untuk melatih model. 

   Untuk evaluasi Anda dapat memilih tipe balapan yang berbeda dari tipe balapan yang digunakan dalam pelatihan. Misalnya, Anda dapat melatih model untuk head-to-bot balapan dan kemudian mengevaluasinya untuk uji waktu. Secara umum, model harus menggeneralisasi dengan baik jika tipe balapan pelatihan berbeda dari tipe balapan evaluasi. Untuk percobaan pertama Anda, Anda harus menggunakan tipe balapan yang sama untuk evaluasi dan pelatihan. 

1. Pada halaman **Evaluasi model**, di bawah **Evaluasi kriteria**, pilih jumlah uji coba yang ingin Anda jalankan, lalu pilih trek untuk mengevaluasi model.  
![\[\]](http://docs.aws.amazon.com/id_id/deepracer/latest/developerguide/images/evaluation_select_track.png)

   Biasanya, Anda ingin memilih lintasan yang sama dengan atau mirip dengan yang Anda gunakan di [melatih model](deepracer-get-started-training-model.md#deepracer-get-started-train-model-proc). Anda dapat memilih lintasan apa pun untuk mengevaluasi model Anda, namun, Anda dapat mengharapkan performa terbaik di lintasan yang paling mirip dengan yang digunakan dalam pelatihan. 

   Untuk melihat jika model Anda menggeneralisasi dengan baik, pilih lintasan evaluasi yang berbeda dari yang digunakan dalam pelatihan. 

1. Pada halaman **Evaluasi model**, di dalam **Pengiriman balapan virtual**, untuk model pertama Anda, matikan opsi **Kirim model setelah evaluasi**. Nanti, jika Anda ingin berpartisipasi dalam acara balap, biarkan opsi ini dihidupkan.  
![\[Virtual race submission section with options for submitting a model for evaluation.\]](http://docs.aws.amazon.com/id_id/deepracer/latest/developerguide/images/deepracer-get-started-evaluate-virtual-race-submit.png)

1. Pada halaman **Evaluasi model**, pilih **Mulai evaluasi** untuk mulai membuat dan menginisialisasi tugas evaluasi. 

   Proses inisialisasi ini membutuhkan waktu sekitar 3 menit untuk diselesaikan. 

1. Saat evaluasi berlangsung, hasil evaluasi, termasuk waktu uji coba dan tingkat penyelesaian trek, ditampilkan di bawah **detail evaluasi** setelah setiap percobaan. Dalam window **Pengaliran video simulasi**, Anda dapat melihat cara agen melakukanmya pada lintasan yang dipilih.

    Anda dapat menghentikan tugas evaluasi sebelum selesai. Untuk menghentikan tugas evaluasi, pilih **Hentikan evaluasi** di sudut kanan atas kartu **Evaluasi** lalu konfirmasi untuk menghentikan evaluasi. 

1. Setelah tugas evaluasi selesai, periksa metrik performa semua uji coba di dalam **Hasil evaluasi**. Aliran video simulasi yang menyertainya tidak lagi tersedia. 

   Riwayat evaluasi model Anda tersedia di **pemilih Evaluasi**. Untuk melihat detail evaluasi tertentu, pilih evaluasi dari daftar **pemilih Evaluasi**, lalu pilih **Muat evaluasi** dari sudut kanan atas kartu **pemilih Evaluasi**.   
![\[\]](http://docs.aws.amazon.com/id_id/deepracer/latest/developerguide/images/evaluation_selector_complete.png)

   Untuk pekerjaan evaluasi khusus ini, model terlatih menyelesaikan uji coba dengan penalti waktu off-track yang signifikan. Sebagai lari pertama, ini bukan hal yang aneh. Alasan yang mungkin termasuk pelatihan tidak menyatu dan pelatihan membutuhkan lebih banyak waktu, ruang tindakan perlu diperbesar untuk memberikan agen lebih banyak ruang untuk bereaksi, atau fungsi penghargaan perlu diperbarui untuk menangani berbagai lingkungan. 

    Anda dapat terus meningkatkan model dengan mengkloning model yang sebelumnya terlatih, mengubah fungsi penghargaan, menyetel hyperparameter, lalu mengulangi proses hingga total penghargaan menyatu dan metrik performa meningkat. Untuk informasi selengkapnya tentang cara meningkatkan pelatihan, lihat [Melatih dan mengevaluasi DeepRacer model AWS](create-deepracer-project.md). 

 Untuk mentransfer model Anda yang sepenuhnya terlatih ke DeepRacer perangkat AWS Anda untuk mengemudi di lingkungan fisik, Anda perlu mengunduh artefak model. Untuk melakukannya, pilih **Unduh model** pada halaman detail model. Jika perangkat DeepRacer fisik AWS Anda tidak mendukung sensor baru dan model Anda telah dilatih dengan jenis sensor baru, Anda akan mendapatkan pesan kesalahan saat menggunakan model di DeepRacer perangkat AWS Anda di lingkungan dunia nyata. Untuk informasi selengkapnya tentang menguji DeepRacer model AWS dengan perangkat fisik, lihat[Operasikan DeepRacer kendaraan AWS Anda](operate-deepracer-vehicle.md).

Setelah Anda melatih model Anda di trek yang identik atau mirip dengan yang ditentukan dalam acara balap AWS DeepRacer League atau balapan DeepRacer komunitas AWS, Anda dapat mengirimkan model ke balapan virtual di DeepRacer konsol AWS. Untuk melakukan ini, ikuti **sirkuit AWS virtual** atau **Balapan komunitas** di panel navigasi utama. Untuk informasi selengkapnya, lihat [Bergabunglah dengan DeepRacer perlombaan AWS](deepracer-racing-series.md). 



Untuk melatih model untuk menghindari rintangan atau head-to-bot balap, Anda mungkin perlu menambahkan sensor baru ke model dan perangkat fisik. Lihat informasi yang lebih lengkap di [Memahami jenis balap dan mengaktifkan sensor yang didukung oleh AWS DeepRacer](deepracer-choose-race-type.md).