Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Pekerjaan pelabelan streaming Ground Truth
Jika Anda ingin terus-menerus mengirim objek data baru ke Amazon SageMaker Ground Truth untuk diberi label, gunakan pekerjaan pelabelan streaming. Pekerjaan pelabelan streaming memungkinkan Anda untuk:
+ Kirim objek dataset baru ke pekerja secara real time menggunakan pekerjaan pelabelan yang terus berjalan. Pekerja terus menerima objek data baru untuk diberi label selama pekerjaan pelabelan aktif dan objek baru dikirim ke sana.
+ Dapatkan visibilitas ke dalam jumlah objek yang telah antri dan menunggu untuk diberi label. Gunakan informasi ini untuk mengontrol aliran objek data yang dikirim ke pekerjaan pelabelan Anda.
+ Terima data label untuk objek data individual secara real time saat pekerja selesai melabelnya.
Pekerjaan pelabelan streaming Ground Truth tetap aktif sampai dihentikan secara manual atau menganggur selama lebih dari 10 hari. Anda dapat sebentar-sebentar mengirim objek data baru ke pekerja saat pekerjaan pelabelan aktif.
Jika Anda adalah pengguna baru pekerjaan pelabelan streaming Ground Truth, Anda disarankan untuk meninjau[Cara kerjanya](#sms-streaming-how-it-works).
Gunakan [Buat pekerjaan pelabelan streaming](sms-streaming-create-job.md) untuk mempelajari cara membuat pekerjaan pelabelan streaming.
**catatan**
Pekerjaan pelabelan streaming Ground Truth hanya didukung melalui SageMaker API.
## Cara kerjanya
Saat Anda membuat pekerjaan pelabelan streaming Ground Truth, pekerjaan tetap aktif hingga dihentikan secara manual, tetap menganggur selama lebih dari 10 hari, atau tidak dapat mengakses sumber data input. Anda dapat sebentar-sebentar mengirim objek data baru ke pekerja saat sedang aktif. Seorang pekerja dapat terus menerima objek data baru secara real time selama jumlah total tugas yang saat ini tersedia untuk pekerja kurang dari nilai dalam [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HumanTaskConfig.html#sagemaker-Type-HumanTaskConfig-MaxConcurrentTaskCount](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HumanTaskConfig.html#sagemaker-Type-HumanTaskConfig-MaxConcurrentTaskCount). Jika tidak, objek data dikirim ke antrian yang dibuat Ground Truth atas nama Anda di [Amazon Simple Queue Service](https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/welcome.html) (Amazon SQS) untuk diproses nanti. Tugas-tugas ini dikirim ke pekerja segera setelah jumlah total tugas yang saat ini tersedia untuk pekerja jatuh di bawah`MaxConcurrentTaskCount`. Jika objek data tidak dikirim ke pekerja setelah 14 hari, itu akan kedaluwarsa. Anda dapat melihat jumlah tugas yang tertunda dalam antrian dan menyesuaikan jumlah objek yang Anda kirim ke pekerjaan pelabelan. Misalnya, Anda dapat mengurangi kecepatan pengiriman objek ke pekerjaan pelabelan jika backlog objek yang tertunda bergerak di atas ambang batas.
**Topics**
+ [Cara kerjanya](#sms-streaming-how-it-works)
+ [Kirim data ke pekerjaan pelabelan streaming](sms-streaming-how-it-works-send-data.md)
+ [Mengelola permintaan pelabelan dengan antrian Amazon SQS](sms-streaming-how-it-works-sqs.md)
+ [Menerima data keluaran dari pekerjaan pelabelan streaming](sms-streaming-how-it-works-output-data.md)
+ [Penanganan pesan duplikat](sms-streaming-impotency.md)
# Kirim data ke pekerjaan pelabelan streaming
Anda dapat secara opsional mengirimkan data input ke pekerjaan pelabelan streaming satu kali saat Anda membuat pekerjaan pelabelan menggunakan file manifes input. Setelah pekerjaan pelabelan dimulai dan statusnya`InProgress`, Anda dapat mengirimkan objek data baru ke pekerjaan pelabelan Anda secara real time menggunakan topik input Amazon SNS dan pemberitahuan acara Amazon S3 Anda.
***Kirim Objek Data Saat Anda Memulai Job Pelabelan (Satu Kali):***
+ **Menggunakan File Manifes Input** — Anda dapat secara opsional menentukan file manifes masukan Amazon S3 URI `ManifestS3Uri` saat Anda membuat pekerjaan pelabelan streaming. Ground Truth mengirimkan setiap objek data dalam file manifes ke pekerja untuk diberi label segera setelah pekerjaan pelabelan dimulai. Untuk mempelajari selengkapnya, lihat [Buat File Manifest (Opsional)](sms-streaming-manifest.md).
Setelah Anda mengirimkan permintaan untuk membuat pekerjaan pelabelan streaming, statusnya akan menjadi`Initializing`. Setelah pekerjaan pelabelan aktif, status berubah `InProgress` dan Anda dapat mulai menggunakan opsi waktu nyata untuk mengirimkan objek data tambahan untuk pelabelan.
***Kirim Objek Data secara Real Time:***
+ **Mengirim objek data menggunakan pesan Amazon SNS** - Anda dapat mengirim objek data baru Ground Truth ke label dengan mengirimkan pesan Amazon SNS. Anda akan mengirim pesan ini ke topik input Amazon SNS yang Anda buat dan tentukan saat Anda membuat pekerjaan pelabelan streaming Anda. Untuk informasi selengkapnya, lihat [Kirim objek data menggunakan Amazon SNS](#sms-streaming-how-it-works-sns).
+ **Kirim objek data dengan menempatkannya di bucket Amazon S3** — Setiap kali Anda menambahkan objek data baru ke bucket Amazon S3, Anda dapat meminta Ground Truth untuk memproses objek tersebut untuk diberi label. Untuk melakukannya, Anda menambahkan notifikasi peristiwa ke bucket sehingga pemberitahuan tersebut memberi tahu topik input Amazon SNS Anda setiap kali objek baru ditambahkan ke (*atau dibuat* di) bucket tersebut. Untuk informasi selengkapnya, lihat [Kirim objek data menggunakan Amazon S3](#sms-streaming-how-it-works-s3). Opsi ini tidak tersedia untuk pekerjaan pelabelan berbasis teks seperti klasifikasi teks dan pengenalan entitas bernama.
**penting**
Jika Anda menggunakan konfigurasi Amazon S3, jangan gunakan lokasi Amazon S3 yang sama untuk konfigurasi data input dan data keluaran Anda. Anda menentukan awalan S3 untuk data keluaran Anda saat Anda membuat pekerjaan pelabelan.
## Kirim objek data menggunakan Amazon SNS
Anda dapat mengirim objek data ke pekerjaan pelabelan streaming menggunakan Amazon Simple Notification Service (Amazon SNS). Amazon SNS adalah layanan web yang mengoordinasikan dan mengelola pengiriman pesan ke dan dari *titik akhir* (misalnya, alamat email atau fungsi). AWS Lambda *Topik* Amazon SNS bertindak sebagai saluran komunikasi antara dua atau lebih titik akhir. Anda menggunakan Amazon SNS untuk mengirim, atau *memublikasikan*, objek data baru ke topik yang ditentukan dalam [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html)parameter`SnsTopicArn`. `InputConfig` Format pesan ini sama dengan satu baris dari [file manifes masukan](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-data-input.html).
Misalnya, Anda dapat mengirim sepotong teks ke pekerjaan pelabelan klasifikasi teks aktif dengan menerbitkannya ke topik masukan Anda. Pesan yang Anda terbitkan mungkin terlihat mirip dengan yang berikut ini:
```
{"source": "Lorem ipsum dolor sit amet"}
```
Untuk mengirim objek gambar baru ke pekerjaan pelabelan klasifikasi gambar, pesan Anda mungkin terlihat mirip dengan yang berikut ini:
```
{"source-ref": "s3://amzn-s3-demo-bucket/example-image.jpg"}
```
**catatan**
Anda juga dapat menyertakan kunci deduplikasi IDs dan deduplikasi khusus dalam pesan Amazon SNS Anda. Untuk mempelajari selengkapnya, lihat [Penanganan pesan duplikat](sms-streaming-impotency.md).
Saat Ground Truth membuat pekerjaan pelabelan streaming Anda, itu berlangganan topik input Amazon SNS Anda.
## Kirim objek data menggunakan Amazon S3
Anda dapat mengirim satu atau beberapa objek data baru ke pekerjaan pelabelan streaming dengan menempatkannya di bucket Amazon S3 yang dikonfigurasi dengan pemberitahuan acara Amazon SNS. Anda dapat menyiapkan acara untuk memberi tahu topik input Amazon SNS kapan pun objek baru dibuat di bucket Anda. Anda harus menentukan topik input Amazon SNS yang sama ini di [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html)parameter `SnsTopicArn` di. `InputConfig`
Kapan pun Anda mengonfigurasi bucket Amazon S3 untuk mengirim notifikasi ke Amazon SNS, Ground Truth akan mempublikasikan acara pengujian`"s3:TestEvent"`, untuk memastikan bahwa topik tersebut ada dan bahwa pemilik bucket Amazon S3 yang ditentukan memiliki izin untuk mempublikasikan ke topik yang ditentukan. Disarankan agar Anda mengatur koneksi Amazon S3 Anda dengan Amazon SNS sebelum memulai pekerjaan pelabelan streaming. Jika tidak, peristiwa pengujian ini dapat mendaftar sebagai objek data dan dikirim ke Ground Truth untuk pelabelan.
**penting**
Jika Anda menggunakan konfigurasi Amazon S3, jangan gunakan lokasi Amazon S3 yang sama untuk konfigurasi data input dan data keluaran Anda. Anda menentukan awalan S3 untuk data keluaran Anda saat Anda membuat pekerjaan pelabelan.
Untuk pekerjaan pelabelan berbasis gambar, Ground Truth mengharuskan semua bucket S3 memiliki kebijakan CORS yang dilampirkan. Untuk mempelajari selengkapnya, lihat [Persyaratan CORS untuk Data Gambar Input](sms-cors-update.md).
Setelah mengonfigurasi bucket Amazon S3 dan membuat tugas pelabelan, Anda dapat menambahkan objek ke bucket dan Ground Truth mengirimkan objek tersebut ke pekerja atau menempatkannya di antrian Amazon SQS Anda.
Untuk mempelajari selengkapnya, lihat [Membuat notifikasi peristiwa bucket berbasis Amazon S3 berdasarkan Amazon SNS yang ditentukan dalam pekerjaan pelabelan](sms-streaming-s3-setup.md).
**penting**
Opsi ini tidak tersedia untuk pekerjaan pelabelan berbasis teks seperti klasifikasi teks dan pengenalan entitas bernama.
# Mengelola permintaan pelabelan dengan antrian Amazon SQS
Saat Ground Truth membuat pekerjaan pelabelan streaming Anda, itu membuat antrian Amazon SQS di AWS akun yang digunakan untuk membuat pekerjaan pelabelan. Nama antrian adalah `GroundTruth-labeling_job_name` di mana `labeling_job_name` adalah nama pekerjaan pelabelan Anda, dalam huruf kecil. Saat Anda mengirim objek data ke pekerjaan pelabelan Anda, Ground Truth mengirimkan objek data langsung ke pekerja atau menempatkan tugas dalam antrian Anda untuk diproses di lain waktu. Jika objek data tidak dikirim ke pekerja setelah 14 hari, itu kedaluwarsa dan dihapus dari antrian. Anda dapat mengatur alarm di Amazon SQS untuk mendeteksi kapan objek kedaluwarsa dan menggunakan mekanisme ini untuk mengontrol volume objek yang Anda kirim ke pekerjaan pelabelan Anda.
**penting**
Memodifikasi, menghapus, atau mengirim objek langsung ke antrean Amazon SQS yang terkait dengan pekerjaan pelabelan streaming Anda dapat menyebabkan kegagalan pekerjaan.
# Menerima data keluaran dari pekerjaan pelabelan streaming
Bucket keluaran Amazon S3 Anda diperbarui secara berkala dengan data keluaran baru dari pekerjaan pelabelan streaming Anda. Secara opsional, Anda dapat menentukan topik keluaran Amazon SNS. Setiap kali seorang pekerja mengirimkan objek berlabel, pemberitahuan dengan data keluaran dikirim ke topik itu. Anda dapat berlangganan titik akhir ke topik keluaran SNS Anda untuk menerima pemberitahuan atau memicu peristiwa saat Anda menerima data keluaran dari tugas pelabelan. Gunakan topik keluaran Amazon SNS jika Anda ingin melakukan chaining waktu nyata ke pekerjaan streaming lain dan menerima notifikasi Amazon SNS setiap kali objek data dikirimkan oleh pekerja.
Untuk mempelajari selengkapnya, lihat [Berlangganan Endpoint ke Topik Output Amazon SNS Anda](sms-create-sns-input-topic.md#sms-streaming-subscribe-output-topic).
# Penanganan pesan duplikat
Untuk objek data yang dikirim secara real time, Ground Truth menjamin idempotensi dengan memastikan setiap objek unik hanya dikirim untuk pelabelan sekali, bahkan jika pesan input yang mengacu pada objek tersebut diterima beberapa kali (pesan duplikat). *Untuk melakukan ini, setiap objek data yang dikirim ke pekerjaan pelabelan streaming diberi *ID deduplikasi*, yang diidentifikasi dengan kunci deduplikasi.* Jika Anda mengirim permintaan untuk memberi label objek data secara langsung melalui topik masukan Amazon SNS menggunakan pesan Amazon SNS, Anda dapat memilih kunci deduplikasi khusus dan deduplikasi untuk objek Anda. IDs Untuk informasi selengkapnya, lihat [Tentukan kunci deduplikasi dan ID dalam pesan Amazon SNS](sms-streaming-impotency-create.md).
Jika Anda tidak memberikan kunci deduplikasi Anda sendiri, atau jika Anda menggunakan konfigurasi Amazon S3 untuk mengirim objek data ke pekerjaan pelabelan Anda, Ground Truth menggunakan salah satu dari berikut ini untuk ID deduplikasi:
+ Untuk pesan yang dikirim langsung ke topik input Amazon SNS Anda, Ground Truth menggunakan ID pesan SNS.
+ [Untuk pesan yang berasal dari konfigurasi Amazon S3, Ground Truth membuat ID deduplikasi dengan menggabungkan URI Amazon S3 objek dengan token sequencer dalam pesan.](https://docs.aws.amazon.com/AmazonS3/latest/dev/notification-content-structure.html)
# Tentukan kunci deduplikasi dan ID dalam pesan Amazon SNS
Saat mengirim objek data ke pekerjaan pelabelan streaming menggunakan pesan Amazon SNS, Anda memiliki opsi untuk menentukan kunci deduplikasi dan ID deduplikasi dengan salah satu cara berikut. Dalam semua skenario ini, identifikasi kunci deduplikasi Anda dengan. `dataset-objectid-attribute-name`
**Bawa Kunci Deduplikasi dan ID Anda Sendiri**
Buat kunci deduplikasi dan ID deduplikasi Anda sendiri dengan mengonfigurasi pesan Amazon SNS Anda sebagai berikut. Ganti `byo-key` dengan kunci Anda dan `UniqueId` dengan ID deduplikasi untuk objek data tersebut.
```
{
"source-ref":"s3://amzn-s3-demo-bucket/prefix/object1",
"dataset-objectid-attribute-name":"byo-key",
"byo-key":"UniqueId"
}
```
Kunci deduplikasi Anda bisa sampai 140 karakter. Pola yang didukung meliputi:`"^[$a-zA-Z0-9](-*[a-zA-Z0-9])*"`.
ID deduplikasi Anda dapat mencapai 1.024 karakter. Pola yang didukung meliputi:`^(https|s3)://([^/]+)/?(.*)$`.
**Gunakan Kunci yang Ada untuk Kunci Deduplikasi Anda**
Anda dapat menggunakan kunci yang ada dalam pesan Anda sebagai kunci deduplikasi. Ketika Anda melakukan ini, nilai yang terkait dengan kunci tersebut digunakan untuk ID deduplikasi.
Misalnya, Anda dapat menentukan gunakan `source-ref` kunci sebagai kunci deduplikasi Anda dengan memformat pesan Anda sebagai berikut:
```
{
"source-ref":"s3://amzn-s3-demo-bucket/prefix/object1",
"dataset-objectid-attribute-name":"source-ref"
}
```
Dalam contoh ini, Ground Truth menggunakan `"s3://amzn-s3-demo-bucket/prefix/object1"` id deduplikasi.
# Temukan kunci deduplikasi dan ID dalam data keluaran Anda
Anda dapat melihat kunci deduplikasi dan ID dalam data output Anda. Kunci deduplikasi diidentifikasi oleh. `dataset-objectid-attribute-name` Bila Anda menggunakan kunci deduplikasi kustom Anda sendiri, output Anda berisi sesuatu yang mirip dengan berikut ini:
```
"dataset-objectid-attribute-name": "byo-key",
"byo-key": "UniqueId",
```
Bila Anda tidak menentukan kunci, Anda dapat menemukan ID deduplikasi yang Ground Truth ditetapkan ke objek data Anda sebagai berikut. `$label-attribute-name-object-id`Parameter mengidentifikasi ID deduplikasi Anda.
```
{
"source-ref":"s3://bucket/prefix/object1",
"dataset-objectid-attribute-name":"$label-attribute-name-object-id"
"label-attribute-name" :0,
"label-attribute-name-metadata": {...},
"$label-attribute-name-object-id":""
}
```
Sebab``, jika objek data datang melalui konfigurasi Amazon S3, Ground Truth menambahkan nilai unik yang digunakan oleh layanan dan memancarkan bidang baru yang dikunci yang menunjukkan sequencer Amazon S3 `$sequencer` yang digunakan. Jika objek diumpankan ke SNS secara langsung, Ground Truth menggunakan ID pesan SNS.
**catatan**
Jangan gunakan `$` karakter dalam nama atribut label Anda.