Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # TwelveLabs Marengo Sematkan 3.0 TwelveLabs Marengo Embed 3.0Model ini menghasilkan penyematan yang disempurnakan dari input video, teks, audio, gambar, atau multi-input (teks dengan banyak gambar). Versi terbaru ini menawarkan peningkatan kinerja dan akurasi untuk pencarian kesamaan, pengelompokan, dan tugas pembelajaran mesin lainnya. + Penyedia — TwelveLabs + ID Model — twelvelabs.marengo-embed-3-0-v1:0 Marengo Embed 3.0 memberikan beberapa penyempurnaan utama: + **Kapasitas pemrosesan video yang diperpanjang** - Memproses hingga 4 jam konten video dan audio. File dapat mencapai 6 GB, yang merupakan dua kali lipat kapasitas versi sebelumnya. Ini membuatnya ideal untuk menganalisis acara olahraga penuh, video pelatihan yang diperpanjang, dan produksi film lengkap. + **Analisis olahraga yang ditingkatkan** — Model ini memberikan peningkatan yang signifikan. Ini memberikan pemahaman yang lebih baik tentang dinamika gameplay, gerakan pemain, dan deteksi peristiwa. + **Dukungan multibahasa global** - Kemampuan bahasa yang diperluas dari 12 hingga 36 bahasa. Hal ini memungkinkan organisasi global untuk membangun sistem pencarian dan pengambilan terpadu yang bekerja dengan mulus di berbagai wilayah dan pasar. + **Presisi pencarian multimodal** - Gabungkan gambar dan teks deskriptif dalam satu permintaan penyematan. Ini menggabungkan kesamaan visual dengan pemahaman semantik untuk memberikan hasil pencarian yang lebih akurat dan relevan secara kontekstual. + **Mengurangi dimensi embedding** - Dikurangi dari 1024 menjadi 512, yang dapat membantu mengurangi biaya penyimpanan. TwelveLabs Marengo Embed 3.0Model ini mendukung operasi Amazon Bedrock Runtime dalam tabel berikut. + Untuk informasi selengkapnya tentang kasus penggunaan untuk metode API yang berbeda, lihat[Membuat permintaan inferensi](inference.md). + Untuk informasi selengkapnya tentang jenis model, lihat[Membuat permintaan inferensi](inference.md). + Untuk daftar ID model dan untuk melihat model dan AWS Wilayah TwelveLabs Marengo Embed 3.0 yang didukung, cari model dalam tabel di[Model pondasi yang didukung di Amazon Bedrock](models-supported.md). + Untuk daftar lengkap ID profil inferensi, lihat[Wilayah dan model yang Didukung untuk profil inferensi](inference-profiles-support.md). ID profil inferensi didasarkan pada AWS Wilayah. **** | Operasi API | Jenis model yang didukung | Modalitas masukan | Modalitas keluaran | | --- | --- | --- | --- | | InvokeModel | US East (Virginia N.) — [Model dasar dan profil](models-supported.md) [Inferensi](inference-profiles-support.md)
Eropa (Irlandia) [— Profil inferensi](inference-profiles-support.md)
Asia Pasifik (Seoul) - [Model dasar](models-supported.md) | Teks
Citra
Multi-input (teks dengan banyak gambar)
**Catatan:** Teks dan gambar yang disisipkan juga didukung. | Menyematkan | | StartAsyncInvoke | AS Timur (Virginia N.) — Model [dasar](models-supported.md)
Eropa (Irlandia) [— Model dasar](models-supported.md)
Asia Pasifik (Seoul) - [Model dasar](models-supported.md) | Video
Audio
Citra
Teks
Multi-input (teks dengan banyak gambar)
**Catatan:** Teks dan gambar yang disisipkan juga didukung. | Menyematkan | **catatan** Gunakan `InvokeModel` untuk menghasilkan embeddings untuk kueri penelusuran. Gunakan `StartAsyncInvoke` untuk menghasilkan embeddings untuk aset dalam skala besar. Kuota berikut berlaku untuk input: **** | Modalitas masukan | Maksimum | | --- | --- | | Teks | 500 token | | Citra | 5 MB per gambar | | Video (S3) | 6 GB, panjang 4 jam | | Audio (S3) | 6 GB, panjang 4 jam | **catatan** Jika Anda menentukan audio atau video sebaris menggunakan pengkodean base64-, pastikan payload isi permintaan tidak melebihi kuota pemanggilan model Amazon Bedrock 25 MB. **Topics** + [TwelveLabs Marengo Sematkan 3.0 parameter permintaan](#model-parameters-marengo-3-async-request) + [TwelveLabs Marengo Sematkan 3.0 response](#model-parameters-marengo-3-response) + [TwelveLabs Marengo Sematkan 3.0 contoh kode](#model-parameters-marengo-3-examples) ## TwelveLabs Marengo Sematkan 3.0 parameter permintaan Saat Anda membuat permintaan, bidang di mana input khusus model ditentukan bergantung pada operasi API: + [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)- Dalam permintaan`body`. + [StartAsyncInvoke](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_StartAsyncInvoke.html)— Di `modelInput` bidang badan permintaan. Format input model tergantung pada modalitas input: ------ #### [ Text ] ``` { "inputType": "text", "text": { "inputText": "{{string}}" } } ``` ------ #### [ Image ] ``` { "inputType": "image", "image": { "mediaSource": { "base64String": "{{base64-encoded string}}", // base64String OR s3Location, exactly one "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/folder/dog.jpg", "bucketOwner": "{{123456789012}}" } } } } ``` ------ #### [ Text & image ] ``` { "inputType": "text_image", "text_image": { "inputText": "man walking a dog", "mediaSource": { "base64String": "{{base64-encoded string}}", // base64String OR s3Location, exactly one "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/folder/dog.jpg", "bucketOwner": "{{123456789012}}" } } } } ``` ------ #### [ Audio ] ``` { "inputType": "audio", "audio": { "mediaSource": { "base64String": "{{base64-encoded string}}", // base64String OR s3Location, exactly one "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/audio/a.wav", "bucketOwner": "{{123456789012}}" } }, "startSec": 0, "endSec": 6, "segmentation": { "method": "fixed", "fixed": { "durationSec": 6 } }, "embeddingOption": [ "audio", "transcription" ], // optional, default=both "embeddingType": [ "separate_embedding" ], // optional, default=["separate_embedding"] "embeddingScope": [ "clip", "asset" ] // optional, one or both } } ``` ------ #### [ Video ] ``` { "inputType": "video", "video": { "mediaSource": { "base64String": "{{base64-encoded string}}", // base64String OR s3Location, exactly one "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/video/clip.mp4", "bucketOwner": "{{123456789012}}" } }, "startSec": 0, "endSec": 6, "segmentation": { "method": "dynamic", // dynamic OR fixed, exactly one "dynamic": { "minDurationSec": 4 } "method": "fixed", "fixed": { "durationSec": 6 } }, "embeddingOption": [ "visual", "audio", "transcription" ], // optional, default=all "embeddingType": [ "separate_embedding" ], // optional, default=["separate_embedding"] "embeddingScope": [ "clip", "asset" ] // optional, one or both } } ``` ------ #### [ Multi-input ] ``` { "inputType": "multi_input", "multi_input": { "inputText": "<@img1> walking a dog with <@img2>", // optional "mediaSources": [ { "name": "img1", // required if inputText uses <@name> placeholders "mediaType": "image", "base64String": "{{base64-encoded string}}", // base64String OR s3Location, exactly one "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/images/person.jpg", "bucketOwner": "{{123456789012}}" } }, { "name": "img2", "mediaType": "image", "base64String": "{{base64-encoded string}}", // base64String OR s3Location, exactly one "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/images/dog.jpg", "bucketOwner": "{{123456789012}}" } } ] } } ``` ------ Perluas bagian berikut untuk detail tentang parameter input: ### inputType Modalitas untuk penyematan. + **Tipe**: String + **Wajib**: Ya + **Nilai yang valid:** `text` `image` \| `text_image` \| `audio` \| `video` \| `multi_input` ### InputTeks Teks yang akan disematkan. + **Tipe**: String + **Diperlukan:** Ya (untuk jenis input yang kompatibel) + **Jenis masukan yang kompatibel:** Teks ### MediaSource Berisi informasi tentang sumber media. + **Jenis:** Objek + **Diperlukan:** Ya (jika tipe kompatibel) + **Jenis input yang kompatibel:** Gambar, Video, Audio Format `mediaSource` objek dalam badan permintaan tergantung pada apakah media didefinisikan sebagai Base64-encoded string atau sebagai lokasi S3. + **Base64-encoded tali** ``` { "mediaSource": { "base64String": "base64-encoded string" } } ``` + `base64String`— Base64-encoded String untuk media. + **Lokasi S3** — Tentukan URI S3 dan pemilik bucket. ``` { "s3Location": { "uri": "string", "bucketOwner": "string" } } ``` + `uri`— URI S3 yang berisi media. + `bucketOwner`— ID AWS akun pemilik bucket S3. ### EmbeddingOption Menentukan jenis embeddings untuk mengambil. + **Tipe**: Daftar + **Wajib**: Tidak + **Nilai yang valid untuk anggota daftar:** + `visual`— Penyematan visual dari video. + `audio`— Penyematan audio dalam video. + `transcription`— Penyematan teks yang ditranskripsi. + **Nilai default:** + Video: ["visual”, “audio”, “transkripsi"] + Audio: ["audio”, “transkripsi"] + **Jenis input yang kompatibel:** Video, Audio ### EmbeddingScope Menentukan ruang lingkup embeddings untuk mengambil. + **Tipe**: Daftar + **Wajib**: Tidak + **Nilai yang valid untuk anggota daftar:** + `clip`— Mengembalikan embeddings untuk setiap klip. + `asset`— Mengembalikan embeddings untuk seluruh aset. + **Jenis input yang kompatibel:** Video, Audio ### StartSec Titik waktu dalam detik klip tempat pemrosesan harus dimulai. + **Tipe:** Ganda + **Wajib**: Tidak + **Nilai minimum:** 0 + **Nilai default:** 0 + **Jenis input yang kompatibel:** Video, Audio ### EndSec Titik waktu dalam detik di mana pemrosesan harus berakhir. + **Tipe:** Ganda + **Wajib**: Tidak + **Nilai minimum:** StartSec \+ panjang segmen + **Nilai maksimum:** Durasi media + **Nilai default:** Durasi media + **Jenis input yang kompatibel:** Video, Audio ### segmentasi Mendefinisikan bagaimana media dibagi menjadi beberapa segmen untuk pembuatan embedding. + **Jenis:** Objek + **Wajib**: Tidak + **Jenis input yang kompatibel:** Video, Audio Objek segmentasi berisi `method` bidang dan parameter khusus metode: + `method`Metode segmentasi yang digunakan. Nilai yang valid: `dynamic` \| `fixed` + `dynamic`— Untuk video, gunakan deteksi batas bidikan untuk membagi konten secara dinamis. Berisi: + `minDurationSec`— Durasi minimum untuk setiap segmen dalam hitungan detik. Jenis: Integer. Rentang: 1-5. Default: 4. + `fixed`— Membagi konten menjadi segmen dengan durasi yang sama. Berisi: + `durationSec`— Durasi setiap segmen dalam hitungan detik. Jenis: Integer. Rentang: 1-10. Default: 6. **Perilaku default:** + Video: Menggunakan segmentasi dinamis dengan deteksi batas bidikan. + Audio: Menggunakan segmentasi tetap. Konten dibagi serata mungkin dengan segmen mendekati 10 detik. ### multi\_masukan Berisi konfigurasi multi-input untuk menggabungkan teks dengan beberapa gambar dalam satu permintaan penyematan. Gunakan jenis input ini saat Anda ingin membuat embeddings yang menangkap hubungan antara teks dan beberapa gambar. + **Jenis:** Objek + **Diperlukan:** Ya (kapan `inputType``multi_input`) Objek `multi_input` berisi kolom-kolom berikut: + `inputText`— (Opsional) Kueri teks dengan sintaks placeholder. Gunakan `<@name>` untuk referensi sumber media (misalnya,`"<@img1> walking with <@img2>"`). Jika dilengkapi dengan placeholder, masing-masing `<@name>` harus cocok dengan a. `mediaSources[].name` Maksimum: 500 token termasuk placeholder. + `mediaSources`— (Diperlukan) Array objek sumber media. Setiap sumber media berisi data gambar. Array harus berisi setidaknya satu item. + `name`— (Bersyarat) Pengidentifikasi unik untuk sumber media ini. Diperlukan hanya jika `inputText` menggunakan `<@name>` placeholder. Ketika disediakan, harus cocok dengan placeholder di `inputText` (tanpa `<@` dan `>` karakter). + `mediaType`— (Diperlukan) Jenis media. Saat ini hanya mendukung `"image"`. + `base64String`— muatan Base64-encoded gambar. Maksimum: 5 MB per gambar. Berikan persis salah satu `base64String` atau`s3Location`. + `s3Location`— Objek lokasi S3 yang berisi `uri` (S3 URI) dan `bucketOwner` (12 digit ID AWS akun). Maksimum: 5 MB per gambar. Berikan persis salah satu `base64String` atau`s3Location`. **Pemesanan media:** + Jika `inputText` berisi `<@name>` placeholder, pesanan ditentukan oleh urutan placeholder di. `inputText` + Jika `inputText` dihilangkan atau kosong, urutan default ke urutan array. `mediaSources` ### EmbeddingType Mengontrol bagaimana penyematan dikumpulkan di seluruh modalitas. + **Tipe**: Daftar + **Wajib**: Tidak + **Nilai yang valid untuk anggota daftar:** + `separate_embedding`— Mengembalikan embeddings untuk setiap modalitas secara terpisah (visual, audio, transkripsi). + `fused_embedding`— Mengembalikan fusi tertimbang dari beberapa modalitas embedding. + **Nilai default:** ["separate\_embedding"] + **Jenis input yang kompatibel:** Video, Audio **Kendala:** + Untuk video: `fused_embedding` membutuhkan setidaknya 2 jenis penyematan di`embeddingOption`. + Untuk audio: `fused_embedding` membutuhkan keduanya `audio` dan `transcription` masuk`embeddingOption`. ### InferenceID Pengidentifikasi unik untuk permintaan inferensi. + **Tipe**: String + **Wajib**: Tidak ## TwelveLabs Marengo Sematkan 3.0 response Lokasi embeddings output dan metadata terkait tergantung pada metode pemanggilan: + InvokeModel Dalam tubuh respon. + StartAsyncInvoke — Dalam bucket S3 yang ditentukan dalam`s3OutputDataConfig`, setelah pekerjaan pemanggilan asinkron selesai. Jika ada beberapa vektor embeddings, outputnya adalah daftar objek, masing-masing berisi vektor dan metadata terkait. Format vektor embeddings output adalah sebagai berikut: ``` { "data": { "embedding": [ 0.111, 0.234, ... ], "embeddingOption": ["visual", "audio", "transcription", "fused" (for video input) | "audio", "transcription", "fused" (for audio input)], "embeddingScope": ["asset" | "clip"], "startSec": 0, "endSec": 4.2 } } ``` Embeddings dikembalikan sebagai susunan pelampung. Di mana Anda melihat respons ini bergantung pada metode API yang Anda gunakan: + InvokeModel — Muncul di badan respons. + StartAsyncInvoke — Muncul di lokasi S3 yang Anda tentukan dalam permintaan. Respons mengembalikan sebuah`invocationArn`. Anda dapat menggunakan ini untuk mendapatkan metadata tentang pemanggilan asinkron. Ini termasuk status dan lokasi S3 di mana hasilnya ditulis. Perluas bagian berikut untuk detail tentang parameter respons: ### menyematkan Embeddings vektor representasi input. + **Jenis:** Daftar ganda ### EmbeddingOption Jenis embeddings. + **Tipe**: String + **Nilai yang mungkin:** + visual — Penyematan visual dari video. + audio — Penyematan audio dalam video. + transkripsi — Penyematan teks yang ditranskripsi. + menyatu - Fusi tertimbang dari beberapa jenis penyematan. Hanya dikembalikan ketika `embeddingType` termasuk `"fused_embedding"` dalam permintaan. + **Jenis input yang kompatibel:** Video, Audio **catatan** Tidak berlaku untuk jenis input teks, gambar, text\_image, dan multi\_input. Ini mengembalikan satu penyematan tanpa `embeddingOption` bidang. ### EmbeddingScope Menentukan ruang lingkup embeddings untuk mengambil. + **Tipe**: String Anda dapat menyertakan satu atau lebih dari nilai-nilai berikut: + clip: Mengembalikan embeddings untuk setiap klip. + aset: Mengembalikan embeddings untuk seluruh aset. ### StartSec Offset awal klip. + **Tipe:** Ganda + **Jenis input yang kompatibel:** Video, Audio ### EndSec Offset akhir klip. Tidak berlaku untuk penyematan teks, gambar, text\_image, dan multi\_input. + **Tipe:** Ganda + **Jenis input yang kompatibel:** Video, Audio ## TwelveLabs Marengo Sematkan 3.0 contoh kode Bagian ini menunjukkan cara menggunakan TwelveLabs Marengo Embed 3.0 model dengan tipe input yang berbeda menggunakan Python. Contoh menunjukkan bagaimana mendefinisikan input khusus model dan menjalankan pemanggilan model. **catatan** InvokeModel mendukung teks, gambar, multi-input, dan teks dengan input gambar yang disisipkan. Untuk input video dan audio, gunakan StartAsyncInvoke. Satukan kode Anda dalam langkah-langkah berikut: **1. Tentukan masukan khusus model** Tentukan input khusus model tergantung pada jenis input Anda: ------ #### [ Text ] ``` # Create the model-specific input model_id = "twelvelabs.marengo-embed-3-0-v1:0" # Replace the us prefix depending on your region inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0" model_input = { "inputType": "text", "text": { "inputText": "man walking a dog" } } ``` ------ #### [ Image ] ``` # Create the model-specific input model_id = "twelvelabs.marengo-embed-3-0-v1:0" # Replace the us prefix depending on your region inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0" model_input = { "inputType": "image", "image": { "mediaSource": { "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/my_image.png", "bucketOwner": "{{123456789012}}" } } } } ``` ------ #### [ Text & image ] ``` # Create the model-specific input model_id = "twelvelabs.marengo-embed-3-0-v1:0" # Replace the us prefix depending on your region inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0" model_input = { "inputType": "text_image", "text_image": { "inputText": "man walking a dog", "mediaSource": { "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/my_image.jpg", "bucketOwner": "{{123456789012}}" } } } } ``` ------ #### [ Audio ] ``` # Create the model-specific input model_id = "twelvelabs.marengo-embed-3-0-v1:0" # Replace the us prefix depending on your region inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0" model_input = { "inputType": "audio", "audio": { "mediaSource": { "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/my-audio.wav", "bucketOwner": "{{123456789012}}" } }, "startSec": 0, "endSec": 5, "segmentation": { "method": "fixed", "fixed": { "durationSec": 5 } }, "embeddingScope": ["clip", "asset"], "embeddingOption": ["audio", "transcription"], "embeddingType": ["separate_embedding", "fused_embedding"] } } ``` ------ #### [ Video ] ``` # Create the model-specific input model_id = "twelvelabs.marengo-embed-3-0-v1:0" # Replace the us prefix depending on your region inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0" model_input = { "inputType": "video", "video": { "mediaSource": { "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/my-video.mp4", "bucketOwner": "{{123456789012}}" } }, "startSec": 10, "endSec": 20, "segmentation": { "method": "fixed", "fixed": { "durationSec": 5 } }, "embeddingOption": [ "visual", "audio" ], "embeddingType": ["separate_embedding", "fused_embedding"], "embeddingScope": [ "clip", "asset" ] } } ``` ------ #### [ Multi-input ] ``` # Create the model-specific input model_id = "twelvelabs.marengo-embed-3-0-v1:0" # Replace the us prefix depending on your region inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0" model_input = { "inputType": "multi_input", "multi_input": { "inputText": "<@img1> walking a dog with <@img2>", "mediaSources": [ { "name": "img1", "mediaType": "image", "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/images/person.jpg", "bucketOwner": "{{123456789012}}" } }, { "name": "img2", "mediaType": "image", "s3Location": { "uri": "s3://{{amzn-s3-demo-bucket}}/images/dog.jpg", "bucketOwner": "{{123456789012}}" } } ] } } ``` ------ **2. Jalankan pemanggilan model menggunakan input model** Kemudian, tambahkan cuplikan kode yang sesuai dengan metode pemanggilan model pilihan Anda. ------ #### [ InvokeModel ] ``` # Run model invocation with InvokeModel import boto3 import json # Initialize the Bedrock Runtime client client = boto3.client('bedrock-runtime') # Make the request response = client.invoke_model( modelId=inference_profile_id, body=json.dumps(model_input) ) # Print the response body response_body = json.loads(response['body'].read().decode('utf-8')) print(response_body) ``` ------ #### [ StartAsyncInvoke ] ``` # Run model invocation asynchronously import boto3 import json # Initalize the Bedrock Runtime client. client = boto3.client("bedrock-runtime") try: # Start the asynchronous job invocation = client.start_async_invoke( modelId=model_id, modelInput=model_input, outputDataConfig={ "s3OutputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket" } } ) # Print the response JSON print("Response:") print(json.dumps(invocation, indent=2, default=str)) except Exception as e: # Implement error handling here. message = e.response["Error"]["Message"] print(f"Error: {message}") ``` ------