Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# TwelveLabsmodel
Bagian ini menjelaskan parameter permintaan dan bidang respons untuk TwelveLabs model. Gunakan informasi ini untuk membuat panggilan inferensi ke TwelveLabs model. TwelveLabs Pegasus 1.2Model ini mendukung [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)dan [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)(streaming) operasi. TwelveLabs Marengo Embed 3.0Model TwelveLabs Marengo Embed 2.7 dan mendukung [StartAsyncInvoke](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_StartAsyncInvoke.html)operasi. Bagian ini juga mencakup contoh kode yang menunjukkan cara memanggil TwelveLabs model. Untuk menggunakan model dalam operasi inferensi, Anda memerlukan ID model untuk model tersebut. Untuk mendapatkan ID model, lihat[Model pondasi yang didukung di Amazon Bedrock](models-supported.md).
TwelveLabsadalah penyedia terkemuka model AI multimodal yang mengkhususkan diri dalam pemahaman dan analisis video. Model canggih mereka memungkinkan pencarian video yang canggih, analisis, dan kemampuan pembuatan konten melalui visi state-of-the-art komputer dan teknologi pemrosesan bahasa alami.
Amazon Bedrock menawarkan tiga TwelveLabs model:
+ TwelveLabs Pegasus 1.2memberikan pemahaman dan analisis video yang komprehensif.
+ TwelveLabs Marengo Embed 2.7menghasilkan embeddings berkualitas tinggi untuk konten video, teks, audio, dan gambar.
+ TwelveLabs Marengo Embed 3.0adalah model embedding terbaru dengan peningkatan kinerja dan kemampuan.
Model-model ini membantu Anda membangun aplikasi yang memproses, menganalisis, dan memperoleh wawasan dari data video dalam skala besar.
**TwelveLabs Pegasus 1.2**
Model multimodal yang memberikan pemahaman dan kemampuan analisis video yang komprehensif, termasuk pengenalan konten, deteksi adegan, dan pemahaman kontekstual. Model ini dapat menganalisis konten video dan menghasilkan deskripsi tekstual, wawasan, dan jawaban atas pertanyaan tentang video.
**TwelveLabs Marengo Embed 2.7**
Model penyematan multimodal yang menghasilkan representasi vektor berkualitas tinggi dari konten video, teks, audio, dan gambar untuk pencarian kesamaan, pengelompokan, dan tugas pembelajaran mesin lainnya. Model ini mendukung beberapa modalitas input dan menyediakan penyematan khusus yang dioptimalkan untuk kasus penggunaan yang berbeda.
**TwelveLabs Marengo Embed 3.0**
Model penyematan multimodal yang disempurnakan yang memperluas kemampuan Marengo 2.7 dengan dukungan untuk modalitas input interleaved teks dan gambar. Model ini menghasilkan representasi vektor berkualitas tinggi dari video, teks, audio, gambar, dan konten gambar teks yang disisipkan untuk pencarian kesamaan, pengelompokan, dan tugas pembelajaran mesin lainnya.
**Topics**
+ [TwelveLabs Pegasus 1.2](model-parameters-pegasus.md)
+ [TwelveLabs Marengo Embed 2.7](model-parameters-marengo.md)
+ [TwelveLabs Marengo Embed 3.0](model-parameters-marengo-3.md)
# TwelveLabs Pegasus 1.2
TwelveLabs Pegasus 1.2Model ini memberikan pemahaman video yang komprehensif dan kemampuan analisis. Ini dapat menganalisis konten video dan menghasilkan deskripsi tekstual, wawasan, dan jawaban atas pertanyaan tentang video.
Gunakan informasi ini untuk membuat panggilan inferensi ke TwelveLabs model dengan operasi InvokeModel, InvokeModelWithResponseStream (streaming).
+ Penyedia — TwelveLabs
+ Kategori - Pemahaman video, analisis konten
+ ID Model — `twelvelabs.pegasus-1-2-v1:0`
+ Modalitas masukan - Video
+ Modalitas keluaran - Teks
+ Ukuran video maksimal - video berdurasi 1 jam (
Tabel berikut menjelaskan parameter input untuk TwelveLabs Pegasus 1.2 model:
**TwelveLabs Pegasus 1.2parameter permintaan**
| Bidang | Jenis | Diperlukan | Deskripsi |
| --- | --- | --- | --- |
| inputPrompt | string | Ya | Prompt untuk menganalisis video. Maks: 2000 token. |
| temperature | double | Tidak | Suhu untuk model. Mengontrol keacakan dalam output. Default: 0,2, Min: 0, Maks: 1. |
| responseFormat | Objek | Tidak | Memungkinkan pengguna menentukan format output terstruktur. Saat ini hanya mendukung json\$1schema. |
| mediaSource | object | Ya | Menjelaskan sumber media. Entah base64String atau s3Location harus disediakan. |
| mediaSource.base64String | string | Tidak | Base64 mengkodekan string byte untuk video. Maks: 25MB. |
| mediaSource.s3Location.uri | string | Tidak | S3 URI tempat video dapat diunduh. Maks: Video berdurasi 1 jam (
Tabel berikut menjelaskan bidang output untuk TwelveLabs Pegasus 1.2 model:
**TwelveLabs Pegasus 1.2 bidang respons**
| Bidang | Tipe | Deskripsi |
| --- | --- | --- |
| message | string | Pesan keluaran yang berisi analisis model video. |
| finishReason | string | Hentikan alasan yang menjelaskan mengapa output berakhir. Nilai yang valid: stop (API mengembalikan penyelesaian penuh tanpa mencapai batas apa pun), length (pembuatan melebihi batas max\$1tokens). |
## TwelveLabs Pegasus 1.2permintaan dan tanggapan
Contoh berikut menunjukkan cara menggunakan TwelveLabs Pegasus 1.2 model dengan sumber input yang berbeda.
------
#### [ Request ]
Contoh berikut menunjukkan format permintaan untuk TwelveLabs Pegasus 1.2 model.
**Menggunakan video yang dikodekan base64:**
```
{
"inputPrompt": "tell me about the video",
"mediaSource": {
"base64String": ""
},
"temperature": 0
}
```
**Menggunakan video tersimpan S3:**
```
{
"inputPrompt": "Tell me about this video",
"mediaSource": {
"s3Location": {
"uri": "s3://path-to-video-object-in-s3",
"bucketOwner": "bucket-owner-account-id"
}
},
"temperature": 0
}
```
**Menggunakan format output terstruktur:**
```
{
"inputPrompt": "Analyze this video and provide a structured summary",
"mediaSource": {
"s3Location": {
"uri": "s3://path-to-video-object-in-s3",
"bucketOwner": "bucket-owner-account-id"
}
},
"temperature": 0.2,
"maxOutputTokens": 2048,
"responseFormat": {
"type": "json_schema",
"json_schema": {
"name": "video_analysis",
"schema": {
"type": "object",
"properties": {
"summary": {"type": "string"},
"key_scenes": {"type": "array", "items": {"type": "string"}},
"duration": {"type": "string"}
},
"required": ["summary", "key_scenes"]
}
}
}
}
```
------
#### [ Response ]
Contoh berikut menunjukkan format respons dari TwelveLabs Pegasus 1.2 model.
**Tanggapan standar:**
```
{
"message": "This video shows a person walking through a park during sunset. The scene includes trees, a walking path, and golden lighting from the setting sun. The person appears to be enjoying a peaceful evening stroll.",
"finishReason": "stop"
}
```
**Respon dengan output terstruktur:**
```
{
"message": "{\"summary\": \"A peaceful evening walk through a park at sunset\", \"key_scenes\": [\"Person entering the park\", \"Walking along tree-lined path\", \"Sunset lighting through trees\", \"Person sitting on bench\"], \"duration\": \"Approximately 2 minutes\"}",
"finishReason": "stop"
}
```
**Respons saat token maks mencapai:**
```
{
"message": "This video contains multiple scenes showing various activities. The first scene shows...",
"finishReason": "length"
}
```
------
# TwelveLabs Marengo Embed 2.7
TwelveLabs Marengo Embed 2.7Model menghasilkan embeddings dari video, teks, audio, atau input gambar. Embeddings ini dapat digunakan untuk pencarian kesamaan, pengelompokan, dan tugas pembelajaran mesin lainnya.
+ Penyedia — TwelveLabs
+ ID Model — twelvelabs.marengo-embed-2-7-v1:0
TwelveLabs Marengo Embed 2.7Model ini mendukung operasi Amazon Bedrock Runtime dalam tabel berikut.
+ Untuk informasi selengkapnya tentang kasus penggunaan untuk metode API yang berbeda, lihat[Pelajari tentang kasus penggunaan untuk metode inferensi model yang berbedaMetode inferensi yang berbeda](inference-methods.md).
+ Untuk informasi selengkapnya tentang jenis model, lihat[Cara kerja inferensi di Amazon BedrockBagaimana inferensi bekerja](inference-how.md).
+ Untuk daftar model IDs dan untuk melihat model dan AWS Wilayah TwelveLabs Marengo Embed 2.7 yang didukung, cari model dalam tabel di[Model pondasi yang didukung di Amazon Bedrock](models-supported.md).
+ Untuk daftar lengkap profil inferensi IDs, lihat[Wilayah dan model yang Didukung untuk profil inferensi](inference-profiles-support.md). ID profil inferensi didasarkan pada AWS Wilayah.
****
| Operasi API | Jenis model yang didukung | Modalitas masukan | Modalitas keluaran |
| --- | --- | --- | --- |
| InvokeModel | [Profil inferensi](inference-profiles-support.md) | Teks Citra | Menyematkan |
| StartAsyncInvoke | [Model dasar](models-supported.md) | Video Audio Citra Teks | Menyematkan |
**catatan**
Gunakan `InvokeModel` untuk menghasilkan embeddings untuk kueri penelusuran. Gunakan `StartAsyncInvoke` untuk menghasilkan embeddings untuk aset dalam skala besar.
Kuota berikut berlaku untuk input:
****
| Modalitas masukan | Maksimum |
| --- | --- |
| Teks | 77 token |
| Citra | 5 MB |
| Video (S3) | 2 GB |
| Audio (S3) | 2 GB |
**catatan**
Jika Anda menentukan audio atau video sebaris menggunakan pengkodean base64-, pastikan payload isi permintaan tidak melebihi kuota pemanggilan model Amazon Bedrock 25 MB.
**Topics**
+ [TwelveLabs Marengo Embed 2.7parameter permintaan](#model-parameters-marengo-async-request)
+ [TwelveLabs Marengo Embed 2.7respon](#model-parameters-marengo-response)
+ [TwelveLabs Marengo Embed 2.7contoh kode](#model-parameters-marengo-examples)
## TwelveLabs Marengo Embed 2.7parameter permintaan
Saat Anda membuat permintaan, bidang di mana input khusus model ditentukan bergantung pada operasi API:
+ [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)- Dalam permintaan`body`.
+ [StartAsyncInvoke](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_StartAsyncInvoke.html)— Di `modelInput` bidang badan permintaan.
Format input model tergantung pada modalitas input:
------
#### [ Text ]
```
{
"inputType": "text",
"inputText": "string",
"textTruncate": "string
}
```
------
#### [ Inline image ]
```
{
"inputType": "image",
"mediaSource": {
"base64String": "base64-encoded string"
}
}
```
------
#### [ S3 image ]
```
{
"inputType": "image",
"mediaSource": {
"s3Location": {
"uri": "string",
"bucketOwner": "string"
}
}
}
```
------
#### [ Inline video ]
```
{
"inputType": "video",
"mediaSource": {
"s3Location": {
"base64String": "base64-encoded string"
}
},
"startSec": double,
"lengthSec": double,
"useFixedLengthSec": double,
"embeddingOption": "visual-text" | "visual-image" | "audio"
}
```
------
#### [ S3 video ]
```
{
"inputType": "image",
"mediaSource": {
"s3Location": {
"uri": "string",
"bucketOwner": "string"
}
},
"startSec": double,
"lengthSec": double,
"useFixedLengthSec": double,
"minClipSec": int,
"embeddingOption": ["string"]
}
```
------
#### [ Inline audio ]
```
{
"inputType": "audio",
"mediaSource": {
"base64String": "base64-encoded string"
},
"startSec": double,
"lengthSec": double,
"useFixedLengthSec": double
}
```
------
#### [ S3 audio ]
```
{
"inputType": "audio",
"mediaSource": {
"s3Location": {
"uri": "string",
"bucketOwner": "string"
}
},
"startSec": double,
"lengthSec": double,
"useFixedLengthSec": double
}
```
------
Perluas bagian berikut untuk detail tentang parameter input:
### inputType
Modalitas untuk penyematan.
+ **Tipe**: String
+ **Wajib**: Ya
+ **Nilai yang valid:** `video` \$1 `text` \$1 `audio` \$1 `image`
### InputTeks
Teks yang akan disematkan.
+ **Tipe**: String
+ **Diperlukan:** Ya (untuk jenis input yang kompatibel)
+ **Jenis masukan yang kompatibel:** Teks
### TextTruncate
Menentukan bagaimana platform memotong teks.
+ **Tipe**: String
+ **Wajib**: Tidak
+ **Nilai yang valid:**
+ `end`— Memotong akhir teks.
+ `none`— Mengembalikan kesalahan jika teks melebihi batas
+ **Nilai default:** akhir
+ **Jenis masukan yang kompatibel:** Teks
### MediaSource
Berisi informasi tentang sumber media.
+ **Jenis:** Objek
+ **Diperlukan:** Ya (jika tipe kompatibel)
+ **Jenis input yang kompatibel:** Gambar, Video, Audio
Format `mediaSource` objek dalam badan permintaan tergantung pada apakah media didefinisikan sebagai string yang dikodekan Base64 atau sebagai lokasi S3.
+ **String yang dikodekan Base64**
```
{
"mediaSource": {
"base64String": "base64-encoded string"
}
}
```
+ `base64String`— String yang dikodekan Base64 untuk media.
+ **Lokasi S3** — Tentukan URI S3 dan pemilik bucket.
```
{
"s3Location": {
"uri": "string",
"bucketOwner": "string"
}
}
```
+ `uri`— URI S3 yang berisi media.
+ `bucketOwner`— ID AWS akun pemilik bucket S3.
### EmbeddingOption
Menentukan jenis embeddings untuk mengambil.
+ **Tipe**: Daftar
+ **Wajib**: Tidak
+ **Nilai yang valid untuk anggota daftar:**
+ `visual-text`— Penyematan visual yang dioptimalkan untuk pencarian teks.
+ `visual-image`- Penyematan visual yang dioptimalkan untuk pencarian gambar.
+ `audio`— Penyematan audio dalam video.
+ **Nilai default:** ["visual-text”, “visual-image”, “audio"]
+ **Jenis input yang kompatibel:** Video, Audio
### StartSec
Titik waktu dalam detik klip tempat pemrosesan harus dimulai.
+ **Tipe:** Ganda
+ **Wajib**: Tidak
+ **Nilai minimum:** 0
+ **Nilai default:** 0
+ **Jenis input yang kompatibel:** Video, Audio
### PanjangSec
Waktu dalam hitungan detik, dihitung dari titik `startSec` waktu, setelah itu pemrosesan harus berhenti.
+ **Tipe:** Ganda
+ **Wajib**: Tidak
+ **Nilai yang valid:** 0 - Durasi media
+ **Nilai default:** Durasi media
+ **Jenis input yang kompatibel:** Video, Audio
Contoh:
+ StartSec: 5
+ PanjangSec: 20
+ Hasil: Klip diproses dari 0:05 hingga 0:25 (5 detik\$120 detik).
### useFixedLengthSec
Durasi setiap klip yang modelnya harus menghasilkan penyematan.
+ **Tipe:** Ganda
+ **Wajib**: Tidak
+ **Parameter nilai:** 2 - 10. Harus lebih besar dari atau sama dengan`minClipSec`.
+ **Nilai default:** Tergantung pada jenis media:
+ **Video:** Dibagi secara dinamis dengan deteksi batas tembakan.
+ **Audio:** Dibagi secara merata dengan segmen sedekat mungkin dengan 10 detik.
Contoh:
+ Klip 50 detik dibagi menjadi 5 segmen 10 detik.
+ Klip 16 detik dibagi menjadi 2 segmen 8 detik.
+ **Jenis input yang kompatibel:** - Video, Audio
+ **Catatan:** Harus lebih besar dari atau sama dengan`minClipSec`.
### minClipSec
Menetapkan nilai minimum untuk setiap klip dalam hitungan detik.
+ **Jenis:** int
+ **Wajib**: Tidak
+ **Parameter nilai:** Rentang: 1-5
+ **Nilai default:** 4
+ **Jenis input yang kompatibel:** Video
+ **Catatan:** Harus kurang dari atau sama dengan`useFixedLengthSec`.
## TwelveLabs Marengo Embed 2.7respon
Lokasi embeddings output dan metadata terkait tergantung pada metode pemanggilan:
+ [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)Dalam tubuh respon.
+ [StartAsyncInvoke](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_StartAsyncInvoke.html)— Dalam bucket S3 yang ditentukan dalam`s3OutputDataConfig`, setelah pekerjaan pemanggilan asinkron selesai.
Jika ada beberapa vektor embeddings, outputnya adalah daftar objek, masing-masing berisi vektor dan metadata terkait.
Format vektor embeddings output adalah sebagai berikut:
```
{
"embedding": ["string"],
"embeddingOption": "visual-text" | "visual-image" | "audio",
"startSec": double,
"endsec": double
}
```
Perluas bagian berikut untuk detail tentang parameter respons:
### menyematkan
Embeddings vektor representasi input.
+ **Jenis:** Daftar ganda
### EmbeddingOption
Jenis embeddings.
+ **Tipe**: String
+ **Nilai yang mungkin:**
+ `visual-text`— Penyematan visual yang dioptimalkan untuk pencarian teks.
+ `visual-image`- Penyematan visual yang dioptimalkan untuk pencarian gambar.
+ `audio`— Penyematan audio dalam video.
+ **Jenis input yang kompatibel:** Video
### StartSec
Offset awal klip.
+ **Tipe:** Ganda
+ **Jenis input yang kompatibel:** Video, Audio
### EndSec
Offset akhir klip, dalam hitungan detik.
+ **Tipe:** Ganda
+ **Jenis input yang kompatibel:** Video, Audio
## TwelveLabs Marengo Embed 2.7contoh kode
Bagian ini menunjukkan cara menggunakan TwelveLabs Marengo Embed 2.7 model dengan tipe input yang berbeda menggunakan Python. Contoh menunjukkan bagaimana mendefinisikan input khusus model dan menjalankan pemanggilan model.
**catatan**
InvokeModel hanya mendukung input teks dan gambar. Untuk input video dan audio, gunakan StartAsyncInvoke.
Satukan kode Anda dalam langkah-langkah berikut:
**1. Tentukan masukan khusus model**
Tentukan input khusus model tergantung pada jenis input Anda:
------
#### [ Text ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-2-7-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-2-7-v1:0"
model_input = {
"inputType": "text",
"inputText": "man walking a dog"
}
```
------
#### [ Inline image ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-2-7-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-2-7-v1:0"
model_input = {
"inputType": "image",
"mediaSource": {
"base64String": "example-base64-image"
}
}
```
------
#### [ S3 image ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-2-7-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-2-7-v1:0"
model_input = {
"inputType": "image",
"mediaSource": {
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/my_image.png",
"bucketOwner": "123456789012"
}
}
}
```
------
#### [ Inline video ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-2-7-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-2-7-v1:0"
model_input = {
"inputType": "video",
"mediaSource": {
"base64String": "base_64_encoded_string_of_video"
},
"startSec": 0,
"lengthSec": 13,
"useFixedLengthSec": 5,
"embeddingOption": [
"visual-text",
"audio"
]
}
```
------
#### [ S3 video ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-2-7-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-2-7-v1:0"
model_input = {
"inputType": "video",
"mediaSource": {
"s3Location": {
"uri": "amzn-s3-demo-bucket/my-video.mp4",
"bucketOwner": "123456789012"
}
},
"startSec": 0,
"lengthSec": 13,
"useFixedLengthSec": 5,
"embeddingOption": [
"visual-text",
"audio"
]
}
```
------
#### [ Inline audio ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-2-7-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-2-7-v1:0"
model_input = {
"inputType": "audio",
"mediaSource": {
"base64String": "base_64_encoded_string_of_audio"
},
"startSec": 0,
"lengthSec": 13,
"useFixedLengthSec": 10
}
```
------
#### [ S3 audio ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-2-7-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-2-7-v1:0"
model_input = {
"inputType": "audio",
"mediaSource": {
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/my-audio.wav",
"bucketOwner": "123456789012"
}
},
"startSec": 0,
"lengthSec": 13,
"useFixedLengthSec": 10
}
```
------
**2. Jalankan pemanggilan model menggunakan input model**
Kemudian, tambahkan cuplikan kode yang sesuai dengan metode pemanggilan model pilihan Anda.
------
#### [ InvokeModel ]
```
# Run model invocation with InvokeModel
import boto3
import json
# Initialize the Bedrock Runtime client
client = boto3.client('bedrock-runtime')
# Make the request
response = client.invoke_model(
modelId=inference_profile_id,
body=json.dumps(model_input)
)
# Print the response body
response_body = json.loads(response['body'].read().decode('utf-8'))
print(response_body)
```
------
#### [ StartAsyncInvoke ]
```
# Run model invocation asynchronously
import boto3
import json
# Initalize the Bedrock Runtime client.
client = boto3.client("bedrock-runtime")
try:
# Start the asynchronous job
invocation = client.start_async_invoke(
modelId=model_id,
modelInput=model_input,
outputDataConfig={
"s3OutputDataConfig": {
"s3Uri": "s3://&example-s3-destination-bucket;"
}
}
)
# Print the response JSON
print("Response:")
print(json.dumps(invocation, indent=2, default=str))
except Exception as e:
# Implement error handling here.
message = e.response["Error"]["Message"]
print(f"Error: {message}")
```
------
# TwelveLabs Marengo Embed 3.0
TwelveLabs Marengo Embed 3.0Model ini menghasilkan penyematan yang disempurnakan dari input video, teks, audio, atau gambar. Versi terbaru ini menawarkan peningkatan kinerja dan akurasi untuk pencarian kesamaan, pengelompokan, dan tugas pembelajaran mesin lainnya.
+ Penyedia — TwelveLabs
+ ID Model — twelvelabs.marengo-embed-3-0-v1:0
Marengo Embed 3.0 memberikan beberapa penyempurnaan utama:
+ **Kapasitas pemrosesan video yang diperluas** - Memproses hingga 4 jam konten video dan audio. File dapat mencapai 6 GB, yang merupakan dua kali lipat kapasitas versi sebelumnya. Ini membuatnya ideal untuk menganalisis acara olahraga penuh, video pelatihan yang diperpanjang, dan produksi film lengkap.
+ **Analisis olahraga yang ditingkatkan** — Model ini memberikan peningkatan yang signifikan. Ini memberikan pemahaman yang lebih baik tentang dinamika gameplay, gerakan pemain, dan deteksi peristiwa.
+ **Dukungan multibahasa global** - Kemampuan bahasa yang diperluas dari 12 hingga 36 bahasa. Hal ini memungkinkan organisasi global untuk membangun sistem pencarian dan pengambilan terpadu yang bekerja dengan mulus di berbagai wilayah dan pasar.
+ **Presisi pencarian multimodal** - Gabungkan gambar dan teks deskriptif dalam satu permintaan penyematan. Ini menggabungkan kesamaan visual dengan pemahaman semantik untuk memberikan hasil pencarian yang lebih akurat dan relevan secara kontekstual.
+ **Mengurangi dimensi embedding** - Dikurangi dari 1024 menjadi 512, yang dapat membantu mengurangi biaya penyimpanan.
TwelveLabs Marengo Embed 3.0Model ini mendukung operasi Amazon Bedrock Runtime dalam tabel berikut.
+ Untuk informasi selengkapnya tentang kasus penggunaan untuk metode API yang berbeda, lihat[Pelajari tentang kasus penggunaan untuk metode inferensi model yang berbedaMetode inferensi yang berbeda](inference-methods.md).
+ Untuk informasi selengkapnya tentang jenis model, lihat[Cara kerja inferensi di Amazon BedrockBagaimana inferensi bekerja](inference-how.md).
+ Untuk daftar model IDs dan untuk melihat model dan AWS Wilayah TwelveLabs Marengo Embed 3.0 yang didukung, cari model dalam tabel di[Model pondasi yang didukung di Amazon Bedrock](models-supported.md).
+ Untuk daftar lengkap profil inferensi IDs, lihat[Wilayah dan model yang Didukung untuk profil inferensi](inference-profiles-support.md). ID profil inferensi didasarkan pada AWS Wilayah.
****
| Operasi API | Jenis model yang didukung | Modalitas masukan | Modalitas keluaran |
| --- | --- | --- | --- |
| InvokeModel | US East (Virginia N.) — [Model dasar dan profil](models-supported.md) [Inferensi](inference-profiles-support.md) Eropa (Irlandia) [— Profil inferensi](inference-profiles-support.md) Asia Pasifik (Seoul) - [Model dasar](models-supported.md) | Teks Citra **Catatan:** Teks dan gambar yang disisipkan juga didukung. | Menyematkan |
| StartAsyncInvoke | [Model dasar](models-supported.md) | Video Audio Citra Teks **Catatan:** Teks dan gambar yang disisipkan juga didukung. | Menyematkan |
**catatan**
Gunakan `InvokeModel` untuk menghasilkan embeddings untuk permintaan pencarian. Gunakan `StartAsyncInvoke` untuk menghasilkan embeddings untuk aset dalam skala besar.
Kuota berikut berlaku untuk input:
****
| Modalitas masukan | Maksimum |
| --- | --- |
| Teks | 500 token |
| Citra | 5 MB per gambar |
| Video (S3) | 6 GB, panjang 4 jam |
| Audio (S3) | 6 GB, panjang 4 jam |
**catatan**
Jika Anda menentukan audio atau video sebaris menggunakan pengkodean base64-, pastikan payload isi permintaan tidak melebihi kuota pemanggilan model Amazon Bedrock 25 MB.
**Topics**
+ [TwelveLabs Marengo Embed 3.0parameter permintaan](#model-parameters-marengo-3-async-request)
+ [TwelveLabs Marengo Embed 3.0respon](#model-parameters-marengo-3-response)
+ [TwelveLabs Marengo Embed 3.0contoh kode](#model-parameters-marengo-3-examples)
## TwelveLabs Marengo Embed 3.0parameter permintaan
Saat Anda membuat permintaan, bidang di mana input khusus model ditentukan bergantung pada operasi API:
+ [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)- Dalam permintaan`body`.
+ [StartAsyncInvoke](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_StartAsyncInvoke.html)— Di `modelInput` bidang badan permintaan.
Format input model tergantung pada modalitas input:
------
#### [ Text ]
```
{
"inputType": "text",
"text": {
"inputText": "string"
}
}
```
------
#### [ Image ]
```
{
"inputType": "image",
"image": {
"mediaSource": {
"base64String": "base64-encoded string", // base64String OR s3Location, exactly one
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/folder/dog.jpg",
"bucketOwner": "123456789012"
}
}
}
}
```
------
#### [ Text & image ]
```
{
"inputType": "text_image",
"text_image": {
"inputText": "man walking a dog",
"mediaSource": {
"base64String": "base64-encoded string", // base64String OR s3Location, exactly one
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/folder/dog.jpg",
"bucketOwner": "123456789012"
}
}
}
}
```
------
#### [ Audio ]
```
{
"inputType": "audio",
"audio": {
"mediaSource": {
"base64String": "base64-encoded string", // base64String OR s3Location, exactly one
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/audio/a.wav",
"bucketOwner": "123456789012"
}
},
"startSec": 0,
"endSec": 6,
"segmentation": {
"method": "fixed",
"fixed": {
"durationSec": 6
}
},
"embeddingOption": [
"audio",
"transcription"
], // optional, default=both
"embeddingScope": [
"clip",
"asset"
] // optional, one or both
}
}
```
------
#### [ Video ]
```
{
"inputType": "video",
"video": {
"mediaSource": {
"base64String": "base64-encoded string", // base64String OR s3Location, exactly one
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/video/clip.mp4",
"bucketOwner": "123456789012"
}
},
"startSec": 0,
"endSec": 6,
"segmentation": {
"method": "dynamic", // dynamic OR fixed, exactly one
"dynamic": {
"minDurationSec": 4
}
"method": "fixed",
"fixed": {
"durationSec": 6
}
},
"embeddingOption": [
"visual",
"audio",
"transcription"
], // optional, default=all
"embeddingScope": [
"clip",
"asset"
] // optional, one or both
},
"inferenceId": "some inference id"
}
```
------
Perluas bagian berikut untuk detail tentang parameter input:
### inputType
Modalitas untuk penyematan.
+ **Tipe**: String
+ **Wajib**: Ya
+ **Nilai yang valid:** `text` \$1 `image` \$1 `text_image` \$1 `audio` \$1 `video`
### InputTeks
Teks yang akan disematkan.
+ **Tipe**: String
+ **Diperlukan:** Ya (untuk jenis input yang kompatibel)
+ **Jenis masukan yang kompatibel:** Teks
### MediaSource
Berisi informasi tentang sumber media.
+ **Jenis:** Objek
+ **Diperlukan:** Ya (jika tipe kompatibel)
+ **Jenis input yang kompatibel:** Gambar, Video, Audio
Format `mediaSource` objek dalam badan permintaan tergantung pada apakah media didefinisikan sebagai string yang dikodekan Base64 atau sebagai lokasi S3.
+ **String yang dikodekan Base64**
```
{
"mediaSource": {
"base64String": "base64-encoded string"
}
}
```
+ `base64String`— String yang dikodekan Base64 untuk media.
+ **Lokasi S3** — Tentukan URI S3 dan pemilik bucket.
```
{
"s3Location": {
"uri": "string",
"bucketOwner": "string"
}
}
```
+ `uri`— URI S3 yang berisi media.
+ `bucketOwner`— ID AWS akun pemilik bucket S3.
### EmbeddingOption
Menentukan jenis embeddings untuk mengambil.
+ **Tipe**: Daftar
+ **Wajib**: Tidak
+ **Nilai yang valid untuk anggota daftar:**
+ `visual`— Penyematan visual dari video.
+ `audio`— Penyematan audio dalam video.
+ `transcription`— Penyematan teks yang ditranskripsi.
+ **Nilai default:**
+ Video: ["visual”, “audio”, “transkripsi"]
+ Audio: ["audio”, “transkripsi"]
+ **Jenis input yang kompatibel:** Video, Audio
### EmbeddingScope
Menentukan ruang lingkup embeddings untuk mengambil.
+ **Tipe**: Daftar
+ **Wajib**: Tidak
+ **Nilai yang valid untuk anggota daftar:**
+ `clip`— Mengembalikan embeddings untuk setiap klip.
+ `asset`— Mengembalikan embeddings untuk seluruh aset.
+ **Jenis input yang kompatibel:** Video, Audio
### StartSec
Titik waktu dalam detik klip tempat pemrosesan harus dimulai.
+ **Tipe:** Ganda
+ **Wajib**: Tidak
+ **Nilai minimum:** 0
+ **Nilai default:** 0
+ **Jenis input yang kompatibel:** Video, Audio
### EndSec
Titik waktu dalam detik di mana pemrosesan harus berakhir.
+ **Tipe:** Ganda
+ **Wajib**: Tidak
+ **Nilai minimum:** StartSec \$1 panjang segmen
+ **Nilai maksimum:** Durasi media
+ **Nilai default:** Durasi media
+ **Jenis input yang kompatibel:** Video, Audio
### segmentasi
Mendefinisikan bagaimana media dibagi menjadi beberapa segmen untuk pembuatan embedding.
+ **Jenis:** Objek
+ **Wajib**: Tidak
+ **Jenis input yang kompatibel:** Video, Audio
Objek segmentasi berisi `method` bidang dan parameter khusus metode:
+ `method`— Metode segmentasi yang digunakan. Nilai yang valid: `dynamic` \$1 `fixed`
+ `dynamic`— Untuk video, gunakan deteksi batas bidikan untuk membagi konten secara dinamis. Berisi:
+ `minDurationSec`— Durasi minimum untuk setiap segmen dalam hitungan detik. Jenis: Integer. Rentang: 1-5. Default: 4.
+ `fixed`— Membagi konten menjadi segmen dengan durasi yang sama. Berisi:
+ `durationSec`— Durasi setiap segmen dalam hitungan detik. Jenis: Integer. Rentang: 1-10. Default: 6.
**Perilaku default:**
+ Video: Menggunakan segmentasi dinamis dengan deteksi batas bidikan.
+ Audio: Menggunakan segmentasi tetap. Konten dibagi serata mungkin dengan segmen mendekati 10 detik.
### InferenceID
Pengidentifikasi unik untuk permintaan inferensi.
+ **Tipe**: String
+ **Wajib**: Tidak
## TwelveLabs Marengo Embed 3.0respon
Lokasi embeddings output dan metadata terkait tergantung pada metode pemanggilan:
+ InvokeModel Dalam tubuh respon.
+ StartAsyncInvoke — Dalam bucket S3 yang ditentukan dalam`s3OutputDataConfig`, setelah pekerjaan pemanggilan asinkron selesai.
Jika ada beberapa vektor embeddings, outputnya adalah daftar objek, masing-masing berisi vektor dan metadata terkait.
Format vektor embeddings output adalah sebagai berikut:
```
{
"data": {
"embedding": [
0.111, 0.234, ...
],
"embeddingOption": ["visual", "audio", "transcription" (for video input) | "audio", "transcription" (for audio input)],
"embeddingScope": ["asset" | "clip"],
"startSec": 0,
"endSec": 4.2
}
}
```
Embeddings dikembalikan sebagai susunan pelampung.
Di mana Anda melihat respons ini bergantung pada metode API yang Anda gunakan:
+ InvokeModel — Muncul di badan respons.
+ StartAsyncInvoke — Muncul di lokasi S3 yang Anda tentukan dalam permintaan. Respons mengembalikan sebuah`invocationArn`. Anda dapat menggunakan ini untuk mendapatkan metadata tentang pemanggilan asinkron. Ini termasuk status dan lokasi S3 di mana hasilnya ditulis.
Perluas bagian berikut untuk detail tentang parameter respons:
### menyematkan
Embeddings vektor representasi input.
+ **Jenis:** Daftar ganda
### EmbeddingOption
Jenis embeddings.
+ **Tipe**: String
+ **Nilai yang mungkin:**
+ visual — Penyematan visual dari video.
+ audio — Penyematan audio dalam video.
+ transkripsi — Penyematan teks yang ditranskripsi.
+ **Jenis input yang kompatibel:** Video, Audio
### EmbeddingScope
Menentukan ruang lingkup embeddings untuk mengambil.
+ **Tipe**: String
Anda dapat menyertakan satu atau lebih dari nilai-nilai berikut:
+ clip: Mengembalikan embeddings untuk setiap klip.
+ aset: Mengembalikan embeddings untuk seluruh aset.
### StartSec
Offset awal klip.
+ **Tipe:** Ganda
+ **Jenis input yang kompatibel:** Video, Audio
### EndSec
Offset akhir klip. Tidak berlaku untuk penyematan teks, gambar, dan text\$1image.
+ **Tipe:** Ganda
+ **Jenis input yang kompatibel:** Video, Audio
## TwelveLabs Marengo Embed 3.0contoh kode
Bagian ini menunjukkan cara menggunakan TwelveLabs Marengo Embed 3.0 model dengan tipe input yang berbeda menggunakan Python. Contoh menunjukkan bagaimana mendefinisikan input khusus model dan menjalankan pemanggilan model.
**catatan**
InvokeModel mendukung teks, gambar, dan teks dengan input gambar yang disisipkan. Untuk input video dan audio, gunakan StartAsyncInvoke.
Satukan kode Anda dalam langkah-langkah berikut:
**1. Tentukan masukan khusus model**
Tentukan input khusus model tergantung pada jenis input Anda:
------
#### [ Text ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-3-0-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0"
model_input = {
"inputType": "text",
"text": {
"inputText": "man walking a dog"
}
}
```
------
#### [ Image ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-3-0-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0"
model_input = {
"inputType": "image",
"image": {
"mediaSource": {
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/my_image.png",
"bucketOwner": "123456789012"
}
}
}
}
```
------
#### [ Text & image ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-3-0-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0"
model_input = {
"inputType": "text_image",
"text_image": {
"inputText": "man walking a dog",
"mediaSource": {
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/my_image.jpg",
"bucketOwner": "123456789012"
}
}
}
}
```
------
#### [ Audio ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-3-0-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0"
model_input = {
"inputType": "audio",
"audio": {
"mediaSource": {
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/my-audio.wav",
"bucketOwner": "123456789012"
}
},
"startSec": 0,
"endSec": 5,
"segmentation": {
"method": "fixed",
"fixed": {
"durationSec": 5
}
},
"embeddingScope": ["clip", "asset"],
"embeddingOption": ["audio"]
}
}
```
------
#### [ Video ]
```
# Create the model-specific input
model_id = "twelvelabs.marengo-embed-3-0-v1:0"
# Replace the us prefix depending on your region
inference_profile_id = "us.twelvelabs.marengo-embed-3-0-v1:0"
model_input = {
"inputType": "video",
"video": {
"mediaSource": {
"s3Location": {
"uri": "s3://amzn-s3-demo-bucket/my-video.mp4",
"bucketOwner": "123456789012"
}
},
"startSec": 10,
"endSec": 20,
"segmentation": {
"method": "fixed",
"fixed": {
"durationSec": 5
}
},
"embeddingOption": [
"visual",
"audio"
],
"embeddingScope": [
"clip",
"asset"
]
}
}
```
------
**2. Jalankan pemanggilan model menggunakan input model**
Kemudian, tambahkan cuplikan kode yang sesuai dengan metode pemanggilan model pilihan Anda.
------
#### [ InvokeModel ]
```
# Run model invocation with InvokeModel
import boto3
import json
# Initialize the Bedrock Runtime client
client = boto3.client('bedrock-runtime')
# Make the request
response = client.invoke_model(
modelId=inference_profile_id,
body=json.dumps(model_input)
)
# Print the response body
response_body = json.loads(response['body'].read().decode('utf-8'))
print(response_body)
```
------
#### [ StartAsyncInvoke ]
```
# Run model invocation asynchronously
import boto3
import json
# Initalize the Bedrock Runtime client.
client = boto3.client("bedrock-runtime")
try:
# Start the asynchronous job
invocation = client.start_async_invoke(
modelId=model_id,
modelInput=model_input,
outputDataConfig={
"s3OutputDataConfig": {
"s3Uri": "s3://amzn-s3-demo-bucket"
}
}
)
# Print the response JSON
print("Response:")
print(json.dumps(invocation, indent=2, default=str))
except Exception as e:
# Implement error handling here.
message = e.response["Error"]["Message"]
print(f"Error: {message}")
```
------