View a markdown version of this page

Volume File Amazon S3 - AWS Batch
Pertimbangan volume File Amazon S3Gunakan titik akses File Amazon S3Tentukan sistem file File Amazon S3 dalam definisi pekerjaan AndaGunakan volume File S3 dengan AWS Batch dan Amazon EKS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Volume File Amazon S3

File S3 menyediakan akses sistem file langsung ke data yang disimpan di bucket Amazon Simple Storage Service (Amazon S3). Dengan AWS Batch, Anda dapat menentukan volume File S3 dalam definisi pekerjaan sehingga container Anda dapat membaca dan menulis data Amazon S3 menggunakan operasi file standar.

Untuk menggunakan volume File S3, Anda memerlukan sistem file S3 dan memasang target yang dikonfigurasi dalam VPC yang sama dengan lingkungan komputasi Anda. AWS Batch Untuk petunjuk penyiapan lengkap termasuk konfigurasi bucket, peran IAM, pembuatan sistem file, dan target pemasangan, lihat prasyarat File S3 di Panduan Pengguna Amazon S3 dan Mengonfigurasi File S3 untuk Amazon ECS di Panduan Pengembang Layanan Kontainer Elastis Amazon.

Pertimbangan volume File Amazon S3

Pertimbangkan hal berikut saat menggunakan volume File S3:

  • penting

    File S3 tidak didukung pada jenis peluncuran Amazon EC2 saat ini. Jika Anda mengonfigurasi sistem file S3 dalam definisi pekerjaan dan mencoba menjalankannya pada jenis peluncuran Amazon EC2, pekerjaan akan gagal saat diluncurkan. Dukungan jenis peluncuran Amazon EC2 direncanakan untuk rilis di masa mendatang.

  • Enkripsi transit selalu diaktifkan untuk volume File S3. Anda dapat menentukan port secara opsional menggunakan transitEncryptionPort parameter. Port dafult adalah 2049.

  • Peran pekerjaan (setara dengan peran tugas Amazon ECS) harus memiliki s3files:ClientMount dan s3files:ClientWrite izin pada sistem file. Untuk pembacaan langsung dari Amazon S3, peran juga membutuhkans3:GetObject,s3:GetObjectVersion, dan s3:ListBucket izin di bucket.

  • Target pemasangan sistem file S3 harus dalam VPC yang sama dan dapat dijangkau dari subnet lingkungan komputasi Anda. AWS Batch Grup keamanan target mount harus mengizinkan lalu lintas NFS masuk (port TCP 2049) dari grup keamanan lingkungan komputasi.

Gunakan titik akses File Amazon S3

Titik akses File S3 adalah titik masuk khusus aplikasi ke dalam sistem file yang menerapkan identitas pengguna POSIX dan direktori root untuk semua permintaan sistem file. Anda dapat menggunakan titik akses untuk mengisolasi penyewa sehingga setiap pekerjaan hanya dapat mengakses direktorinya sendiri dalam sistem file bersama.

catatan

Ketika Anda menentukan titik akses menggunakan accessPointArn parameter, rootDirectory harus dihilangkan atau diatur ke. / Titik akses memberlakukan jalur direktori root sendiri.

Untuk informasi selengkapnya tentang membuat dan mengelola titik akses, lihat Membuat titik akses untuk sistem file S3 di Panduan Pengguna Amazon S3. Untuk informasi selengkapnya tentang menggunakan kebijakan sistem file untuk menerapkan isolasi titik akses, lihat Cara Kerja File S3 dengan IAM di Panduan Pengguna Amazon S3.

Tentukan sistem file File Amazon S3 dalam definisi pekerjaan Anda

Untuk menggunakan volume File S3 untuk kontainer Anda, Anda harus menentukan konfigurasi volume dan titik mount dalam definisi pekerjaan Anda. Cuplikan JSON ketentuan tugas berikut menunjukkan sintaks untuk objek volumes dan mountPoints untuk sebuah kontainer:

{
    "ecsProperties": {
        "taskProperties": [
            {
                ...,
                "taskRoleArn": "arn:aws:iam::<account>:role/<job-role-name>",
                "containers": [
                    {
                        ...,
                        "mountPoints": [
                            {
                                "sourceVolume": "myS3FilesVolume",
                                "containerPath": "/mnt/s3data",
                                "readOnly": false
                            }
                        ]
                    }
                ],
                "volumes": [
                    {
                        "name": "myS3FilesVolume",
                        "s3filesVolumeConfiguration": {
                            "fileSystemArn": "arn:aws:s3files:<region>:<account>:file-system/<fs-id>",
                            "rootDirectory": "/keypath/in/s3"
                        }
                    }
                ]
            }
        ]
    }
}
s3filesVolumeConfiguration

Tipe: Objek

Wajib: Tidak

Parameter ini ditentukan saat menggunakan volume File S3.

fileSystemArn

Tipe: String

Diperlukan: Ya

ARN lengkap dari sistem file S3 untuk digunakan.

rootDirectory

Tipe: String

Wajib: Tidak

Direktori dalam sistem file S3 untuk me-mount sebagai direktori root di dalam host. Jika parameter ini dihilangkan, root sistem file digunakan. Menentukan / memiliki efek yang sama seperti mengabaikan parameter ini. Ini dapat memiliki panjang hingga 4.096 karakter.

penting

Jika titik akses File S3 ditentukan dalamaccessPointArn, parameter direktori root harus dihilangkan atau diatur ke. / Ini memberlakukan jalur yang ditetapkan pada titik akses.

transitEncryptionPort

Tipe: Integer

Wajib: Tidak

Port yang digunakan saat mengirim data terenkripsi antara AWS Batch host dan server File S3. Jika Anda tidak menentukan port enkripsi transit, nilai default 2049 digunakan. Nilainya harus antara 0 dan 65.535. Enkripsi transit selalu diaktifkan untuk volume File S3.

accessPointArn

Tipe: String

Wajib: Tidak

ARN dari jalur akses File S3 untuk digunakan. Jika jalur akses ditentukan, nilai direktori asal di s3filesVolumeConfiguration harus diabaikan atau diatur ke /. Ini memberlakukan jalur yang ditetapkan pada titik akses. Access point memberlakukan identitas pengguna POSIX dan dapat membatasi akses ke direktori tertentu dalam sistem file. Untuk informasi selengkapnya, lihat Membuat titik akses untuk sistem file S3 di Panduan Pengguna Amazon S3.

Gunakan volume File S3 dengan AWS Batch dan Amazon EKS

Untuk pekerjaan yang menggunakan sumber daya Amazon EKS, AWS Batch mendukung volume File S3 melalui konfigurasi volume definisi pekerjaan persistentVolumeClaim di EKS. Anda harus membuat klaim volume persisten dan volume persisten di klaster Amazon EKS Anda sebelum mereferensikannya dalam definisi pekerjaan Anda.

Cuplikan definisi pekerjaan berikut menunjukkan cara mereferensikan klaim volume persisten File S3:

{
    "eksProperties": {
        "podProperties": {
            ...,
            "containers": [
                {
                    ...,
                    "volumeMounts": [
                        {
                            "name": "s3files-vol",
                            "mountPath": "/mnt/s3data"
                        }
                    ]
                }
            ],
            "volumes": [
                {
                    "name": "s3files-vol",
                    "persistentVolumeClaim": {
                        "claimName": "<s3files-pvc-name>"
                    }
                }
            ]
        }
    }
}

Untuk informasi selengkapnya tentang menyiapkan File S3 dengan Amazon EKS, lihat Memasang sistem file S3 di Amazon EKS di Panduan Pengguna Amazon S3. Untuk referensi parameter volume penuh, lihat EksVolumedi Referensi AWS Batch API.