View a markdown version of this page

HealthOmics ETag dan asal data - AWS HealthOmics
Amazon S3 ETagBagaimana HealthOmics menghitung eTAGS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

HealthOmics ETag dan asal data

HealthOmics ETag (tag entitas) adalah hash dari konten yang dicerna di toko urutan. Ini menyederhanakan pengambilan dan pemrosesan data sambil mempertahankan integritas konten dari file data yang dicerna. ETag mencerminkan perubahan pada konten semantik objek, bukan metadatanya. Jenis dan algoritma set baca yang ditentukan menentukan bagaimana ETag dihitung. Perhitungan ETag tidak mengubah file aktual atau data genom. Ketika skema jenis file dari set baca mengizinkannya, urutan menyimpan memperbarui bidang yang ditautkan ke sumber data.

File memiliki identitas bitwise dan identitas semantik. Identitas bitwise berarti bahwa bit dari sebuah file identik, dan identitas semantik berarti bahwa isi dari sebuah file identik. Identitas semantik tahan terhadap perubahan metadata dan perubahan kompresi karena menangkap integritas konten file.

Set baca di penyimpanan HealthOmics urutan menjalani compression/decompression siklus dan pelacakan asal data di seluruh siklus hidup objek. Selama pemrosesan ini, identitas bitwise dari file yang tertelan dapat berubah dan diharapkan berubah setiap kali file diaktifkan; namun, identitas semantik file dipertahankan. Identitas semantik ditangkap sebagai tag HealthOmics entitas, atau ETag yang dihitung selama penyerapan penyimpanan urutan dan tersedia sebagai metadata set baca.

Ketika skema tipe file dari set baca mengizinkannya, lapisan pembaruan penyimpanan urutan ditautkan ke sumber data. Untuk file UBam, BAM, dan CRAM, Comment tag baru @CO atau ditambahkan ke header. Komentar berisi ID penyimpanan urutan dan stempel waktu konsumsi.

Amazon S3 ETag

Saat mengakses file menggunakan URI Amazon S3, operasi API Amazon S3 juga dapat mengembalikan nilai Amazon S3 ETag dan checksum. Nilai Amazon S3 ETag dan checksum berbeda dari HealthOmics ETag karena mereka mewakili identitas bitwise file. Untuk mempelajari metadata deskriptif dan Objek selengkapnya, lihat dokumentasi Amazon S3 Object API. Nilai Amazon S3 ETag dapat berubah dengan setiap siklus aktivasi set baca dan Anda dapat menggunakannya untuk memvalidasi pembacaan file. Namun, jangan cache nilai Amazon S3 ETag yang akan digunakan untuk validasi identitas file selama siklus hidup file karena tidak tetap konsisten. Sebaliknya, HealthOmics ETag tetap konsisten sepanjang siklus hidup set baca.

Bagaimana HealthOmics menghitung eTAGS

ETag dihasilkan dari hash dari konten file yang dicerna. Keluarga algoritma ETag diatur ke MD5up secara default, tetapi dapat dikonfigurasi secara berbeda selama pembuatan penyimpanan urutan. Ketika ETag dihitung, algoritma dan hash yang dihitung ditambahkan ke set baca. Algoritma MD5 yang didukung untuk jenis file adalah sebagai berikut.

  • FastQ_MD5up - Menghitung hash MD5 dari sumber set baca FASTQ lengkap yang tidak terkompresi.

  • BAM_MD5up — Menghitung hash MD5 dari bagian perataan dari BAM yang tidak terkompresi atau sumber kumpulan baca UBAM seperti yang direpresentasikan dalam SAM, berdasarkan referensi tertaut, jika tersedia.

  • CRAM_MD5up — Menghitung hash MD5 dari bagian penyelarasan dari sumber set baca CRAM yang tidak terkompresi seperti yang direpresentasikan dalam SAM, berdasarkan referensi tertaut.

catatan

Hashing MD5 diketahui rentan terhadap tabrakan. Karena itu, dua file yang berbeda mungkin memiliki ETag yang sama jika mereka diproduksi untuk mengeksploitasi tabrakan yang diketahui.

Algoritma berikut didukung untuk keluarga SHA256. Algoritma dihitung sebagai berikut:

  • FastQ_Sha256up - Menghitung SHA-256 hash dari sumber set baca FASTQ lengkap yang tidak terkompresi.

  • BAM_SHA256up — Menghitung SHA-256 hash dari bagian perataan dari BAM yang tidak terkompresi atau sumber kumpulan baca UBAM seperti yang direpresentasikan dalam SAM, berdasarkan referensi tertaut, jika tersedia.

  • Cram_SHA256up — Menghitung SHA-256 hash dari bagian perataan dari sumber set baca CRAM yang tidak terkompresi seperti yang direpresentasikan dalam SAM, berdasarkan referensi yang ditautkan.

Algoritma berikut didukung untuk keluarga SHA512. Algoritma dihitung sebagai berikut:

  • FastQ_SHA512UP - Menghitung SHA-512 hash dari sumber set baca FASTQ lengkap yang tidak terkompresi.

  • BAM_SHA512up — Menghitung SHA-512 hash dari bagian perataan dari BAM yang tidak terkompresi atau sumber kumpulan baca UBAM seperti yang direpresentasikan dalam SAM, berdasarkan referensi tertaut, jika tersedia.

  • Cram_SHA512UP — Menghitung SHA-512 hash dari bagian perataan dari sumber set baca CRAM yang tidak terkompresi seperti yang direpresentasikan dalam SAM, berdasarkan referensi yang ditautkan.