View a markdown version of this page

HealthOmics ETags und Herkunft der Daten - AWS HealthOmics
Amazon S3 eTagsWie HealthOmics berechnet eTags

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

HealthOmics ETags und Herkunft der Daten

Ein HealthOmics ETag (Entity-Tag) ist ein Hash des aufgenommenen Inhalts in einem Sequenzspeicher. Dies vereinfacht das Abrufen und Verarbeiten von Daten und gewährleistet gleichzeitig die Inhaltsintegrität der aufgenommenen Datendateien. Das ETag spiegelt Änderungen am semantischen Inhalt des Objekts wider, nicht an seinen Metadaten. Der angegebene Lesesatztyp und der Algorithmus bestimmen, wie das ETag berechnet wird. Die ETag-Berechnung ändert nichts an der tatsächlichen Datei oder den Genomdaten. Wenn das Dateitypschema des Lesesets dies zulässt, aktualisiert der Sequenzspeicher Felder, die mit der Herkunft der Daten verknüpft sind.

Dateien haben eine bitweise Identität und eine semantische Identität. Die bitweise Identität bedeutet, dass die Bits einer Datei identisch sind, und eine semantische Identität bedeutet, dass der Inhalt einer Datei identisch ist. Semantische Identität ist widerstandsfähig gegenüber Änderungen an Metadaten und Komprimierung, da sie die Inhaltsintegrität der Datei erfasst.

Lesesätze in HealthOmics Sequenzspeichern durchlaufen compression/decompression Zyklen und die Herkunft der Daten wird während des gesamten Lebenszyklus eines Objekts nachverfolgt. Während dieser Verarbeitung kann sich die bitweise Identität einer aufgenommenen Datei ändern, und es wird erwartet, dass sie sich bei jeder Aktivierung einer Datei ändert. Die semantische Identität der Datei bleibt jedoch erhalten. Die semantische Identität wird in Form eines HealthOmics Entitäts-Tags oder ETags erfasst, das während der Aufnahme des Sequenzspeichers berechnet wird und als Readset-Metadaten verfügbar ist.

Wenn das Dateitypschema des Lesesets dies zulässt, werden die Felder für Sequenzspeicher-Aktualisierungen mit der Herkunft der Daten verknüpft. Bei UBam-, BAM- und CRAM-Dateien wird der Kopfzeile ein neues @CO OR-Tag hinzugefügt. Comment Der Kommentar enthält die Sequenzspeicher-ID und den Zeitstempel der Aufnahme.

Amazon S3 eTags

Beim Zugriff auf eine Datei über den Amazon S3 S3-URI können Amazon S3 S3-API-Operationen auch Amazon S3 S3-ETag- und Prüfsummenwerte zurückgeben. Die Amazon S3 S3-ETag- und Prüfsummenwerte unterscheiden sich von den HealthOmics ETags, da sie die bitweise Identität der Datei darstellen. Weitere Informationen zu beschreibenden Metadaten und Objekten finden Sie in der Amazon S3 Object API-Dokumentation. Amazon S3 ETag-Werte können sich mit jedem Aktivierungszyklus eines Lesesets ändern, und Sie können sie verwenden, um das Lesen einer Datei zu validieren. Speichern Sie Amazon S3 ETag-Werte jedoch nicht im Cache, um sie während des Lebenszyklus der Datei für die Überprüfung der Dateiidentität zu verwenden, da sie nicht konsistent bleiben. Im Gegensatz dazu bleibt das HealthOmics ETag während des gesamten Lebenszyklus des Lesesets konsistent.

Wie HealthOmics berechnet eTags

Das ETag wird aus einem Hash des aufgenommenen Dateiinhalts generiert. Die ETag-Algorithmusfamilie ist standardmäßig auf MD5up eingestellt, sie kann jedoch bei der Erstellung des Sequenzspeichers anders konfiguriert werden. Wenn das ETag berechnet wird, werden der Algorithmus und die berechneten Hashes dem Lesesatz hinzugefügt. Die unterstützten MD5-Algorithmen für Dateitypen lauten wie folgt.

  • FastQ_MD5up — Berechnet den MD5-Hash einer unkomprimierten, vollständigen FASTQ-Leseset-Quelle.

  • BAM_MD5up — Berechnet den MD5-Hash des Alignment-Abschnitts einer unkomprimierten BAM- oder UBAM-Read-Set-Quelle, wie sie im SAM dargestellt ist, auf der Grundlage der verlinkten Referenz, sofern eine verfügbar ist.

  • cram_MD5up — Berechnet den MD5-Hash des Alignment-Abschnitts der unkomprimierten CRAM-Lesesatz-Quelle, wie sie im SAM dargestellt ist, auf der Grundlage der verlinkten Referenz.

Anmerkung

MD5-Hashing ist bekanntermaßen anfällig für Kollisionen. Aus diesem Grund könnten zwei verschiedene Dateien dasselbe ETag haben, wenn sie so hergestellt wurden, dass sie die bekannte Kollision ausnutzen.

Die folgenden Algorithmen werden für die SHA256-Familie unterstützt. Die Algorithmen werden wie folgt berechnet:

  • FastQ_SHA256up — Berechnet den SHA-256 Hash einer unkomprimierten, vollständigen FASTQ-Read-Set-Quelle.

  • bam_SHA256up — Berechnet den SHA-256 Hash des Alignment-Abschnitts einer unkomprimierten BAM- oder UBAM-Read-Set-Quelle, wie sie im SAM dargestellt wird, auf der Grundlage der verlinkten Referenz, sofern eine verfügbar ist.

  • cram_SHA256up — Berechnet den SHA-256 Hash des Alignment-Abschnitts einer unkomprimierten CRAM-Lesesatzquelle, wie sie im SAM dargestellt wird, auf der Grundlage der verlinkten Referenz.

Die folgenden Algorithmen werden für die SHA512-Familie unterstützt. Die Algorithmen werden wie folgt berechnet:

  • FastQ_SHA512up — Berechnet den SHA-512 Hash einer unkomprimierten, vollständigen FASTQ-Read-Set-Quelle.

  • bam_SHA512up — Berechnet den SHA-512 Hash des Alignment-Abschnitts einer unkomprimierten BAM- oder UBAM-Read-Set-Quelle, wie sie im SAM dargestellt wird, auf der Grundlage der verlinkten Referenz, sofern eine verfügbar ist.

  • cram_SHA512up — Berechnet den SHA-512 Hash des Alignment-Abschnitts einer unkomprimierten CRAM-Lesesatz-Quelle, wie er im SAM dargestellt wird, auf der Grundlage der verknüpften Referenz.