View a markdown version of this page

Grundlegendes zur Exportzustellung - AWS Data Exports
Exportieren Sie die Struktur des übergeordneten S3-VerzeichnissesAktualisierung des ExportsExportieren, überschreiben und neu erstellenExportieren Sie Datendateinamen und -blöckeAmazon Redshift Redshift-IntegrationAmazon Athena Athena-IntegrationZusammenfassung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Grundlegendes zur Exportzustellung

In den folgenden Abschnitten finden Sie Informationen zu Ihrer Exportlieferung.

  • Übergeordnete S3-Verzeichnisstruktur exportieren: Wie Exportdaten in dem S3-Verzeichnis strukturiert sind, in das Ihr Export geliefert wird.

  • Aktualisierung des Exports: Wie oft Ihr Export in Ihrem S3-Verzeichnis aktualisiert wird.

  • Überschreiben exportieren und neu erstellen: Wie sich Ihre Exportlieferung beim Überschreiben ändert und neue Versandeinstellungen erstellt werden.

  • Namen und Blöcke von Exportdatendateien: So werden die Exportdateien (gzip/csv oder Parquet) benannt.

Exportieren Sie die Struktur des übergeordneten S3-Verzeichnisses

Jeder Export liefert die Daten aus der Abfrage an S3 (als eine gzip/csv oder mehrere Parquet-Dateien) und eine Manifest.json Metadatendatei, die Informationen über die Exportdefinition zum Zeitpunkt der Ausführung des Exports enthält.

Daten

Die aus der Exportabfrage resultierenden Daten werden im folgenden S3-Dateipfad gespeichert:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/

Die Partition entspricht der Tabelle, die abgefragt wird. Für CUR 2.0 entspricht die Partition dem „Abrechnungszeitraum“ eines bestimmten CUR 2.0-Exports.

prefix: Das S3-Dateipräfix, das Sie dem Export zuweisen.

export-name: Der Name, den Sie dem Export zuweisen.

partition: Die Partition beschreibt, wie eine einzelne Tabelle für die Auslieferung in separate Tabellen partitioniert wird. Für CUR 2.0 entspricht die Partition dem „Abrechnungszeitraum“ im Format. BILLING_PERIOD=YYYY-MM Die Partition für November 2023 lautet beispielsweise 2023-11.

Das Folgende ist ein Beispiel für einen S3-Dateipfad:

s3://my-data-export-s3-bucket/my-cur-files/business_group_a_cur/data/BILLING_PERIOD=2023-11

Metadaten

Die Manifest.json Metadatendatei für die Abfrage wird im folgenden S3-Dateipfad gespeichert:

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/<export-name>-Manifest.json

Die Manifest.json Datei wird jedes Mal aktualisiert, wenn der Export aktualisiert wird. Für jede neue Partition, die durch den Export erstellt wird, wird eine neue Manifest.json Datei erstellt. Für CUR 2.0 bedeutet dies, dass eine neue Manifest.json Datei generiert wird, wenn ein neuer Abrechnungszeitraum beginnt.

Manifestdateien enthalten die folgenden Informationen:

  • Alle Spalten, die im Export enthalten sind.

  • Eine Liste der Exportdateien und ihres Dateipfads. Wir empfehlen, diese Liste programmgesteuert zu lesen, um herauszufinden, welche Dateien aufgenommen werden sollen.

  • Der Zeitraum, der vom Export abgedeckt wird.

  • Ein Abschnitt mit dem Namen listet additionalOutputFiles die zusätzlichen Dateien auf, die geliefert werden, wenn Sie über eine Athena- oder Amazon Redshift Redshift-Integration verfügen.

Das Manifest.json wird erst geliefert, wenn alle Exportdatendateien an S3 geliefert wurden.

Aktualisierung des Exports

Bei Datenexporten werden Ihre Exporte jedes Mal aktualisiert, wenn die Quelldaten aktualisiert werden. Bei CUR 2.0 erfolgt dies mindestens einmal täglich. Der aktuelle Abrechnungszeitraum (Partition) wird aktualisiert, bis der Abrechnungszeitraum endet. Ab diesem Zeitpunkt beginnen die Lieferungen des nächsten Abrechnungszeitraums. Lieferungen des nächsten Abrechnungszeitraums enthalten nur Gebühren und Abrechnungsdaten für diesen Abrechnungszeitraum. Nach Ablauf des Abrechnungszeitraums AWS kann die Exportlieferung für den vorherigen Abrechnungszeitraum innerhalb der ersten zwei Wochen nach Ablauf des Abrechnungszeitraums aktualisiert werden.

Exportieren, überschreiben und neu erstellen

Wenn Sie einen Export erstellen, können Sie wählen, ob Sie entweder neue Exportdateien erstellen oder die vorhandenen Exportdateien bei jeder Aktualisierung überschreiben möchten.

Neues erstellen

Beim Erstellen neuer Exportdateien wird mehr S3-Speicherplatz benötigt, da alle Exportaktualisierungen beibehalten werden. Das Überschreiben der vorherigen Exportdateien verbraucht weniger S3-Speicherplatz, da nur die neueste Version jeder Aktualisierung des Abrechnungszeitraums beibehalten wird.

Im Modus „Neu erstellen“ werden die Exportdateien an den folgenden S3-Pfad übermittelt:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>

Das timestamp ist das Datum und die Uhrzeit der Ausführung des Exports. Das execution-id ist die eindeutige ID, die der Ausführung zugewiesen wurde.

Bei „Neu erstellen“ werden bei jeder Exportausführung zwei Manifest.json Dateien geliefert. Eine wird im metadata/<partition>/<timestamp>-<execution-id> Verzeichnis gespeichert und die andere wird im metadata/<partition> Verzeichnis überschrieben. Das Manifest im metadata/<partition> Verzeichnis stellt immer die letzte Aktualisierung dar, und ihre Daten werden verwendet, um den Speicherort der zuletzt aktualisierten Exportdateien zu identifizieren.

Überschreiben

Das Überschreiben gilt nur für Aktualisierungen derselben Partition (d. h. für den Abrechnungszeitraum). Sobald ein neuer Abrechnungszeitraum beginnt, erstellt der Export ein neues S3-Verzeichnis mit einem Namen, der auf der letzten Partition oder dem letzten Abrechnungszeitraum basiert, und beginnt, die neue Exportpartition dort bereitzustellen. Der Export der vorherigen Partition wird nicht überschrieben, es sei denn, die Daten für diese spezifische Partition werden aktualisiert.

Im Modus „Überschreiben“ werden die Exportdateien an den folgenden S3-Pfad übermittelt:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/

Die Exportdateien in diesem Dateiverzeichnis werden bei jeder Lieferung derselben Partition (d. h. bei jedem Abrechnungszeitraum) überschrieben.

Exportdateien werden als mehrere „Chunks“ (separate Dateien gzip/csv oder Parquet-Dateien) geliefert, wenn der Export ausreichend groß ist. Wenn der Export im Laufe des Monats an Größe verliert (aufgrund einer geänderten Abfrage oder Korrektur von Daten), sind möglicherweise weniger Chunks erforderlich, um die Exportaktualisierung durchzuführen. In diesem Fall überschreibt Data Exports alle zusätzlichen Blöcke aus der letzten Aktualisierung mit leeren Daten.

Zum Überschreiben wird bei jeder Manifest.json Exportausführung eine Datei geliefert. Sie wird im metadata/<partition> Verzeichnis gespeichert und bei jeder Aktualisierung überschrieben.

Exportieren Sie Datendateinamen und -blöcke

Exporte liefern die Ergebnisse einer Ausführung entweder als eine Datei (gzip/csv oder Parquet) oder in mehreren „Chunks“ (separate Dateien gzip/csv oder Parquet-Dateien), wenn der Export ausreichend groß wird.

Exporte werden für das Dateiformat wie folgt benannt: gzip/csv

<export-name>-<chunk-number>.csv.gz

Exporte werden für das Parquet-Format wie folgt benannt:

<export-name>-<chunk-number>.snappy.parquet

Blocknummern haben immer fünf Ziffern. Chunk-Nummern werden beginnend mit aufgezählt. 00001

Anmerkung

Wenn Sie bei der Erstellung von CUR 2.0 die Option Athena oder Redshift Report Integration ausgewählt haben, könnte der folgende Abschnitt zu Redshift- und Athena-Integrationen für Sie relevant sein.

Amazon Redshift Redshift-Integration

Wenn Sie die Option für die Amazon Redshift-Integration gewählt haben, erstellt und liefert AWS auch eine Datei mit den SQL-Befehlen, die Sie zum Hochladen Ihres Berichts in Amazon Redshift benötigen. Gehen Sie wie folgt vor, um einen Datenexport auf Amazon Redshift hochzuladen.

So laden Sie einen Datenexport auf Amazon Redshift hoch

  1. Erstellen Sie einen Amazon Redshift Redshift-Cluster. Weitere Informationen finden Sie unter Creating a Cluster im Amazon Redshift Management Guide.

  2. Melden Sie sich bei der AWS Management Console an und öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

  3. Navigieren Sie zu dem Amazon S3 S3-Speicherort, an dem Sie Ihren AWS Datenexport speichern.

  4. Laden Sie die RedshiftCommands.sql Datei herunter, die zusammen mit Ihrer Manifestdatei in S3 gespeichert ist, und die Redshift-Hilfsdatei unter:

    <bucket>/<prefix>/<export-name>/metadata/<partition>/<export-name>-RedshiftCommands.sql

  5. Ersetzen Sie den copy Befehl durch den <AWS_ROLE> ARN einer IAM-Rolle, die über Berechtigungen für den Zugriff auf den Amazon S3 S3-Bucket verfügt, in dem Sie Ihren AWS Datenexport speichern.

  6. <S3_BUCKET_REGION>Ersetzen Sie durch die Region, in der sich Ihr Amazon S3 S3-Bucket befindet. Beispiel, us-east-1.

  7. Verwenden Sie einen SQL-Client, um eine Verbindung mit dem Cluster herzustellen. Weitere Informationen finden Sie unter Zugreifen auf Amazon Redshift Clusters and Databases im Amazon Redshift Management Guide.

  8. Kopieren Sie die SQL-Befehle aus der RedshiftCommands.sql Datei in Ihren SQL-Client in der folgenden Reihenfolge:

    1. Tabelle erstellen — Erstellt eine Amazon Redshift Redshift-Tabelle mit einem Schema, das an Ihren Bericht angepasst wurde.

    2. copy — Verwendet die bereitgestellte IAM-Rolle, um die AWS Datenexportdateien von S3 nach Amazon Redshift hochzuladen.

    3. Tag-Tabelle erstellen — Erstellt eine Tabelle, mit der Sie Ihren benutzerdefinierten Tags AWS-definierte Tags zuordnen können.

    4. einfügen — Fügt die benutzerdefinierten Tags in die Tag-Tabelle ein.

  9. Nachdem Sie alle Daten aus Ihrem AWS Datenexport nach Amazon Redshift kopiert haben, können Sie die Daten mit SQL abfragen. Weitere Informationen finden Sie unter Amazon Redshift SQL im Amazon Redshift Database Developer Guide.

Amazon Athena Athena-Integration

Wenn Sie sich für die Option für die Amazon Athena Athena-Integration entschieden haben, werden AWS auch mehrere Dateien erstellt und bereitgestellt, um Ihnen bei der Einrichtung aller benötigten Ressourcen zu helfen. AWS liefert eine CloudFormation Vorlage, eine SQL-Datei, um Ihre Athena-Tabelle manuell zu erstellen, und einen Statusordner, um den Aktualisierungsstatus Ihres Exports zu überprüfen. Diese Dateien verwenden die folgende Namenskonventionen.

CloudFormation Vorlage für die Einrichtung von Athena-Ressourcen:

<prefix>/<export-name>/crawler-cfn.yml

SQL-Datei, um Ihre Athena-Tabelle manuell zu erstellen:

<prefix>/<export-name>/metadata/<partition>/<export-name>-create-table.sql

Ordner mit dem Aktualisierungsstatus exportieren:

<prefix>/<export-name>/execution_status/

Athena mithilfe von CloudFormation Vorlagen einrichten

Um die Athena-Vorlage CloudFormation zu verwenden

  1. Navigieren Sie zu der crawler-cfn.yml Datei in Ihrem S3-Bucket und klicken Sie auf die Schaltfläche Kopieren neben der Objekt-URL.

  2. Öffnen Sie die CloudFormation Konsole unter https://console.aws.amazon.com/cloudformation/.

  3. Wenn Sie es noch nie CloudFormation zuvor verwendet haben, wählen Sie Create New Stack. Wählen Sie andernfalls Stack erstellen.

  4. Wählen Sie unter Vorlage vorbereiten die Option Vorhandene Vorlage auswählen aus.

  5. Wählen Sie unter Vorlage angeben für Vorlagenquelle die Option Amazon S3 S3-URL aus.

  6. Fügen Sie die S3-Objekt-URL in das Feld Amazon S3 S3-URL ein.

  7. Wählen Sie Weiter aus.

  8. Geben Sie für Stack-Name einen Namen für Ihre Vorlage ein und klicken Sie dann Weiter.

  9. Wählen Sie unten auf der Seite die Option Ich bestätige, dass AWS CloudFormation möglicherweise IAM-Ressourcen erstellt werden.

  10. Wählen Sie Weiter und dann Absenden aus.

Um die bestehende Athena-Vorlage CloudFormation zu aktualisieren

  1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

  2. Wählen Sie aus der Liste der Buckets den Bucket aus, in den Sie Ihren AWS Datenexport erhalten möchten.

  3. Wählen Sie das Präfix für den Berichtspfad (your-report-path-prefix/) und anschließend Ihren Berichtsnamen (your-report-name/).

  4. Wählen Sie die .yml Vorlagendatei aus und klicken Sie neben der Objekt-URL auf die Schaltfläche Kopieren.

  5. Öffnen Sie die CloudFormation Konsole unter https://console.aws.amazon.com/cloudformation/.

  6. Wählen Sie den Stack aus, der zuvor erstellt wurde, und wählen Sie dann Stack aktualisieren > Direktes Update durchführen.

  7. Wählen Sie unter Vorlage vorbereiten die Option Bestehende Vorlage ersetzen aus.

  8. Wählen Sie unter Vorlagenquelle die Option Amazon S3 S3-URL aus.

  9. Fügen Sie die S3-Objekt-URL in das Feld Amazon S3 S3-URL ein.

  10. Wählen Sie Weiter aus.

  11. Ändern Sie auf der Seite „Stack-Details angeben“ alle Details und wählen Sie dann Weiter.

  12. Wählen Sie unten auf der Seite die Option Ich bestätige, dass AWS CloudFormation möglicherweise IAM-Ressourcen erstellt werden.

  13. Wählen Sie Weiter und dann Absenden aus.

Manuelles Einrichten von Athena

Wenn Sie die CloudFormation Vorlage nicht verwenden möchten, können Sie Ihre Athena-Tabelle mithilfe der bereitgestellten SQL-Datei manuell erstellen.

Um eine Athena-Tabelle manuell zu erstellen

  1. Die create-table.sql Datei für Ihren Export befindet sich unter:

    <bucket>/<prefix>/<export-name>/metadata/BILLING_PERIOD=YYYY-MM/<export-name>-create-table.sql

  2. Fügen Sie im Bereich Neue Abfrage 1 die SQL-Anweisung aus der Datei ein. Verwenden Sie für <database name>.<table name> den Datenbank- und Tabellennamen aus der ersten Zeile der SQL-Anweisung.

  3. Führen Sie den folgenden Befehl aus, um die Datenbank zu erstellen:

    CREATE DATABASE <database name>

Führen Sie die folgende SQL-Anweisung aus, um eine neue Berichtspartition zu laden:

ALTER TABLE `<database name>`.<table name> ADD PARTITION (billing_period='YYYY-MM') LOCATION 's3://<bucket>/<prefix>/<export-name>/data/BILLING_PERIOD=YYYY-MM/';wobei der YYYY-MM Abrechnungszeitraum als vierstelliges Jahr und zweistelliger Monat ausgedrückt wird. Zum Beispiel 2026-05.

Weitere Informationen finden Sie unter Abfragen von Kosten- und Nutzungsberichten mit Amazon Athena.

Zusammenfassung

Exportieren Sie Datendateinamen mit Verzeichnis, um neue zu erstellen

Parquet:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>/<export-name>-<chunk-number>.snappy.parquet

gzip/csv:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>/<export-name>-<chunk-number>.csv.gz

Exportieren Sie Datendateinamen mit Verzeichnis zum Überschreiben

Parquet:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<export-name>-<chunk-number>.snappy.parquet

gzip/csv:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<export-name>-<chunk-number>.csv.gz

Manifest-Dateinamen mit Verzeichnis zum Erstellen eines neuen

Der Modus „Neu erstellen“ liefert Manifest.json an zwei Speicherorte.

Der erste Speicherort befindet sich in einem Ordner, der eine bestimmte Ausführung eines Exports darstellt (benannt nach timestamp undexecution-id). Dieses Manifest entspricht dieser spezifischen Ausführung. Der Dateipfad lautet wie folgt:

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/<timestamp>-<execution-id>

Der zweite Speicherort befindet sich in einem Partitionsordner, der alle Ausführungen enthält. Bei diesem Manifest handelt es sich um dieselbe Datei wie bei der letzten Ausführung des Exports. Sie können dieses Manifest lesen, um die genauen Dateipfade aller zuletzt exportierten Dateien zu identifizieren. Der Dateipfad lautet wie folgt:

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/Manifest.json

Manifest-Dateinamen mit Verzeichnis zum Überschreiben

Der Modus „Überschreiben“ liefert Manifest.json an einen Ort.

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>

Das Manifest in diesem Verzeichnis wird bei jeder Aktualisierung einer bestimmten Partition (d. h. bei jedem Abrechnungszeitraum) überschrieben.