View a markdown version of this page

Amazon EMR WAL aktivieren - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon EMR WAL aktivieren

Gehen Sie wie folgt vor, um das Schreiben in die Amazon EMR WAL zu aktivieren, wenn Sie einen Cluster mit dem AWS Command Line Interface erstellen.

Anmerkung

Sie können Amazon EMR WAL nicht für einen Cluster aktivieren, der bereits läuft, und Sie können nicht zwei Cluster mit demselben S3-Stammverzeichnis starten. Weitere Informationen finden Sie unter Überlegungen und Regionen für Amazon EMR WAL.

  1. Bevor Sie einen Amazon EMR WAL-fähigen Cluster erstellen können, müssen Sie dem Instance-Profil, das Sie mit Ihrem Cluster verwenden möchten, die erforderlichen Berechtigungen hinzufügen. Weitere Informationen finden Sie unter Erforderliche Berechtigungen für Amazon EMR WAL.

  2. Erstellen Sie einen Cluster aus dem AWS CLI. Verwenden Sie die --configurations Option, um ein JSON-Konfigurationsobjekt bereitzustellen, das die hbase.emr.wal.enabled Eigenschaft spezifiziert, wie im Beispiel unten gezeigt.

    • Geben Sie den Speichermodus und den Speicherort des Stammverzeichnisses in Amazon S3 an. Der von Ihnen angegebene Amazon S3 S3-Standort sollte sich in derselben Region wie Ihr EMR-Cluster befinden, aber nur ein aktiver Cluster kann dasselbe HBase-Stammverzeichnis in S3 gleichzeitig verwenden.

    • Erstellen Sie Ihren Cluster mit der Konfiguration der Instance-Gruppen. Sie können Amazon EMR WAL nicht mit der Konfiguration der Instance-Flotten verwenden. Weitere Informationen zum Erstellen von Clustern mit Instanzgruppen finden Sie unter Configure uniform instance groups im Amazon EMR Management Guide.

    • Schritte zur Erstellung eines Clusters in der Konsole und ein ausführliches create-cluster Beispiel, das den verwendet AWS CLI, finden Sie unter Cluster mit HBase erstellen.

  3. Um WAL für den neuen Cluster zu aktivieren, setzen Sie die hbase.emr.wal.enabled Eigenschaft auftrue. Der folgende Befehl enthält einen JSON-Snippet mit einem Beispielkonfigurationsobjekt.

    aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \
--applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m6i.xlarge --instance-count 1 --configurations hbase.json
$cat hbase.json
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]

Wenn HBase auf dem neu erstellten Cluster online ist, schreibt HBase automatisch WAL-Daten in die Amazon EMR WAL und verwendet die Amazon EMR WAL für Wiederherstellungszwecke.

Beispiel 1: Einen EMR-Cluster erstellen, der Amazon EMR WAL verwendet
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]
Beispiel 2: Erstellen eines EMR-Clusters mit einem benutzerdefinierten WAL-Arbeitsbereich
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore",
            "emr.wal.workspace": "customWorkspaceName"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]