Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Write-ahead journaux (WAL) pour Amazon EMR
Avec Amazon EMR 6.15 et versions ultérieures, vous pouvez écrire vos journaux d'écriture anticipée (WAL) Apache HBase sur le WAL Amazon EMR. Dans les versions inférieures d'Amazon EMR, lorsque vous créez un cluster avec l'option HBase sur Amazon S3, WAL est le seul composant Apache HBase stocké sur le disque local pour les clusters, et vous pouvez stocker d'autres composants tels que le répertoire racine, les fichiers de stockage (HFiles), les métadonnées des tables et les données sur Amazon S3.
Vous pouvez utiliser Amazon EMR WAL pour récupérer des données qui n'ont pas été transférées vers Amazon S3. Pour sauvegarder intégralement vos clusters HBase, choisissez d'utiliser le service Amazon EMR WAL. En arrière-plan, RegionServer écrit vos journaux d'écriture anticipée (WAL) HBase sur le WAL pour Amazon EMR.
Si votre cluster ou l'AZ ne fonctionne pas correctement ou n'est plus disponible, vous pouvez créer un nouveau cluster, le pointer vers le même répertoire racine S3 et le même espace de travail Amazon EMR WAL, et récupérer automatiquement les données dans WAL en quelques minutes. Pour de plus amples informations, veuillez consulter Restauration depuis Amazon EMR WAL.
À partir des versions 7.3.0 et supérieures d'Amazon EMR, Amazon EMR crée plusieurs WAL EMR pour chaque serveur et regroupe plusieurs régions HBase en un seul Amazon EMR WAL. Cela améliore Apache HBase WAL afin d'améliorer l'utilisation des journaux et d'optimiser les coûts. Pour configurer le nombre d'instances Amazon EMR WAL par HBaseRegionServer, utilisez le paramètre. hbase.wal.regiongrouping.numgroups Par défaut, ce paramètre est défini sur 2. Il existe deux tables système qui ne sont incluses dans aucun groupe WAL : meta et masterstore. Ces tables utilisent toujours leurs propres WAL individuels.
Si vous utilisez une version inférieure à Amazon EMR 7.3.0, nous vous recommandons de désactiver manuellement les tables de l'ancien cluster HBase pour vous assurer que toutes les données du WAL Amazon EMR sont transférées vers Amazon S3. Supprimez ensuite l'ancien Amazon EMR WAL, mettez fin à l'ancien cluster et configurez un nouveau cluster qui exécute la dernière version. Si vous rencontrez des problèmes et que vous ne parvenez pas à désactiver les tables de l'ancien cluster, vous pouvez directement arrêter l'ancien cluster et emr.wal.multiplex.migrate définir surtrue. sur le nouveau cluster. S'il est défini sur true, HBase tentera de rejouer les données des anciennes instances WAL Amazon EMR lors de l'initialisation de la région HBase et supprimera les anciens WAL après la rediffusion. Ce processus de rediffusion entraîne des coûts supplémentaires pour les lectures. Après la migration, nous vous recommandons de configurer le cluster et de le emr.wal.multiplex.migrate définir surfalse. Vous pouvez également supprimer le paramètre pour accélérer l'initialisation de la région HBase.
Note
Amazon EMR WAL supprime les données une fois que HBase les a vidées. Si HBase ne vide pas les données, Amazon EMR WAL les conserve pendant un maximum de 30 jours. Après 30 jours, Amazon EMR WAL supprime automatiquement les données. Amazon EMR conserve les instances WAL jusqu'à 30 jours à compter de la résiliation d'un cluster EMR. Toutefois, si vous lancez un nouveau WAL-enabled cluster à partir du même répertoire racine S3 au cours de ces 30 jours, Amazon EMR ne supprimera aucune des instances WAL de votre ancien cluster. Pour de plus amples informations, veuillez consulter Restauration depuis Amazon EMR WAL.
Les sections suivantes décrivent comment configurer et utiliser Amazon EMR WAL avec votre cluster EMR. HBase-enabled
Rubriques
