Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Write-ahead registri (WAL) per Amazon EMR
Con Amazon EMR 6.15 e versioni successive, puoi scrivere i tuoi log WAL (write-ahead log) di Apache HBase sul WAL di Amazon EMR. Nelle versioni precedenti di Amazon EMR, quando crei un cluster con l'opzione HBase su Amazon S3, WAL è l'unico componente di Apache HBase che viene archiviato nel disco locale per i cluster e puoi archiviare altri componenti come la directory principale, i file di archiviazione (HFiles), i metadati delle tabelle e i dati su Amazon S3.
Puoi usare Amazon EMR WAL per recuperare dati che non sono stati trasferiti su Amazon S3. Per eseguire il backup completo dei cluster HBase, scegli di utilizzare il servizio WAL di Amazon EMR. Dietro le quinte, RegionServer scrive i log WAL (write-ahead log) di HBase nel WAL per Amazon EMR.
Nel caso in cui il cluster o l'AZ diventino non integri o non disponibili, puoi creare un nuovo cluster, indirizzarlo alla stessa directory principale S3 e allo stesso spazio di lavoro WAL di Amazon EMR e ripristinare automaticamente i dati in WAL in pochi minuti. Per ulteriori informazioni, consulta Ripristino da Amazon EMR WAL.
A partire dalle versioni 7.3.0 e successive di Amazon EMR, Amazon EMR crea più WAL EMR per ogni server e raggruppa più regioni HBase in un unico Amazon EMR WAL. In questo modo si migliora Apache HBase WAL per migliorare l'utilizzo dei log e ottimizzare i costi. Per configurare il numero di istanze WAL di Amazon EMR per HBaseRegionServer, utilizza il parametro. hbase.wal.regiongrouping.numgroups Per impostazione predefinita, questo parametro è impostato su 2. Esistono due tabelle di sistema che non sono incluse in nessun gruppo WAL: meta e masterstore. Queste tabelle utilizzano sempre i propri WAL individuali.
Se esegui una versione precedente ad Amazon EMR 7.3.0, ti consigliamo di disabilitare manualmente le tabelle nel vecchio cluster HBase per assicurarti che tutti i dati nel WAL di Amazon EMR vengano scaricati su Amazon S3. Quindi, elimina il vecchio WAL di Amazon EMR, termina il vecchio cluster e configura un nuovo cluster che esegue l'ultima versione. Se riscontri problemi e non riesci a disabilitare le tabelle sul vecchio cluster, puoi terminare direttamente il vecchio cluster e emr.wal.multiplex.migrate impostarlo sutrue. sul nuovo cluster. Se impostato su true, HBase tenterà di riprodurre i dati delle vecchie istanze WAL di Amazon EMR durante l'inizializzazione della regione HBase ed eliminerà i vecchi WAL dopo la riproduzione. Questo processo di riproduzione comporta costi aggiuntivi per le letture. Dopo la migrazione, si consiglia di configurare il cluster e impostarlo su. emr.wal.multiplex.migrate false In alternativa, è possibile rimuovere il parametro per accelerare l'inizializzazione della regione HBase.
Nota
Amazon EMR WAL elimina i dati dopo che HBase li ha scaricati. Se HBase non scarica i dati, Amazon EMR WAL li conserva per un massimo di 30 giorni. Dopo 30 giorni, Amazon EMR WAL elimina automaticamente i dati. Amazon EMR conserva le istanze WAL per un massimo di 30 giorni dalla chiusura di un cluster EMR. Tuttavia, se avvii un nuovo WAL-enabled cluster dalla stessa directory principale S3 entro questi 30 giorni, Amazon EMR non eliminerà nessuna delle istanze WAL dal cluster precedente. Per ulteriori informazioni, consulta Ripristino da Amazon EMR WAL.
Le seguenti sezioni descrivono come configurare e utilizzare Amazon EMR WAL con il tuo cluster HBase-enabled EMR.
Argomenti
