Attivazione dell'eliminazione di file orfani - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Attivazione dell'eliminazione di file orfani

Puoi utilizzare la AWS Glue console o l' AWS API per abilitare l'eliminazione di file orfani per le tue tabelle Apache Iceberg nel Data Catalog. AWS CLI Per le nuove tabelle, puoi scegliere Apache Iceberg come formato di tabella e abilitare l'ottimizzatore dell'eliminazione dei file orfani quando crei la tabella. La conservazione degli snapshot è disabilitata per impostazione predefinita per le nuove tabelle.

Console
Abilitazione dell'eliminazione di file orfani

  1. Apri la AWS Glue console all'indirizzo https://console.aws.amazon.com/glue/e accedi come amministratore del data lake, creatore della tabella o utente a cui sono state concesse lakeformation:GetDataAccess le autorizzazioni glue:UpdateTable e sulla tabella.

  2. Nel pannello di navigazione, in Catalogo dati, seleziona Tabelle.

  3. Nella pagina Tabelle, scegli una tabella Iceberg in cui desideri abilitare l'eliminazione dei file orfani.

    Scegli la scheda Ottimizzazione della tabella nella sezione inferiore della pagina e scegli Abilita, Eliminazione dei file orfani da Azioni.

    Puoi anche scegliere Abilita in Ottimizzazione dal menu Azioni situato nell'angolo in alto a destra della pagina.

  4. Nella pagina Abilita ottimizzazione, scegli Eliminazione dei file orfani in Opzioni di ottimizzazione.

  5. Se scegli di utilizzare le Impostazioni predefinite, tutti i file orfani verranno eliminati dopo 3 giorni. Se desideri conservare i file orfani per un numero specifico di giorni, scegli Personalizza impostazioni.

  6. Quindi, scegli un ruolo IAM con le autorizzazioni necessarie per eliminare i file orfani.

  7. Se hai configurazioni di policy di sicurezza in cui l'ottimizzatore di tabelle Iceberg deve accedere ai bucket Amazon S3 da uno specifico Virtual Private Cloud (VPC), crea una connessione di rete o usane una esistente. AWS Glue

    Se non hai già configurato una connessione AWS Glue VPC, creane una nuova seguendo i passaggi nella sezione Creazione di connessioni per connettori utilizzando la AWS Glue console o /SDK. AWS CLI

  8. Se scegli Personalizza impostazioni, inserisci il numero di giorni durante cui mantenere i file prima dell'eliminazione in Configurazione dell'eliminazione dei file orfani. Puoi anche specificare l'intervallo tra due esecuzioni consecutive dell'ottimizzatore. Il valore predefinito è 24 ore.

  9. Scegli Abilita ottimizzazione.

AWS CLI

Per abilitare l'eliminazione di file orfani per una tabella Iceberg in AWS Glue, devi creare un ottimizzatore di tabella di tipo orphan_file_deletion e impostare il campo su true. enabled Per creare un ottimizzatore di eliminazione di file orfano per una tabella Iceberg utilizzando il AWS CLI, è possibile utilizzare il seguente comando:

aws glue create-table-optimizer \
 --catalog-id 123456789012 \
 --database-name iceberg_db \
 --table-name iceberg_table \
 --table-optimizer-configuration '{"roleArn":"arn:aws:iam::123456789012:role/optimizer_role","enabled":true, "vpcConfiguration":{
"glueConnectionName":"glue_connection_name"}, "orphanFileDeletionConfiguration":{"icebergConfiguration":{"orphanFileRetentionPeriodInDays":3, "location":'S3 location'}}}'\
 --type orphan_file_deletion

Questo comando crea un ottimizzatore per l'eliminazione dei file orfani per la tabella Iceberg specificata. I parametri chiave sono:

  • roleARN: l'ARN del ruolo IAM con autorizzazioni di accesso al bucket S3 e alle risorse Glue.

  • enabled: impostare su true per abilitare l'ottimizzatore.

  • orphanFileRetentionPeriodInDays — Il numero di giorni per conservare i file orfani prima di eliminarli (minimo 1 giorno).

  • type: imposta su orphan_file_deletion per creare un ottimizzatore per l'eliminazione dei file orfani.

Dopo averlo creato, l'ottimizzatore di tabelle, eseguirà periodicamente l'eliminazione dei file orfani (una volta al giorno se lasciato abilitato). Puoi controllare le esecuzioni utilizzando l'list-table-optimizer-runsAPI. Il processo di eliminazione dei file orfani identificherà ed eliminerà i file che non sono tracciati nei metadati Iceberg per la tabella.

API

CreateTableOptimizerOperazione di chiamata per creare l'ottimizzatore per l'eliminazione dei file orfani per una tabella specifica.