View a markdown version of this page

Opzioni di implementazione e classe di storage per i file system FSx for Lustre - FSx per Lustre

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Opzioni di implementazione e classe di storage per i file system FSx for Lustre

Amazon FSx for Lustre offre due opzioni di implementazione del file system: persistente e scratch. Fornisce tre classi di storage: SSD (unità a stato solido) e HDD (unità disco rigido). Intelligent-Tiering

Scegli il tipo di implementazione del file system e la classe di storage quando crei un nuovo file system, utilizzando Console di gestione AWS, the AWS Command Line Interface (AWS CLI) o l'API Amazon FSx for Lustre. Per ulteriori informazioni, consulta Passaggio 1: crea il tuo FSx file system for Lustre e CreateFileSystemconsulta l'Amazon FSx API Reference.

File system persistenti

I file system persistenti sono progettati per lo storage e i carichi di lavoro a lungo termine. Per SSD e HDD-based file system, i dati vengono replicati automaticamente all'interno della stessa zona di disponibilità in cui si trova il file system. Per i Intelligent-Tiering file system, i dati vengono replicati su più zone di disponibilità. I volumi di dati collegati ai file server vengono replicati indipendentemente dai file server a cui sono collegati.

Amazon FSx monitora continuamente i file system persistenti per individuare eventuali guasti hardware e sostituisce automaticamente i componenti dell'infrastruttura in caso di guasto. In un file system persistente, se un file server non è disponibile, viene sostituito automaticamente entro pochi minuti dall'errore. Durante questo periodo, le richieste di dati dei client su quel server riprovano in modo trasparente e alla fine hanno esito positivo dopo la sostituzione del file server. I dati sui file system persistenti vengono replicati su dischi e tutti i dischi guasti vengono sostituiti automaticamente in modo trasparente.

Utilizza file system persistenti per lo storage a lungo termine e per carichi di lavoro incentrati sulla velocità effettiva che vengono eseguiti per periodi prolungati o indefinitamente e che potrebbero essere sensibili alle interruzioni della disponibilità.

I tipi di distribuzione persistenti crittografano automaticamente i dati in transito quando vi si accede da istanze Amazon EC2 che supportano la crittografia in transito.

Amazon FSx for Lustre supporta due tipi di distribuzione persistente: Persistent 1 e Persistent 2.

Tipo di distribuzione Persistent 2

Persistent 2 è il tipo di implementazione Persistent di ultima generazione ed è più adatto per i casi d'uso che richiedono storage a lungo termine e che richiedono i massimi livelli di IOPS e throughput. I file system Persistent 2 supportano SSD e classi di storage. Intelligent-Tiering

Puoi creare file system Persistent 2 con una configurazione di metadati ed EFA abilitati utilizzando la console Amazon FSx e l'API AWS Command Line Interface Amazon FSx.

Tipo di distribuzione persistente 1

Il tipo di distribuzione Persistent 1 è ideale per i casi d'uso che richiedono uno storage a lungo termine. I tipi di distribuzione Persistent 1 supportano le classi di archiviazione SSD (unità a stato solido) e HDD (unità disco rigido).

Puoi creare tipi di distribuzione Persistent 1 solo utilizzando AWS CLI e l'API Amazon FSx.

File system Scratch

I file system Scratch sono progettati per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. I dati non vengono replicati e non persistono in caso di guasto di un file server. I file system Scratch offrono un throughput di burst elevato fino a sei volte il throughput di base di 200 MBps per TiB di capacità di storage. Per ulteriori informazioni, consulta Caratteristiche prestazionali delle classi di storage SSD e HDD.

Utilizza i file system scratch quando hai bisogno di storage ottimizzato in termini di costi per carichi di lavoro a breve termine e impegnativi nell'elaborazione.

In un file system scratch, i file server non vengono sostituiti in caso di guasto e i dati non vengono replicati. Se un file server o un disco di archiviazione non è disponibile su un file system di memoria virtuale, i file archiviati su altri server sono ancora accessibili. Se i client tentano di accedere ai dati presenti sul server o sul disco non disponibile, viene visualizzato un I/O errore immediato.

La tabella seguente illustra la disponibilità o la durabilità per cui sono progettati i file system Scratch di dimensioni esemplificative, nel corso di un giorno e di una settimana. Poiché i file system più grandi dispongono di più file server e più dischi, le probabilità di errore aumentano.

Dimensioni del file system (TiB) Numero di file server Availability/durability più di un giorno Availability/durability più di una settimana

1.2

2

99,9%

99,4%

2.4

2

99,9%

99,4%

4,8

3

99,8%

99,2%

9,6

5

99,8%

98,6%

50,4

22

99,1%

93,9%

Indirizzi IP per file system

Ogni file system FSx for Lustre richiede un indirizzo IP per ogni server di metadati (MDS) e un indirizzo IP per ogni server di storage (OSS).

File system che utilizzano una classe di storage SSD o HDD
Tipo di file system Produttività, MBps/TiB Archiviazione per OSS
Persistente 2 EFA* 125 38,4 TiB/OSS
250 19,2 TiB per sistema operativo
500 9,6 TiB per sistema operativo
1000 4,8 TiB per sistema operativo
Persistente 2 non EFA* 125, 250, 500, 1000 2,4 TiB per sistema operativo
1 SSD persistente 50, 100, 200 2,4 TiB per sistema operativo
HDD persistente 12 6 TiB per sistema operativo
40 1,8 TiB per sistema operativo
Scratch 2 200 2,4 TiB per sistema operativo
Scratch 1 200 3,6 TiB per sistema operativo
File system che utilizzano classi di archiviazione Intelligent-Tiering
Tipo di file system Velocità effettiva per OSS
Intelligent-Tiering*

4000 MBps per OSS

Nota

* Amazon FSx fornisce un server di metadati per ogni 12.000 IOPS di metadati su SSD Persistent 2 e Intelligent-Tiering file system configurati con la configurazione dei metadati.

I file system Amazon FSx Intelligent-Tiering for Lustre supportano un massimo di 512 TiB di storage per OSS.

Classi di storage FSx for Lustre

Amazon FSx for Lustre offre classi di storage per unità a stato solido (SSD Intelligent-Tiering) e unità disco rigido (HDD) ottimizzate per diversi requisiti di elaborazione dei dati:

  • La classe di storage SSD offre un accesso a bassa latenza (inferiore al millisecondo) all'intero set di dati. La classe di storage SSD viene fornita, il che significa che si specifica una dimensione del file system e si pagano i costi di storage per la quantità di storage fornita. Utilizza la classe di storage SSD per carichi di lavoro sensibili alla latenza che richiedono le prestazioni dello storage all-flash su tutti i dati.

    I file system Persistent 2 con storage SSD supportano livelli più elevati di throughput per unità di storage (ovvero 250, 500 o 1000 Mbps per TiB) rispetto ai file system Persistent 1. Per un file system Persistent 1 con storage SSD, il throughput per unità di storage è di 50, 100 o 200 MBps per TiB. Per un file system Scratch con storage SSD, il throughput per unità di storage è di 200 MBps per TiB.

  • La classe Intelligent-Tiering di storage offre uno storage su più livelli completamente elastico e intelligente. Elasticità significa che si paga per la quantità di dati archiviati e non è necessario specificare una dimensione del file system. Il tiering intelligente significa che paghi automaticamente meno per archiviare dati a cui non hai avuto accesso di recente. Questa classe di storage ottimizza automaticamente i costi suddividendo i dati «cold» su livelli di storage più economici. È possibile fornire una cache di lettura SSD opzionale per l'accesso a bassa latenza (inferiore al millisecondo) ai dati a cui si accede di frequente. La classe di Intelligent-Tiering storage offre il miglior equilibrio tra prezzo e prestazioni per la maggior parte dei carichi di lavoro. Utilizza la classe Intelligent-Tiering di storage per carichi di lavoro compatibili con la cache e che non richiedono le prestazioni dello storage all-flash su tutti i dati. Intelligent-Tiering i file system supportano capacità di throughput con incrementi di 4000 MBps.

  • La classe di storage HDD può essere utilizzata con carichi di lavoro che richiedono una latenza costante in ms a una cifra per tutti i dati. È possibile fornire una cache di lettura SSD opzionale con dimensioni pari al 20% della capacità di archiviazione dell'HDD per fornire un accesso a bassa latenza ai dati a cui si accede di frequente. Con lo storage su HDD, è possibile specificare la dimensione del file system e pagare per la quantità di storage fornita. Per un file system Persistent 1 con storage su HDD, il throughput per unità di storage è di 12 o 40 MBps per TiB.

Per ulteriori informazioni sulle prestazioni di queste classi di archiviazione, vedere e. Caratteristiche prestazionali delle classi di storage SSD e HDD Caratteristiche Intelligent-Tiering prestazionali della classe di storage

In che modo la classe Intelligent-Tiering di storage suddivide i dati su più livelli

La classe di Intelligent-Tiering storage Amazon FSx archivia automaticamente i dati in tre livelli di accesso. È progettata per ottimizzare i costi di storage spostando automaticamente i dati verso il livello di accesso più conveniente, senza impatto sulle prestazioni o costi operativi. La classe Intelligent-Tiering di storage suddivide automaticamente i dati in base all'ora dell'ultimo accesso, ottimizzando così automaticamente i costi per i dati meno attivi:

  • I dati a cui si accede negli ultimi 30 giorni vengono archiviati nel livello Frequent Access.

  • I dati a cui non si accede da 30 giorni consecutivi passano automaticamente al livello Accesso infrequente e costano meno dei dati nel livello Accesso frequente.

  • I dati a cui non è stato effettuato l'accesso per 90 giorni consecutivi passano automaticamente al livello Archive Instant Access e costano meno dei dati nel livello Infrequent Access.

Quando si accede ai dati nei livelli Infrequent Access o Archive Instant Access, i dati tornano automaticamente al livello Frequent Access. Inoltre, operazioni come la modifica della capacità di throughput (che riequilibra i dati tra i sistemi OST), il restriping di file o directory o l'utilizzo di `lfs migrate` potrebbero riportare alcuni dati al livello Frequent Access.

Tutti gli accessi ai dati non memorizzati nella cache hanno le stesse caratteristiche prestazionali, indipendentemente dal livello dei dati, e non vi sono costi di IOPS, recupero o transizione aggiuntivi oltre ai normali costi operativi. read/write

Disponibilità del tipo di implementazione

I tipi di distribuzione Scratch 2, Persistent 1 e Persistent 2 sono disponibili nei seguenti casi Regioni AWS:

Regione AWS Persistente 2 Persistente 1 Scratch 2

Stati Uniti orientali (Ohio)

Stati Uniti orientali (Virginia settentrionale)

Zona locale degli Stati Uniti orientali (Atlanta)

✓ *

Zona locale degli Stati Uniti orientali (Dallas)

✓ *

Zona locale degli Stati Uniti orientali (South Bend)

✓ *

Stati Uniti occidentali (California settentrionale)

Zona locale degli Stati Uniti occidentali (Los Angeles)

Stati Uniti occidentali (Oregon)

Zona locale degli Stati Uniti occidentali (Phoenix)

✓ *

Africa (Città del Capo)

Asia Pacifico (Nuova Zelanda)

✓ *

Asia Pacifico (Hong Kong)

Asia Pacific (Hyderabad)

Asia Pacifico (Giacarta)

Asia Pacifico (Malesia)

✓ *

Asia Pacifico (Melbourne)

Asia Pacifico (Mumbai)

Asia Pacifico (Osaka)

Asia Pacifico (Seoul)

Asia Pacifico (Singapore)

Asia Pacifico (Sydney)

Asia Pacifico (Taipei)

✓ *

Asia Pacifico (Thailandia)

✓ *

Asia Pacifico (Tokyo)

Canada (Centrale)

Canada occidentale (Calgary)

✓ *

Europa (Francoforte)

Europa (Irlanda)

Europa (Londra)

Europa (Milano)

Europa (Parigi)

Europa (Spagna)

Europa (Stoccolma)

Europa (Zurigo)

Israele (Tel Aviv)

✓ *

Messico (centrale)

✓ *

Medio Oriente (Bahrein)

Medio Oriente (Emirati Arabi Uniti)

Sud America (San Paolo)

AWS GovCloud (US-East)

AWS GovCloud (US-West)

Nota

* Questi Regioni AWS supportano Persistent-125 e Persistent-250 gestiscono file system con classe di archiviazione SSD senza EFA.