Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Opciones de implementación y clase de almacenamiento para sistemas de archivos de FSx para Lustre
Amazon FSx para Lustre proporciona dos opciones de implementación del sistema de archivos: persistente y scratch. Proporciona tres clases de almacenamiento: SSD (unidad de estado sólido) y HDD (unidad de disco duro). Intelligent-Tiering
Usted elige el tipo de implementación del sistema de archivos y la clase de almacenamiento al crear un nuevo sistema de archivos mediante la API Consola de administración de AWS Amazon FSx for Lustre AWS Command Line Interface (AWS CLI) o Amazon FSx for Lustre. Para obtener más información, consulte Paso 1: crear un sistema de archivos FSx para Lustre y consulte la CreateFileSystemreferencia de la API de Amazon FSx.
Sistemas de archivos persistentes
Los sistemas de archivos persistentes están diseñados para cargas de trabajo y almacenamiento a largo plazo. En el caso de los SSD y los sistemas de HDD-based archivos, los datos se replican automáticamente en la misma zona de disponibilidad en la que se encuentra el sistema de archivos. En el Intelligent-Tiering caso de los sistemas de archivos, los datos se replican en varias zonas de disponibilidad. Los volúmenes de datos adjuntos a los servidores de archivos se replican de forma independiente de los servidores de archivos a los que están conectados.
Amazon FSx monitorea de forma continua los sistemas de archivos persistentes para detectar errores de hardware y reemplaza automáticamente los componentes de la infraestructura en caso de que se produzca un error. En un sistema de archivos persistente, si un servidor de archivos deja de estar disponible, se reemplaza automáticamente a los pocos minutos de producirse el fallo. Durante ese tiempo, las solicitudes de datos de ese servidor por parte del cliente se vuelven a intentar de forma transparente y, finalmente, se realizan correctamente una vez que se reemplaza el servidor de archivos. Los datos de los sistemas de archivos persistentes se replican en los discos y cualquier disco que falle se reemplaza automáticamente de forma transparente.
Utilice sistemas de archivos persistentes para el almacenamiento a largo plazo y para cargas de trabajo centradas en el rendimiento que se ejecutan durante períodos prolongados o indefinidamente, y que podrían ser sensibles a las interrupciones en la disponibilidad.
Los tipos de implementación persistentes cifran automáticamente los datos en tránsito cuando se obtiene acceso a ellos desde instancias de Amazon EC2 que soportan el cifrado en tránsito.
Amazon FSx para Lustre es compatible con dos tipos de implementación persistente: Persistent 1 y Persistent 2.
Tipo de implementación Persistent 2
Persistent 2 es la última generación del tipo de implementación Persistent, y es el más adecuado para casos de uso que requieren almacenamiento a largo plazo, y que requieren los más altos niveles de IOPS y rendimiento. Los sistemas de archivos Persistent 2 admiten SSD y clases Intelligent-Tiering de almacenamiento.
Puede crear sistemas de archivos Persistent 2 con una configuración de metadatos y un EFA habilitado mediante la consola AWS Command Line Interface Amazon FSx y la API de Amazon FSx.
Tipo de implementación Persistent 1
El tipo de implementación Persistent 1 es adecuado para casos de uso que requieren almacenamiento a largo plazo. Los tipos de implementación Persistent 1 admiten clases de almacenamiento en SSD (unidad de estado sólido) y en HDD (unidad de disco duro).
Solo puede crear tipos de despliegue Persistent 1 mediante la API Amazon FSx AWS CLI y la API.
Sistemas de archivos Scratch
Los sistemas de archivos Scratch están diseñados para el almacenamiento temporal y el procesamiento de datos a corto plazo. Los datos no se replican y no persisten si falla un servidor de archivos. Los sistemas de archivos Scratch proporcionan un alto rendimiento en ráfagas de hasta seis veces el rendimiento de referencia de 200 MBps por TiB de capacidad de almacenamiento. Para obtener más información, consulte Características de rendimiento de las clases de almacenamiento en SSD y HDD.
Utilice los sistemas de archivos scratch cuando necesite un almacenamiento de costo optimizado para cargas de trabajo de procesamiento intensivo a corto plazo.
En un sistema de archivos scratch, los servidores de archivos no se sustituyen si fallan y los datos no se replican. Si un servidor de archivos o un disco de almacenamiento deja de estar disponible en un sistema de archivos scratch, los archivos almacenados en otros servidores siguen siendo accesibles. Si los clientes intentan acceder a los datos que se encuentran en el servidor o disco no disponible, se produce un I/O error inmediato.
La siguiente tabla ilustra la disponibilidad o durabilidad para la que están diseñados los sistemas de archivos scratch de tamaños de ejemplo, en el transcurso de un día y una semana. Dado que los sistemas de archivos más grandes tienen más servidores de archivos y más discos, las probabilidades de fallo aumentan.
| Tamaño del sistema de archivos (TiB) | Número de servidores de archivos | Availability/durability más de un día | Availability/durability más de una semana |
|---|---|---|---|
|
1.2 |
2 |
99,9% |
99,4% |
2.4 |
2 |
99,9% |
99,4% |
4.8 |
3 |
99,8% |
99,2% |
|
9,6 |
5 |
99,8% |
98,6% |
50,4 |
22 |
99,1% |
93,9% |
Direcciones IP para sistemas de archivos
Cada sistema de archivos de FSx para Lustre requiere una dirección IP para cada servidor de metadatos (MDS) y una dirección IP para cada servidor de almacenamiento (OSS).
| Tipo de sistema de archivos | Rendimiento, MBps/TiB | Almacenamiento por OSS |
|---|---|---|
| Persistent 2 con EFA* | 125 | 38,4 TiB por OSS |
| 250 | 19,2 TiB por OSS | |
| 500 | 9,6 TiB por OSS | |
| 1 000 | 4,8 TiB por OSS | |
| Persistent 2 sin EFA* | 125, 250, 500, 1000 | 2,4 TiB por OSS |
| Persistent 1 SSD | 50, 100, 200 | 2,4 TiB por OSS |
| Persistent HDD | 12 | 6 TiB por OSS |
| 40 | 1,8 TiB por OSS | |
| Scratch 2 | 200 | 2,4 TiB por OSS |
| Scratch 1 | 200 | 3,6 TiB por OSS |
| Tipo de sistema de archivos | Rendimiento por OSS |
|---|---|
| Intelligent-Tiering* | 4000 MBps por OSS |
nota
* Amazon FSx aprovisiona un servidor de metadatos por cada 12 000 IOPS de metadatos en los sistemas de Intelligent-Tiering archivos y SSD Persistent 2 configurados con una configuración de metadatos.
Los sistemas de archivos Amazon FSx Intelligent-Tiering for Lustre admiten un máximo de 512 TiB de almacenamiento por OSS.
Clases de almacenamiento de FSx para Lustre
Amazon FSx for Lustre ofrece clases de almacenamiento en unidades de estado sólido (SSD Intelligent-Tiering) y unidades de disco duro (HDD) optimizadas para diferentes requisitos de procesamiento de datos:
La clase de almacenamiento SSD proporciona acceso de baja latencia (submilisegundos) a todo el conjunto de datos. La clase de almacenamiento SSD está aprovisionada, lo que significa que debe especificar el tamaño del sistema de archivos y pagar los costes de almacenamiento correspondientes a la cantidad de almacenamiento aprovisionada. Utilice la clase de almacenamiento SSD para cargas de trabajo sensibles a la latencia que requieren el rendimiento del almacenamiento basado íntegramente en tecnología flash en todos los datos.
Los sistemas de archivos Persistent 2 con almacenamiento SSD admiten mayores niveles de rendimiento por unidad de almacenamiento (es decir, 250, 500 o 1000 MBps por TiB) en comparación con los sistemas de archivos Persistent 1. Para un sistema de archivos Persistent 1 con almacenamiento SSD, el rendimiento por unidad de almacenamiento es de 50, 100 o 200 MBps por TiB. Para un sistema de archivos Scratch con almacenamiento SSD, el rendimiento por unidad de almacenamiento es de 200 MBps por TiB.
Esta clase de Intelligent-Tiering almacenamiento proporciona un almacenamiento en niveles totalmente elástico e inteligente. La elasticidad significa que usted paga por la cantidad de datos que almacena y no tiene que especificar el tamaño del sistema de archivos. La organización inteligente en niveles significa que usted paga menos automáticamente por almacenar datos a los que no ha accedido recientemente. Esta clase de almacenamiento optimiza automáticamente los costos al organizar los datos inactivos en niveles de almacenamiento de menor costo. Puede aprovisionar una caché de lectura SSD opcional para acceder con baja latencia (submilisegundos) a los datos a los que accede con frecuencia. La clase Intelligent-Tiering de almacenamiento ofrece el mejor equilibrio entre precio y rendimiento para la mayoría de las cargas de trabajo. Utilice la clase Intelligent-Tiering de almacenamiento para cargas de trabajo que admitan caché y que no requieran el rendimiento del almacenamiento basado íntegramente en tecnología flash para todos los datos. Intelligent-Tiering los sistemas de archivos admiten capacidades de rendimiento en incrementos de 4000 MBps.
La clase de almacenamiento en HDD se puede utilizar con cargas de trabajo que necesitan una latencia de ms uniforme de un solo dígito en todos los datos. Puede aprovisionar una caché de lectura SSD opcional con un tamaño equivalente al 20 % de la capacidad de almacenamiento de su disco duro para proporcionar acceso de baja latencia a los datos a los que se accede con frecuencia. Con el almacenamiento HDD, usted especifica el tamaño del sistema de archivos y paga por la cantidad de almacenamiento que aprovisiona. Para un sistema de archivos Persistent 1 con almacenamiento HDD, el rendimiento por unidad de almacenamiento es de 12 o 40 MBps por TiB.
Para obtener más información sobre el rendimiento de estas clases de almacenamiento, consulte Características de rendimiento de las clases de almacenamiento en SSD y HDD y Características de rendimiento de la clase Intelligent-Tiering de almacenamiento.
Cómo clasifica los datos la clase Intelligent-Tiering de almacenamiento
La clase de Intelligent-Tiering almacenamiento Amazon FSx almacena automáticamente los datos en tres niveles de acceso. Se ha diseñado para optimizar los costos de almacenamiento mediante el desplazamiento automático de los datos a la capa de acceso de almacenamiento más rentable, sin que afecte al rendimiento ni se produzca sobrecarga operativa. La clase Intelligent-Tiering de almacenamiento estratifica automáticamente los datos en función de la hora del último acceso, lo que optimiza automáticamente los costes de los datos menos activos:
Los datos a los que se accedió en los últimos 30 días se almacenan en la capa de acceso frecuente.
Los datos a los que no se accedió en 30 días consecutivos pasan automáticamente a la capa de acceso poco frecuente y cuestan menos que los datos de la capa de acceso frecuente.
Los datos a los que no se accedió en 90 días consecutivos pasan automáticamente al nivel Acceso instantáneo a archivos y cuestan menos que los datos del nivel de Acceso poco frecuente.
Cuando acceda a los datos del Acceso poco frecuente o Acceso instantáneo de archivos, los datos se desplazan automáticamente al nivel de Acceso frecuente. Además, operaciones como la modificación de la capacidad de procesamiento (que reequilibra los datos entre las OST), la reorganización de los archivos o directorios o el uso de `lfs migrate` podrían devolver algunos datos al nivel de acceso frecuente.
Todos los accesos a los datos no almacenados en caché tienen las mismas características de rendimiento, independientemente del nivel de datos, y no hay costes adicionales de IOPS, recuperación o transición más allá de los costes operativos normales. read/write
Disponibilidad del tipo de implementación
Los tipos de implementación Scratch 2, Persistent 1 y Persistent 2 están disponibles de la siguiente manera: Regiones de AWS
| Región de AWS | Persistent 2 | Persistent 1 | Scratch 2 |
|---|---|---|---|
|
Este de EE. UU. (Ohio) |
✓ |
✓ |
✓ |
|
Este de EE. UU. (Norte de Virginia) |
✓ |
✓ |
✓ |
|
Zona local del Este de EE. UU. (Atlanta) |
✓ * |
||
|
Zona local del Este de EE. UU. (Dallas) |
✓ * |
||
|
Zona local de EE. UU. Este (South Bend) |
✓ * |
||
|
Oeste de EE. UU. (Norte de California) |
✓ |
✓ |
✓ |
|
Zona local del Oeste de EE. UU. (Los Ángeles) |
✓ |
✓ |
|
|
Oeste de EE. UU. (Oregón) |
✓ |
✓ |
✓ |
|
Zona en las instalaciones del Oeste de EE. UU. (Phoenix) |
✓ * |
||
|
África (Ciudad del Cabo) |
✓ |
✓ |
|
|
Asia-Pacífico (Nueva Zelanda) |
✓ * |
||
|
Asia-Pacífico (Hong Kong) |
✓ |
✓ |
✓ |
|
Asia-Pacífico (Hyderabad) |
✓ |
✓ |
✓ |
|
Asia-Pacífico (Yakarta) |
✓ |
✓ |
✓ |
|
Asia-Pacífico (Malasia) |
✓ * |
||
|
Asia-Pacífico (Melbourne) |
✓ |
✓ |
|
|
Asia-Pacífico (Mumbai) |
✓ |
✓ |
✓ |
|
Asia-Pacífico (Osaka) |
✓ |
✓ |
|
|
Asia-Pacífico (Seúl) |
✓ |
✓ |
✓ |
|
Asia-Pacífico (Singapur) |
✓ |
✓ |
✓ |
|
Asia-Pacífico (Sídney) |
✓ |
✓ |
✓ |
|
Asia-Pacífico (Taipéi) |
✓ * |
||
|
Asia-Pacífico (Tailandia) |
✓ * |
||
|
Asia-Pacífico (Tokio) |
✓ |
✓ |
✓ |
|
Canadá (centro) |
✓ |
✓ |
✓ |
|
Oeste de Canadá (Calgary) |
✓ * |
||
|
Europa (Fráncfort) |
✓ |
✓ |
✓ |
|
Europa (Irlanda) |
✓ |
✓ |
✓ |
|
Europa (Londres) |
✓ |
✓ |
✓ |
|
Europa (Milán) |
✓ |
✓ |
|
|
Europa (París) |
✓ |
✓ |
|
|
Europa (España) |
✓ |
✓ |
|
|
Europa (Estocolmo) |
✓ |
✓ |
✓ |
|
Europa (Zúrich) |
✓ |
✓ |
✓ |
|
Israel (Tel Aviv) |
✓ * |
✓ |
|
|
México (centro) |
✓ * |
||
|
Middle East (Bahrain) |
✓ |
✓ |
|
|
Medio Oriente (EAU) |
✓ |
✓ |
|
|
América del Sur (São Paulo) |
✓ |
✓ |
✓ |
|
AWS GovCloud (US-East) |
✓ |
✓ |
|
|
AWS GovCloud (US-West) |
✓ |
✓ |
nota
* Estos sistemas de Persistent-250 archivos son Regiones de AWS compatibles Persistent-125 con la clase de almacenamiento SSD sin EFA.
