Aceleración de la migración con particionamiento de datos - AWS DataSync

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Aceleración de la migración con particionamiento de datos

En el caso de una migración a gran escala, recomendamos particionar el conjunto de datos con varias DataSync tareas. El particionamiento de los datos de origen en varias tareas (y, posiblemente, agentes) permite paralelizar las transferencias y reducir el plazo de la migración.

La partición también te ayuda a mantenerte dentro de DataSync las cuotas y simplifica la supervisión y la depuración de tus tareas.

El siguiente diagrama muestra cómo puede utilizar varias DataSync tareas y agentes para transferir datos desde la misma ubicación de almacenamiento de origen. En este escenario, cada tarea se centra en una carpeta específica en la ubicación de origen. Para obtener más información y ejemplos sobre estos enfoques, consulte Cómo acelerar las transferencias de datos con arquitecturas AWS DataSync escalables.

Un diagrama que muestra un enfoque DataSync para particionar los datos de origen a fin de acelerar una migración a gran escala.

Particionamiento del conjunto de datos por carpeta o prefijo

Al crear la ubicación de DataSync origen, puede especificar una carpeta, un directorio o un prefijo desde el que DataSync leer. Por ejemplo, si se migra un recurso compartido de archivos con directorios de nivel superior, puede crear varias ubicaciones que especifiquen rutas de directorio diferentes. A continuación, puede utilizar estas ubicaciones para ejecutar varias DataSync tareas durante la migración.

Particionamiento del conjunto de datos mediante filtros

Puede aplicar filtros para incluir o excluir datos de la ubicación de origen en una transferencia. En el contexto de una migración a gran escala, los filtros pueden ayudar a delimitar las tareas a partes específicas del conjunto de datos.

Por ejemplo, si se migran datos de archivo organizados por año, puede crear un filtro de inclusión que coincida con un año específico o con varios años. También puede modificar el filtro cada vez que se ejecute la tarea para que coincida con un año diferente.

Particionamiento del conjunto de datos mediante manifiestos

Un manifiesto es una lista de archivos u objetos que DataSync deseas transferir. Con un manifiesto, DataSync no es necesario leer todo lo que hay en la ubicación de origen para determinar qué se va a transferir.

Puede crear manifiestos a partir de los inventarios de su almacenamiento de origen o mediante enfoques basados en eventos (por ejemplo, consulte Implementación AWS DataSync con cientos de millones de objetos). También puede usar un manifiesto diferente cada vez que inicie una tarea, lo que permite transferir distintos conjuntos de datos con la misma tarea.