View a markdown version of this page

Uso de las tareas del repositorio de datos para exportar los cambios - FSx para Lustre

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de las tareas del repositorio de datos para exportar los cambios

La tarea de exportación del repositorio de datos exporta los archivos nuevos o modificados en el sistema de archivos. Crea un objeto nuevo en S3 para cualquier archivo nuevo del sistema de archivos. Para cualquier archivo que se haya modificado en el sistema de archivos o cuyos metadatos se hayan modificado, el objeto correspondiente de S3 se sustituye por un objeto nuevo con los nuevos datos y metadatos. No se realiza ninguna acción en relación con los archivos que se han eliminado del sistema de archivos.

nota

Tenga en cuenta las siguientes consideraciones al utilizar las tareas de exportación de repositorios de datos:

  • No se admite el uso de caracteres comodín para incluir o excluir archivos para la exportación.

  • Al realizar operaciones mv, el archivo de destino después de moverlo se exportará a S3 aunque no se haya producido ningún cambio en el UID, el GID, el permiso o el contenido.

Utilice los siguientes procedimientos para exportar los cambios de datos y metadatos del sistema de archivos a buckets de S3 vinculados mediante la consola Amazon FSx y la CLI. Tenga en cuenta que puede utilizar una tarea de repositorio de datos para varias DRA.

  1. Abra la consola Amazon FSx en. https://console.aws.amazon.com/fsx/

  2. En el panel de navegación, elija Sistemas de archivos y, a continuación, elija el sistema de archivos de Lustre.

  3. Elija la pestaña Data repository.

  4. En el panel Data repository associations, elija la asociación de repositorios de datos para la que desea crear la tarea de exportación.

  5. Para Actions, elija Export. Esta opción no está disponible si el sistema de archivos no está vinculado a un repositorio de datos en S3. Aparece el cuadro de diálogo de Create export data repository task.

  6. (Opcional) Especifique hasta 32 directorios o archivos para exportar desde su sistema de archivos Amazon FSx proporcionando las rutas a esos directorios o archivos en File system paths to export. Las rutas que proporcione deben estar en relación con el punto de montaje del sistema de archivos. Si el punto de montaje es /mnt/fsx y /mnt/fsx/path1 es un directorio o un archivo del sistema de archivos que desea exportar, la ruta que debe proporcionarse es path1.

    nota

    Si la ruta que proporciona no es válida, la tarea devuelve un error.

  7. (Opcional) Elija Enable en el Completion report para generar un informe de finalización de la tarea una vez finalizada la tarea. Un task completion report proporciona detalles sobre los archivos procesados por la tarea que cumplen con el alcance indicado en el Report scope. Para especificar la ubicación en la que Amazon FSx entregará el informe, introduzca una ruta relativa en un repositorio de datos de S3 vinculado para la Report path.

  8. Seleccione Crear.

    Una notificación en la parte superior de la página de File systems muestra la tarea que acaba de crear en curso.

Para ver el estado y los detalles de la tarea, desplácese hacia abajo hasta el panel Data Repository Tasks de la pestaña Data Repository del sistema de archivos. El orden predeterminado muestra la tarea más reciente en la parte superior de la lista.

Para ver un resumen de la tarea en esta página, elija el Task ID de la tarea que acaba de crear. Aparece la página de Summary de la tarea.

  • Utilice el comando create-data-repository-task de la CLI para exportar datos y cambios de metadatos en su sistema de archivos de FSx para Lustre. La operación de API correspondiente es CreateDataRepositoryTask.

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true

    Después de crear correctamente la tarea de repositorio de datos, Amazon FSx devuelve la descripción de la tarea en formato JSON, como se muestra en el siguiente ejemplo.

    {
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.120",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

Después de crear la tarea para exportar datos al repositorio de datos vinculado, puede comprobar el estado de la tarea de exportación de datos. Para obtener más información sobre cómo ver las tareas del repositorio de datos, consulte Acceder a las tareas del repositorio de datos.