Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Solución de problemas de verificación de datos
De forma predeterminada, AWS DataSync verifica la integridad de los datos al final de una transferencia. Usa la siguiente información para ayudarte a diagnosticar los errores y advertencias de verificación más comunes, como la modificación o eliminación de archivos antes de DataSync terminar de verificar los datos.
En el caso de los problemas de verificación, muchas veces resulta útil revisar CloudWatch los registros (o informes de tareas) además del error de ejecución de la tarea que se esté detectando. DataSyncproporciona registros estructurados en JSON para las tareas del modo mejorado, mientras que las tareas del modo básico tienen registros no estructurados.
Hay discrepancias entre el contenido de un archivo.
Cuando finaliza la ejecución de la tarea, aparece el siguiente error:
Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs
En sus CloudWatch registros, es posible que observe errores en las verificaciones de los contenidos que difieren entre las ubicaciones de origen y destino. Esto puede ocurrir si los archivos se modifican durante la transferencia.
Por ejemplo, los siguientes registros muestran que file1.txt tiene valores mtime, srcHash y dstHash diferentes:
- Ejemplo de registro del modo básico
-
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=534528 atime=1633100003/684349800 mtime=1602647222/222919600extAttrsHash=0 [NOTICE] srcHash:0c506c26bd1e43bd3ac346734f1a9c16c4ad100d1b43c2903772ca894fd24e44[NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=511001 atime=1633100003/684349800 mtime=1633106855/859227500extAttrsHash=0 [NOTICE] dstHash:dbd798929f11a7c0201e97f7a61191a83b4e010a449dfc79fbb8233801067c46
En DataSync, mtime representa la última vez que se escribió un archivo antes de su preparación. Al verificar las transferencias, DataSync compara mtime los valores entre las ubicaciones de origen y destino. Un error de verificación como este se produce si el mtime de un archivo no es el mismo en ambas ubicaciones. Las diferencias entre srcHash y dstHash indican que el contenido del archivo no coincide en ambas ubicaciones.
Acciones que ejecutar
Haga lo siguiente:
-
Utilice un conversor de tiempo de época para determinar si el archivo u objeto de origen o de destino se modificó más recientemente. Esto puede ayudar a identificar qué versión es la actual.
-
Para evitar que este error se vuelva a producir, programe la ejecución de la tarea durante un periodo de mantenimiento en la que no haya actividad ni en el origen ni en el destino.
Hay una discrepancia en los metadatos SMB de un archivo
Cuando finaliza la ejecución de la tarea, aparece el siguiente error:
Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs
Al transferir datos entre sistemas de almacenamiento que admiten el protocolo Bloque de mensajes del servidor (SMB), puede aparecer este error cuando los atributos SMB extendidos de un archivo no coinciden entre el origen y el destino.
Por ejemplo, los siguientes registros muestran que file1.txt tiene un valor extAttrsHash distinto entre las ubicaciones, lo que indica que el contenido del archivo es idéntico, pero que los atributos extendidos no se configuraron en el destino:
- Ejemplo de registro del modo básico
-
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=1469752 atime=1631354985/174924200 mtime=1536995541/986211400 extAttrsHash=2272191894[NOTICE] srcHash: 38571d42b646ac8f4034b7518636b37dd0899c6fc03cdaa8369be6e81a1a2bb5 [NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=1469752 atime=1631354985/174924200 mtime=1536995541/986211400 extAttrsHash=3051150340[NOTICE] dstHash: 38571d42b646ac8f4034b7518636b37dd0899c6fc03cdaa8369be6e81a1a2bb5
También puede aparecer un mensaje de error relacionado con los atributos extendidos:
[ERROR] Deferred error: WriteFileExtAttr2 failed to setextattrlist(filename="/directory1/directory2/file1.txt"): Input/output error
Acción que debe ejecutarse
Este error suele producirse cuando no hay permisos suficientes para copiar las listas de control de acceso (ACLs) al destino. Para resolver este problema, revise las siguientes guías de configuración según el tipo de destino:
-
Permisos necesarios FSx para los sistemas de archivos del servidor de archivos de Windows
-
Permisos necesarios FSx para los sistemas de archivos ONTAP que utilizan SMB
Los archivos que se van a transferir ya no están en la ubicación de origen
Cuando finaliza la ejecución de la tarea, aparece el siguiente error:
Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.
En los registros, es posible que veas errores que indican que los archivos no están en la ubicación de origen. Esto puede ocurrir si los archivos (como file1.dll yfile2.dll) se eliminan después de su preparación pero antes de DataSync transferirlos:
- Ejemplo de registro del modo básico
-
[ERROR] Failed to open source file /file1.dll: No such file or directory [ERROR] Failed to open source file /file2.dll: No such file or directory
Acción que debe ejecutarse
Para evitar estas situaciones, programe la ejecución de la tarea cuando no haya actividad en la ubicación de origen.
Por ejemplo, puede ejecutar la tarea durante un periodo de mantenimiento en el que los usuarios y las aplicaciones no operen activamente con esa ubicación.
En algunos casos, es posible que no vea registros asociados con este error. Si esto ocurre, póngase en contacto con el Centro AWS Support
DataSync no puede verificar los datos de destino
Cuando finaliza la ejecución de la tarea, aparece el siguiente error:
Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs
En tus registros, es posible que notes que no DataSync se pueden verificar determinadas carpetas o archivos de la ubicación de destino. Estos errores pueden tener el siguiente aspecto:
- Ejemplo de registro del modo básico
-
[ERROR] Failed to read metadata for destination file /directory1/directory2/file1.txt: No such file or directory
En el caso de archivos, puede ver errores de verificación como los siguientes:
- Ejemplo de registro del modo básico
-
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=61533 atime=1633099987/747713800 mtime=1536995631/894267700 extAttrsHash=232104771 [NOTICE] srcHash: 1426fe40f669a7d36cca1b5329983df31a9aeff8eb9fe3ac885f26de2f8fff6b [NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=0 atime=0/0 mtime=0/0 extAttrsHash=0 [NOTICE] dstHash: 0000000000000000000000000000000000000000000000000000000000000000
Acción que debe ejecutarse
Estos registros indican que los datos del destino se eliminaron después de la transferencia, pero antes de la verificación. (Los registros presentan un aspecto similar cuando los datos se cargan en una ubicación de origen dentro del mismo intervalo de tiempo.)
Para evitar estas situaciones, programe la ejecución de la tarea cuando no haya actividad en la ubicación de destino.
Por ejemplo, puede ejecutar la tarea durante un periodo de mantenimiento en el que los usuarios y las aplicaciones no operen activamente con esa ubicación.
DataSync no puede leer los metadatos del objeto
Cuando finaliza la ejecución de la tarea, aparece el siguiente error:
Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.
En sus registros, es posible que observe que no DataSync se puede leer file1.png debido a una HeadObject solicitud de Amazon S3 fallida. DataSync realiza HeadObject solicitudes a las ubicaciones de S3 durante la preparación y verificación de las tareas.
- Ejemplo de registro del modo básico
-
[WARN] Failed to read metadata for file /file1.png: S3 Head Object Failed
Acciones que ejecutar
Para solucionar este problema, compruebe si DataSync tiene el nivel de permisos adecuado para trabajar con su bucket de S3:
-
Asegúrese de que el rol de IAM que DataSync utiliza para acceder a sus ubicaciones de Amazon S3 permita el
s3:GetObjectpermiso. Para obtener más información, consulte Permisos necesarios. -
Si su bucket de S3 utiliza cifrado del lado del servidor, asegúrese de que DataSync tiene permiso para acceder a los objetos de ese bucket. Para obtener más información, consulte Acceso a buckets de S3 mediante el cifrado del servidor.
Hay una discrepancia en los metadatos definidos por el sistema de un objeto
Cuando finaliza la ejecución de una tarea en modo mejorado entre buckets de S3, aparece el siguiente error:
Verification failed due to a difference in metadata
En los registros, puede observar una discrepancia en los metadatos definidos por el sistema de Amazon S3 de un objeto. En este ejemplo concreto, el objeto de origen no tiene metadatos Content-Type, pero el objeto de destino sí. Esto ocurrió porque el bucket de S3 de destino aplicaba automáticamente "ContentType":
"application/octet-stream" los metadatos al objeto cuando lo DataSync transfería allí.
- Ejemplo de registro del modo mejorado
-
{ "Action": "VERIFY", "Source": { "LocationId": "loc-0b3017fc4ba4a2d8d", "RelativePath": "encoding/content-null", "Metadata": { "Type": "Object", "ContentSize": 24, "LastModified": "2024-12-23T15:48:15Z", "S3": { "SystemMetadata": { "ETag": "\"68b9c323bb846841ee491481f576ed4a\"" }, "UserMetadata": {}, "Tags": {} } } }, "Destination": { "LocationId": "loc-abcdef01234567890", "RelativePath": "encoding/content-null", "Metadata": { "Type": "Object", "ContentSize": 24, "LastModified": "2024-12-23T16:00:03Z", "S3": { "SystemMetadata": { "ContentType": "application/octet-stream", "ETag": "\"68b9c323bb846841ee491481f576ed4a\"" }, "UserMetadata": { "file-mtime": "1734968895000" }, "Tags": {} } } }, "TransferType": "CONTENT_AND_METADATA", "ErrorCode": "MetadataDiffers", "ErrorDetail": "Verification failed due to a difference in metadata" }
Acción que debe ejecutarse
Para evitar este error, actualice los objetos de la ubicación de origen para que incluyan la propiedad de metadatos Content-Type.
Descripción de la duración de la verificación de datos
DataSync La verificación incluye una SHA256 suma de verificación del contenido del archivo y una comparación exacta de los metadatos del archivo entre ubicaciones. El tiempo que tarda la verificación depende de varios factores, entre ellos el número de archivos u objetos implicados, el tamaño de los datos en los sistemas de almacenamiento y el rendimiento de dichos sistemas.
Acción que debe ejecutarse
Dado que estos factores pueden afectar al tiempo de verificación, no es necesario que realice ninguna acción. No obstante, si la ejecución de la tarea parece quedar bloqueada en el estado verificando, póngase en contacto con el Centro de AWS Support