Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Acceda a los registros con la integración de tablas S3

La integración de S3 Tables con CloudWatch le permite acceder a los datos de registro ingeridos CloudWatch mediante motores de análisis como Amazon Athena, Amazon Redshift y herramientas de terceros que admiten la conexión a las tiendas de Apache. Iceberg-compatible Esta integración le permite realizar un análisis exhaustivo de los registros con las herramientas que prefiera y correlacionar los datos de los CloudWatch registros con los que no son datos. CloudWatch

Comprensión de la integración de tablas de S3

Amazon S3 Tables Integration es una solución totalmente gestionada que permite que los registros de los CloudWatch registros estén disponibles como tablas de Amazon S3 gestionadas. Con esta integración, obtiene una mayor flexibilidad a la hora de analizar sus registros, además de las funciones de CloudWatch Logs.

La integración funciona mediante la creación de un bucket de tablas de Amazon S3 gestionado (aws-cloudwatch) y la asociación de fuentes de registro específicas con tablas de Amazon S3 en función del nombre y el tipo de fuente de datos (que se pueden gestionar desde la pestaña Administración de CloudWatch registros > Fuentes de datos de Logs Console). Una vez asociados, se puede acceder a los datos de CloudWatch Logs a través de las tablas de Amazon S3 que utilizan el formato Apache Iceberg. Este formato proporciona una forma estandarizada para que varios motores de análisis consulten los datos de manera eficiente. Esta función está disponible sin coste adicional.

Componentes básicos

Flujo de datos a tablas de S3

Comprender cómo fluyen los datos entre CloudWatch los registros y las tablas de S3 le ayuda a planificar la integración y administrar los datos de registro de manera eficaz.

Al crear una asociación, CloudWatch Logs envía automáticamente nuevos eventos de registro que coinciden con el nombre y el tipo de la fuente de datos asociada a un depósito de tabla de CloudWatch-managed S3. Estos eventos aparecen en el espacio de nombres de los registros, en la tabla correspondiente a esa fuente de datos. Los procesos de integración solo registran los eventos recibidos una vez creada la asociación. Los datos de registro existentes no se rellenan. Al crear una integración de tablas de S3, si deja seleccionada la casilla de verificación Habilitar todos los tipos y fuentes de registro disponibles en la tabla de S3, todas las fuentes de datos de su cuenta se asocian automáticamente y se envían a las tablas de S3 de forma predeterminada, incluidas las fuentes de datos que se agreguen en el futuro. Para enviar solo fuentes de datos específicas a las tablas de S3, desactive esta casilla de verificación durante la creación de la integración y, a continuación, asocie individualmente las fuentes de datos que desee incluir.

La retención de datos en el depósito de tablas de S3 coincide con la política de retención establecida para el grupo de registros. Por ejemplo, si estableces un grupo de registros con una retención de 1 día, CloudWatch Logs elimina los datos tanto de los CloudWatch registros como de la tabla de S3 al cabo de un día. Al eliminar un grupo de registros o un flujo de CloudWatch registros, Logs también elimina los datos del depósito de tablas de S3.

Cuándo usar la integración de tablas de S3

Considere la posibilidad de utilizar la integración de S3 Tables para correlacionar los datos de registro con otros datos externos o que no sean CloudWatch datos o cuando prefiera utilizar otras herramientas de análisis, como Amazon Athena, para realizar análisis CloudWatch de los datos de Logs. Utilice esta integración cuando necesite funciones que vayan más allá de las disponibles en CloudWatch Logs. Esta integración es especialmente valiosa cuando:

Las tablas de S3 creadas mediante esta integración no conllevan cargos adicionales de almacenamiento o mantenimiento de tablas, aparte de los precios actuales de CloudWatch ingesta y almacenamiento.

Requisitos previos

Antes de implementar la integración, asegúrese de disponer de lo siguiente:

Permisos de IAM

Para integrar CloudWatch los registros con las tablas de S3, debe configurar los permisos de IAM para dos entidades distintas: el usuario o la función que configura la integración y la función de servicio que CloudWatch Logs asume al escribir los datos en las tablas de S3.

Para el rol o el usuario que crea la integración

El usuario o rol que configura la integración requiere los siguientes permisos:

Para el rol de servicio

Adjunte la siguiente política de IAM a la función de servicio de IAM que CloudWatch Logs utiliza para escribir datos en el depósito de la tabla. Esta política otorga permiso para escribir en las tablas. Sustituya aws-region y log-group-name por su AWS región, ID de cuenta y nombre de grupo de registro. 123456789012

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:integrateWithS3Table"
            ],
            "Resource": ["arn:aws:logs:aws-region:123456789012:log-group:log-group-name"],
            "Condition": {
                "StringEquals": {
                    "aws:ResourceAccount": "123456789012"
                }
            }
        }
    ]
}

Adjunte la siguiente política de confianza a la función de servicio de IAM que asumirá CloudWatch Logs al escribir los datos de registro en las tablas de S3. Este rol se crea o selecciona durante la configuración de la integración. Las condiciones restringen la función, por lo que CloudWatch Logs solo puede asumirla para la cuenta y el grupo de registros especificados. Sustituya aws-region y log-group-name por su AWS región, ID de cuenta y nombre del grupo de registros. 123456789012

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "logs.amazonaws.com"
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                },
                "ArnLike": {
                    "aws:SourceArn": ["arn:aws:logs:aws-region:123456789012:log-group:log-group-name"]
                }
            }
        } 
    ]
}

Política de claves de KMS (para datos cifrados)

Si utiliza una clave gestionada por el cliente para cifrar los datos de registro, debe conceder acceso a la clave al director del CloudWatch servicio y al principal del servicio de mantenimiento de S3 Tables. Añada las siguientes declaraciones a su política de claves de KMS. Sustituya los valores de los marcadores de posición por su Cuenta de AWS ID, región, ID de clave de KMS y ARN de tabla S3 o bucket de tabla.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EnableSystemTablesKeyUsage",
            "Effect": "Allow",
            "Principal": {
                "Service": "systemtables.cloudwatch.amazonaws.com"
            },
            "Action": [
                "kms:DescribeKey",
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "arn:aws:kms:aws-region:123456789012:key/key-id",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                }
            }
        },
        {
            "Sid": "EnableKeyUsage",
            "Effect": "Allow",
            "Principal": {
                "Service": "maintenance.s3tables.amazonaws.com"
            },
            "Action": [
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "arn:aws:kms:aws-region:123456789012:key/key-id",
            "Condition": {
                "StringLike": {
                    "kms:EncryptionContext:aws:s3:arn": "<table-or-table-bucket-arn>/*"
                }
            }
        }
    ]
}

Introducción

Para empezar a integrar las tablas de S3, debe configurar la integración entre sus CloudWatch registros y las tablas de S3. Este proceso implica configurar las asociaciones de fuentes de datos y configurar los permisos de IAM adecuados.

Antes de poder utilizar los datos, debe realizar los siguientes 3 pasos:

Integración de las tablas de Amazon S3 con AWS servicios de análisis: uso de la consola Amazon S3 (Link)

Configurar los permisos de Lake Formation

Si bien CloudWatch Logs tiene permiso para escribir en la tabla (configurado en los pasos anteriores), los usuarios y los roles de análisis no tienen permiso automáticamente para leer los datos. Debe conceder el acceso de forma explícita mediante AWS Lake Formation. Debe hacer esto para cada director de IAM al que desee dar acceso a la tabla.

Obtenga más información sobre los permisos de Lake Formation en https://docs.aws.amazon.com/lake-formation/latest/dg/granting-catalog-permissions.html.

Conéctese con las herramientas de análisis

Una vez concedidos los permisos, puede configurar su servicio de análisis preferido para consultar las tablas de S3. Las tablas S3 utilizan el formato Apache Iceberg, que Amazon Athena, Amazon Redshift y Amazon EMR admiten de forma nativa.

Para consultar datos de registro en Amazon Athena

Amazon Athena interactúa con S3 Tables a través del catálogo de Amazon S3 Tables.

Ejemplo de consulta: SELECT * FROM "amazon_vpc__flow" LIMIT 100;

Obtenga más información sobre cómo conectar los servicios de análisis con las tablas de S3 en https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-integrating-aws.html.