As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Configurações do Apache Flink O Managed Service for Apache Flink é uma implementação da estrutura Apache Flink. O Managed Service for Apache Flink usa os valores padrão descritos nesta seção. Alguns desses valores podem ser definidos pelos aplicativos Managed Service for Apache Flink em código, e outros não podem ser alterados. Use os links desta seção para saber mais sobre as configurações do Apache Flink e quais são modificáveis. **Topics** + [ ## Configuração do Apache Flink ](#apache-flink-configuration) + [ ## Estado de backend ](#reference-defaults-state-backend) + [ ## Pontos de verificação ](#reference-defaults-checkpoint) + [ ## Salvamento ](#reference-defaults-savepoint) + [ ## Tamanhos de heap ](#reference-defaults-heap) + [ ## Diminuição do buffer ](#reference-defaults-buffer-debloating) + [ # Propriedades de configuração modificáveis do Flink ](reference-modifiable-settings.md) + [ # Propriedades de configuração programática do Flink ](programmatic-configuration.md) + [ # Visualizar propriedades configuradas do Flink ](viewing-modifiable-settings.md) ## Configuração do Apache Flink O Managed Service for Apache Flink fornece uma configuração padrão do Flink que consiste em valores recomendados pelo Apache Flink para a maioria das propriedades e alguns baseados em perfis comuns de aplicativos. Para obter mais informações sobre a configuração do Flink, consulte [Configuração](https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/). A configuração padrão fornecida pelo serviço funciona para a maioria dos aplicativos. No entanto, para ajustar as propriedades de configuração do Flink para melhorar o desempenho de determinados aplicativos com alto paralelismo, alto uso de memória e estado, ou habilitar novos recursos de depuração no Apache Flink, você poderá alterar determinadas propriedades solicitando um caso de suporte. Para obter mais informações, consulte o [Support Center do AWS](https://console.aws.amazon.com/support/home#/). Você pode verificar a configuração atual do seu aplicativo usando o [painel do Apache Flink](https://docs.aws.amazon.com/managed-flink/latest/java/how-dashboard.html). ## Estado de backend O Managed Service for Apache Flink armazena dados transitórios em um estado de backend. O serviço gerenciado para Apache Flink usa o **Rocks DBState** Backend. Chamar `setStateBackend` para definir um backend diferente não tem efeito. Habilitamos os seguintes recursos no estado de backend: + Snapshots incrementais de estado de backend + Snapshots de estado assíncrono de backend + Recuperação local dos pontos de verificação Para obter mais informações sobre estados de backend, consulte [State Backends](https://nightlies.apache.org/flink/flink-docs-release-1.19/ops/state/state_backends.html) na documentação do Apache Flink. ## Pontos de verificação O Managed Service for Apache Flink usa uma configuração de ponto de verificação padrão com os seguintes valores. Alguns desses valores podem ser alterados usando [CheckpointConfiguration](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CheckpointConfiguration.html). Você deve definir `CheckpointConfiguration.ConfigurationType` para `CUSTOM` que o Managed Service for Apache Flink use valores de pontos de verificação modificados. **** | Configuração | Pode ser modificada? | Como | Valor padrão | | --- | --- | --- | --- | | CheckpointingEnabled | Modificável | [Criar aplicativo](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplication.html) [Atualizar um aplicativo](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_UpdateApplication.html) [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_KinesisAnalyticsV2.html) | Verdadeiro | | CheckpointInterval | Modificável | [Criar aplicativo](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplication.html) [Atualizar um aplicativo](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_UpdateApplication.html) [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_KinesisAnalyticsV2.html) | 60000 | | MinPauseBetweenCheckpoints | Modificável | [Criar aplicativo](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplication.html) [Atualizar um aplicativo](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_UpdateApplication.html) [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_KinesisAnalyticsV2.html) | 5000 | | Pontos de verificação não alinhados | Modificável | [Caso de suporte](https://console.aws.amazon.com/support/home#/) | Falso | | Número de pontos de verificação simultâneos | Não modificável | N/D | 1 | | Modo de verificação | Não modificável | N/D | Exatamente uma vez | | Política de retenção do ponto de verificação | Não modificável | N/D | Em caso de falha | | Tempo limite do ponto de verificação | Não modificável | N/D | 60 minutos | | Número máximo de pontos de verificação retidos | Não modificável | N/D | 1 | | Localização do ponto de verificação e do ponto de salvamento | Não modificável | N/D | Armazenamos dados duráveis de pontos de verificação e pontos de salvamento em um bucket S3 de propriedade do serviço. | ## Salvamento Por padrão, ao restaurar a partir de um ponto de salvamento, a operação de retomada tentará mapear todo o estado do ponto de salvamento de volta até o programa com o qual você está restaurando. Se você descartar um operador, por padrão, a restauração a partir de um ponto de salvamento que tenha dados que correspondam ao operador ausente falhará. Você pode permitir que a operação seja bem-sucedida definindo o *AllowNonRestoredState*parâmetro do aplicativo [FlinkRunConfiguration](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_FlinkRunConfiguration.html)para`true`. Isso permitirá que a operação de retomada ignore um estado que não possa ser mapeado para o novo programa. Para obter mais informações, consulte [Allowing Non-Restored State](https://nightlies.apache.org/flink/flink-docs-release-1.15/ops/state/savepoints.html#allowing-non-restored-state) (Permitir estado não restaurado) na [documentação do Apache Flink](https://nightlies.apache.org/flink/flink-docs-release-1.15/). ## Tamanhos de heap O Managed Service for Apache Flink aloca cada KPU 3 GiB do heap da JVM e reserva 1 GiB para alocações de código nativo. Para obter informações sobre como aumentar a capacidade do seu aplicativo, consulte [Implemente a escalabilidade de aplicativos no Managed Service for Apache Flink](how-scaling.md). Para obter mais informações sobre tamanhos de heap da JVM, consulte [Configuração](https://nightlies.apache.org/flink/flink-docs-release-1.15/ops/config.html) na [documentação do Apache Flink](https://nightlies.apache.org/flink/flink-docs-release-1.15/). ## Diminuição do buffer A diminuição do buffer pode ajudar aplicativos com alta contrapressão. Se o seu aplicativo apresentar falhas nos pontos de verificação/salvamento, habilitar esse recurso pode ser útil. Para fazer isso, solicite um [caso de suporte](https://console.aws.amazon.com/support/home#/). Para obter mais informações, consulte [The Buffer Debloating Mechanism](https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/memory/network_mem_tuning/#the-buffer-debloating-mechanism) na [documentação do Apache Flink](https://nightlies.apache.org/flink/flink-docs-release-1.15/). # Propriedades de configuração modificáveis do Flink A seguir estão as configurações do Flink que você pode modificar usando um [caso de suporte](https://console.aws.amazon.com/support/home#/). Você pode modificar mais de uma propriedade por vez e para vários aplicativos ao mesmo tempo especificando o prefixo do aplicativo. Se houver outras propriedades de configuração do Flink fora dessa lista que você queira modificar, especifique a propriedade exata no seu caso. ## Estratégia de reinicialização A partir do Flink 1.19 e versões posteriores, usamos a estratégia de reinicialização `exponential-delay` por padrão. Todas as versões anteriores usam a estratégia de reinicialização `fixed-delay` por padrão. `restart-strategy:` `restart-strategy.fixed-delay.delay:` `restart-strategy.exponential-delay.backoff-muliplier:` `restart-strategy.exponential-delay.initial-backoff:` `restart-strategy.exponential-delay.jitter-factor:` `restart-strategy.exponential-delay.reset-backoff-threshold:` ## Pontos de verificação e estados de backend `state.backend.type:` `state.backend.fs.memory-threshold:` `state.backend.incremental:` ## Pontos de verificação `execution.checkpointing.unaligned:` `execution.checkpointing.interval-during-backlog:` ## Métricas nativas do RocksDB As métricas nativas do RocksDB não são enviadas para o. CloudWatch Depois de ativadas, essas métricas podem ser acessadas no painel do Flink ou na API REST do Flink com ferramentas personalizadas. O Managed Service para Apache Flink permite que os clientes acessem a [API REST](https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/ops/rest_api/) mais recente do Flink (ou a versão compatível que você está usando) no modo somente leitura usando a API. [CreateApplicationPresignedUrl](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplicationPresignedUrl.html) Essa API é usada pelo próprio painel do Flink, mas também pode ser usada por ferramentas de monitoramento personalizadas. `state.backend.rocksdb.metrics.actual-delayed-write-rate:` `state.backend.rocksdb.metrics.background-errors:` `state.backend.rocksdb.metrics.block-cache-capacity:` `state.backend.rocksdb.metrics.block-cache-pinned-usage:` `state.backend.rocksdb.metrics.block-cache-usage:` `state.backend.rocksdb.metrics.column-family-as-variable:` `state.backend.rocksdb.metrics.compaction-pending:` `state.backend.rocksdb.metrics.cur-size-active-mem-table:` `state.backend.rocksdb.metrics.cur-size-all-mem-tables:` `state.backend.rocksdb.metrics.estimate-live-data-size:` `state.backend.rocksdb.metrics.estimate-num-keys:` `state.backend.rocksdb.metrics.estimate-pending-compaction-bytes:` `state.backend.rocksdb.metrics.estimate-table-readers-mem:` `state.backend.rocksdb.metrics.is-write-stopped:` `state.backend.rocksdb.metrics.mem-table-flush-pending:` `state.backend.rocksdb.metrics.num-deletes-active-mem-table:` `state.backend.rocksdb.metrics.num-deletes-imm-mem-tables:` `state.backend.rocksdb.metrics.num-entries-active-mem-table:` `state.backend.rocksdb.metrics.num-entries-imm-mem-tables:` `state.backend.rocksdb.metrics.num-immutable-mem-table:` `state.backend.rocksdb.metrics.num-live-versions:` `state.backend.rocksdb.metrics.num-running-compactions:` `state.backend.rocksdb.metrics.num-running-flushes:` `state.backend.rocksdb.metrics.num-snapshots:` `state.backend.rocksdb.metrics.size-all-mem-tables:` ## Opções do RocksDB `state.backend.rocksdb.compaction.style:` `state.backend.rocksdb.memory.partitioned-index-filters:` `state.backend.rocksdb.thread.num:` ## Opções avançadas de estados de backends `state.storage.fs.memory-threshold:` ## TaskManager Opções completas `task.cancellation.timeout:` `taskmanager.jvm-exit-on-oom:` `taskmanager.numberOfTaskSlots:` `taskmanager.slot.timeout:` `taskmanager.memory.network.fraction:` `taskmanager.memory.network.max:` `taskmanager.network.request-backoff.initial:` `taskmanager.network.request-backoff.max:` `taskmanager.network.memory.buffer-debloat.enabled:` `taskmanager.network.memory.buffer-debloat.period:` `taskmanager.network.memory.buffer-debloat.samples:` `taskmanager.network.memory.buffer-debloat.threshold-percentages:` ## Configuração de memória `taskmanager.memory.jvm-metaspace.size:` `taskmanager.memory.jvm-overhead.fraction:` `taskmanager.memory.jvm-overhead.max:` `taskmanager.memory.managed.consumer-weights:` `taskmanager.memory.managed.fraction:` `taskmanager.memory.network.fraction:` `taskmanager.memory.network.max:` `taskmanager.memory.segment-size:` `taskmanager.memory.task.off-heap.size:` ## RPC/Akka `akka.ask.timeout:` `akka.client.timeout:` `akka.framesize:` `akka.lookup.timeout:` `akka.tcp.timeout:` ## Cliente `client.timeout:` ## Opções avançadas de cluster `cluster.intercept-user-system-exit:` `cluster.processes.halt-on-fatal-error:` ## Configurações do Filesystem `fs.s3.connection.maximum:` `fs.s3a.connection.maximum:` `fs.s3a.threads.max:` `s3.upload.max.concurrent.uploads:` ## Opções avançadas de tolerância a falhas `heartbeat.timeout:` `jobmanager.execution.failover-strategy:` ## Configuração de memória `jobmanager.memory.heap.size:` ## Metrics `metrics.latency.interval:` ## Opções avançadas para o endpoint REST e cliente `rest.flamegraph.enabled:` `rest.server.numThreads:` ## Opções avançadas de segurança SSL `security.ssl.internal.handshake-timeout:` ## Opções avançadas de programação `slot.request.timeout:` ## Opções avançadas para interface do usuário da web do Flink `web.timeout:` # Propriedades de configuração programática do Flink A seguir estão as propriedades de configuração do Flink que você pode modificar diretamente no código do aplicativo. A partir do MSF 2.2, uma exceção será lançada se você tentar modificar uma propriedade não listada nesta página no código do seu aplicativo. **nota** Essas propriedades são diferentes das configurações modificadas por meio do AWS Support case. Para configurações em nível de infraestrutura, como TaskManager memória, back-end de estado, ajuste do RocksDB e estratégias de reinicialização, consulte. [Propriedades de configuração modificáveis do Flink](reference-modifiable-settings.md) ## Configuração do pipeline `execution.runtime-mode` `pipeline.auto-generate-uids` `pipeline.auto-watermark-interval` `pipeline.cached-files` `pipeline.classpaths` `pipeline.closure-cleaner-level` `pipeline.force-avro` `pipeline.force-kryo` `pipeline.generic-types` `pipeline.global-job-parameters` `pipeline.jars` `pipeline.jobvertex-parallelism-overrides` `pipeline.max-parallelism` `pipeline.name` `pipeline.object-reuse` `pipeline.operator-chaining.chain-operators-with-different-max-parallelism` `pipeline.operator-chaining.enabled` `pipeline.serialization-config` `pipeline.vertex-description-mode` `pipeline.vertex-name-include-index-prefix` `pipeline.watermark-alignment.allow-unaligned-source-splits` ## API Python `python.execution-mode` `python.operator-chaining.enabled` `python.job-options` `python.internal.archives-key-map` `python.internal.files-key-map` `python.internal.requirements-file-key` ## Tabela API/SQL `table.exec.async-lookup.buffer-capacity` `table.exec.async-lookup.key-ordered-enabled` `table.exec.async-lookup.output-mode` `table.exec.async-lookup.timeout` `table.exec.async-ml-predict.max-concurrent-operations` `table.exec.async-ml-predict.output-mode` `table.exec.async-ml-predict.timeout` `table.exec.async-scalar.max-concurrent-operations` `table.exec.async-scalar.max-attempts` `table.exec.async-scalar.retry-delay` `table.exec.async-scalar.retry-strategy` `table.exec.async-scalar.timeout` `table.exec.async-state.enabled` `table.exec.async-table.max-concurrent-operations` `table.exec.async-table.max-retries` `table.exec.async-table.retry-delay` `table.exec.async-table.retry-strategy` `table.exec.async-table.timeout` `table.exec.async-vector-search.max-concurrent-operations` `table.exec.async-vector-search.output-mode` `table.exec.async-vector-search.timeout` `table.exec.deduplicate.insert-update-after-sensitive-enabled` `table.exec.deduplicate.mini-batch.compact-changes-enabled` `table.exec.delta-join.cache-enabled` `table.exec.disabled-operators` `table.exec.iceberg.use-v2-sink` `table.exec.interval-join.min-cleanup-interval` `table.exec.legacy-cast-behaviour` `table.exec.local-hash-agg.adaptive.distinct-value-rate-threshold` `table.exec.local-hash-agg.adaptive.enabled` `table.exec.local-hash-agg.adaptive.sampling-threshold` `table.exec.mini-batch.allow-latency` `table.exec.mini-batch.enabled` `table.exec.mini-batch.size` `table.exec.operator-fusion-codegen.enabled` `table.exec.simplify-operator-name-enabled` `table.exec.sink.keyed-shuffle` `table.exec.sink.nested-constraint-enforcer` `table.exec.sink.not-null-enforcer` `table.exec.sink.rowtime-inserter` `table.exec.sink.type-length-enforcer` `table.exec.sink.upsert-materialize` `table.exec.sink.upsert-materialize-strategy.adaptive.threshold.high` `table.exec.sink.upsert-materialize-strategy.adaptive.threshold.low` `table.exec.sink.upsert-materialize-strategy.type` `table.exec.sort.async-merge-enabled` `table.exec.sort.default-limit` `table.exec.sort.max-num-file-handles` `table.exec.source.cdc-events-duplicate` `table.exec.source.idle-timeout` `table.exec.spill-compression.block-size` `table.exec.spill-compression.enabled` `table.exec.state.ttl` `table.exec.uid.format` `table.exec.uid.generation` `table.exec.unbounded-over.version` `table.exec.window-agg.buffer-size-limit` `table.optimizer.agg-phase-strategy` `table.optimizer.adaptive-broadcast-join.strategy` `table.optimizer.bushy-join-reorder-threshold` `table.optimizer.delta-join.strategy` `table.optimizer.distinct-agg.split.bucket-num` `table.optimizer.distinct-agg.split.enabled` `table.optimizer.dynamic-filtering.enabled` `table.optimizer.incremental-agg-enabled` `table.optimizer.join-reorder-enabled` `table.optimizer.multi-join.enabled` `table.optimizer.multiple-input-enabled` `table.optimizer.non-deterministic-update.strategy` `table.optimizer.reuse-optimize-block-with-digest-enabled` `table.optimizer.reuse-sink-enabled` `table.optimizer.reuse-source-enabled` `table.optimizer.reuse-sub-plan-enabled` `table.optimizer.runtime-filter.enabled` `table.optimizer.skewed-join-optimization.skewed-factor` `table.optimizer.skewed-join-optimization.skewed-threshold` `table.optimizer.skewed-join-optimization.strategy` `table.optimizer.source.report-statistics-enabled` `table.optimizer.union-all-as-breakpoint-enabled` `table.builtin-catalog-name` `table.builtin-database-name` `table.catalog-modification.listeners` `table.column-expansion-strategy` `table.display.max-column-width` `table.dml-sync` `table.dynamic-table-options.enabled` `table.generated-code.max-length` `table.legacy-nested-row-nullability` `table.local-time-zone` `table.plan.compile.catalog-objects` `table.plan.force-recompile` `table.plan.restore.catalog-objects` `table.rtas-ctas.atomicity-enabled` `table.sql-dialect` # Visualizar propriedades configuradas do Flink Você pode visualizar as propriedades do Apache Flink que você mesmo configurou ou solicitou que fossem modificadas por meio de um [caso de suporte](https://support.console.aws.amazon.com/support/home#/) por meio do painel do Apache Flink e seguindo estas etapas: 1. Acesse o painel do Flink 1. Selecione **Job Manager** no painel de navegação do lado esquerdo. 1. Selecione **Configuração** para ver a lista de propriedades do Flink.