Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Apache Flink-Einstellungen Managed Service für Apache Flink ist eine Implementierung des Apache-Flink-Frameworks. Managed Service für Apache Flink verwendet die in diesem Abschnitt beschriebenen Standardwerte. Einige dieser Werte können vom Managed Service für Apache Flink-Anwendungen im Code festgelegt werden, andere können nicht geändert werden. Verwenden Sie die Links in diesem Abschnitt, um mehr über die Apache Flink-Einstellungen zu erfahren und zu erfahren, welche Einstellungen geändert werden können. **Topics** + [Apache Flink-Konfiguration](#apache-flink-configuration) + [Bundesstaatliches Backend](#reference-defaults-state-backend) + [Checkpointing](#reference-defaults-checkpoint) + [Savepointing](#reference-defaults-savepoint) + [Haufengrößen](#reference-defaults-heap) + [Puffer-Entlastung](#reference-defaults-buffer-debloating) + [Anpassbare Flink-Konfigurationseigenschaften](reference-modifiable-settings.md) + [Eigenschaften der programmatischen Flink-Konfiguration](programmatic-configuration.md) + [Konfigurierte Flink-Eigenschaften anzeigen](viewing-modifiable-settings.md) ## Apache Flink-Konfiguration Managed Service für Apache Flink bietet eine Standard-Flink-Konfiguration, die aus von Apache Flink empfohlenen Werten für die meisten Eigenschaften und einigen wenigen, die auf gängigen Anwendungsprofilen basieren, besteht. Weitere Informationen zur Flink-Konfiguration finden Sie unter [Konfiguration](https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/). Die vom Service bereitgestellte Standardkonfiguration funktioniert für die meisten Anwendungen. Um jedoch die Flink-Konfigurationseigenschaften zu optimieren, um die Leistung bestimmter Anwendungen mit hoher Parallelität, hoher Speicher- und Statusauslastung zu verbessern oder neue Debugging-Funktionen in Apache Flink zu aktivieren, können Sie bestimmte Eigenschaften ändern, indem Sie eine Support-Anfrage stellen. Weitere Informationen finden Sie unter [AWS Support-Center](https://console.aws.amazon.com/support/home#/). Sie können die aktuelle Konfiguration für Ihre Anwendung mithilfe des [Apache-Flink-Dashboards](https://docs.aws.amazon.com/managed-flink/latest/java/how-dashboard.html) überprüfen. ## Bundesstaatliches Backend Managed Service für Apache Flink speichert transiente Daten in einem Zustands-Backend. Managed Service für Apache Flink verwendet das **DBStateRocks-Backend**. Der Aufruf von `setStateBackend`, um ein anderes Backend festzulegen, hat keine Auswirkung. Wir aktivieren die folgenden Features im Zustands-Backend: + Inkrementelle Zustands-Backend-Snapshots + Asynchrone Zustands-Backend-Snapshots + Lokale Wiederherstellung von Checkpoints Weitere Informationen zu State-Backends finden Sie unter [State Backends](https://nightlies.apache.org/flink/flink-docs-release-1.19/ops/state/state_backends.html) in der Apache Flink-Dokumentation. ## Checkpointing Managed Service für Apache Flink verwendet eine Checkpoint-Standardkonfiguration mit den folgenden Werten. Einige dieser Werte können mit geändert werden. [CheckpointConfiguration](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CheckpointConfiguration.html) Sie `CheckpointConfiguration.ConfigurationType` müssen `CUSTOM` für Managed Service for Apache Flink auf einstellen, um modifizierte Checkpoint-Werte zu verwenden. **** | Einstellung | Kann angepasst werden? | Wie | Standardwert | | --- | --- | --- | --- | | CheckpointingEnabled | Anpassbar | [Create Application](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplication.html) [Update Application](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_UpdateApplication.html) [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_KinesisAnalyticsV2.html) | Wahr | | CheckpointInterval | Anpassbar | [Create Application](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplication.html) [Update Application](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_UpdateApplication.html) [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_KinesisAnalyticsV2.html) | 60000 | | MinPauseBetweenCheckpoints | Anpassbar | [Create Application](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplication.html) [Update Application](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_UpdateApplication.html) [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_KinesisAnalyticsV2.html) | 5000 | | Nicht ausgerichtete Checkpoints | Anpassbar | [Support-Fall](https://console.aws.amazon.com/support/home#/) | False | | Anzahl gleichzeitiger Checkpoints | Nicht anpassbar | N/A | 1 | | Checkpointing-Modus | Nicht anpassbar | N/A | Genau einmal | | Checkpoint-Aufbewahrungsrichtlinie | Nicht anpassbar | N/A | Bei Fehlschlag | | Checkpoint-Timeout | Nicht anpassbar | N/A | 60 Minuten | | Maximale Anzahl aufbewahrter Checkpoints | Nicht anpassbar | N/A | 1 | | Checkpoint- und Savepoint-Speicherort | Nicht anpassbar | N/A | Wir speichern dauerhafte Checkpoint- und Savepoint-Daten in einem serviceeigenen S3-Bucket. | ## Savepointing Bei der Wiederherstellung von einem Savepoint aus versucht der Wiederaufnahmevorgang standardmäßig, den gesamten Zustand des Savepoints dem Programm zuzuordnen, mit dem Sie die Wiederherstellung durchführen. Wenn Sie einen Operator gelöscht haben, schlägt die Wiederherstellung von einem Savepoint, der Daten enthält, die dem fehlenden Operator entsprechen, standardmäßig fehl. Sie können den Vorgang erfolgreich durchführen lassen, indem Sie den *AllowNonRestoredState*Parameter der Anwendung [FlinkRunConfiguration](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_FlinkRunConfiguration.html)auf `true` setzen. Dadurch können beim Wiederaufnahmevorgang Zustandsdaten übersprungen werden, die dem neuen Programm nicht zugeordnet werden können. Weitere Informationen finden Sie unter [Nicht wiederhergestellten Status zulassen](https://nightlies.apache.org/flink/flink-docs-release-1.15/ops/state/savepoints.html#allowing-non-restored-state) in der [Dokumentation zu Apache Flink](https://nightlies.apache.org/flink/flink-docs-release-1.15/). ## Haufengrößen Managed Service für Apache Flink weist jeder KPU 3 GB JVM-Heap zu und reserviert 1 GB für native Code-Zuweisungen. Informationen zur Erhöhung der Anwendungskapazität finden Sie unter [Implementieren Sie die Anwendungsskalierung in Managed Service für Apache Flink](how-scaling.md). Weitere Informationen über JVM-Heap-Größen finden Sie unter [Konfiguration](https://nightlies.apache.org/flink/flink-docs-release-1.15/ops/config.html) in der [Apache-Flink-Dokumentation](https://nightlies.apache.org/flink/flink-docs-release-1.15/). ## Puffer-Entlastung Die Puffer-Entlastung kann Anwendungen mit hohem Gegendruck helfen. Wenn in Ihrer Anwendung fehlgeschlagene Checkpoints/Savepoints auftreten, kann es hilfreich sein, dieses Feature zu aktivieren. Reichen Sie dazu einen [Support-Fall](https://console.aws.amazon.com/support/home#/) ein. Weitere Informationen finden Sie unter [Die Puffer-Entlastung](https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/memory/network_mem_tuning/#the-buffer-debloating-mechanism) in der [Apache-Flink-Dokumentation](https://nightlies.apache.org/flink/flink-docs-release-1.15/). # Anpassbare Flink-Konfigurationseigenschaften Im Folgenden finden Sie die Flink-Konfigurationseinstellungen, die Sie mithilfe eines [Support-Falls](https://console.aws.amazon.com/support/home#/) ändern können. Sie können mehr als eine Eigenschaft gleichzeitig und für mehrere Anwendungen gleichzeitig ändern, indem Sie das Anwendungspräfix angeben. Wenn es außerhalb dieser Liste noch andere Flink-Konfigurationseigenschaften gibt, die Sie ändern möchten, geben Sie in Ihrem Fall die genaue Eigenschaft an. ## Strategie neu starten Ab Flink 1.19 und höher verwenden wir standardmäßig die `exponential-delay` Neustart-Strategie. Alle früheren Versionen verwenden standardmäßig die `fixed-delay` Neustartstrategie. `restart-strategy:` `restart-strategy.fixed-delay.delay:` `restart-strategy.exponential-delay.backoff-muliplier:` `restart-strategy.exponential-delay.initial-backoff:` `restart-strategy.exponential-delay.jitter-factor:` `restart-strategy.exponential-delay.reset-backoff-threshold:` ## Checkpoints und Status-Backends `state.backend.type:` `state.backend.fs.memory-threshold:` `state.backend.incremental:` ## Checkpointing `execution.checkpointing.unaligned:` `execution.checkpointing.interval-during-backlog:` ## Native RocksDB-Metriken RocksDB Native Metrics werden nicht an geliefert. CloudWatch Nach der Aktivierung können diese Metriken entweder über das Flink-Dashboard oder die Flink-REST-API mit benutzerdefinierten Tools abgerufen werden. Mit Managed Service for Apache Flink können Kunden über die API im schreibgeschützten Modus auf die neueste [Flink-REST-API](https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/ops/rest_api/) (oder die von Ihnen verwendete unterstützte Version) zugreifen. [CreateApplicationPresignedUrl](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplicationPresignedUrl.html) Diese API wird vom eigenen Dashboard von Flink verwendet, kann aber auch von benutzerdefinierten Überwachungstools verwendet werden. `state.backend.rocksdb.metrics.actual-delayed-write-rate:` `state.backend.rocksdb.metrics.background-errors:` `state.backend.rocksdb.metrics.block-cache-capacity:` `state.backend.rocksdb.metrics.block-cache-pinned-usage:` `state.backend.rocksdb.metrics.block-cache-usage:` `state.backend.rocksdb.metrics.column-family-as-variable:` `state.backend.rocksdb.metrics.compaction-pending:` `state.backend.rocksdb.metrics.cur-size-active-mem-table:` `state.backend.rocksdb.metrics.cur-size-all-mem-tables:` `state.backend.rocksdb.metrics.estimate-live-data-size:` `state.backend.rocksdb.metrics.estimate-num-keys:` `state.backend.rocksdb.metrics.estimate-pending-compaction-bytes:` `state.backend.rocksdb.metrics.estimate-table-readers-mem:` `state.backend.rocksdb.metrics.is-write-stopped:` `state.backend.rocksdb.metrics.mem-table-flush-pending:` `state.backend.rocksdb.metrics.num-deletes-active-mem-table:` `state.backend.rocksdb.metrics.num-deletes-imm-mem-tables:` `state.backend.rocksdb.metrics.num-entries-active-mem-table:` `state.backend.rocksdb.metrics.num-entries-imm-mem-tables:` `state.backend.rocksdb.metrics.num-immutable-mem-table:` `state.backend.rocksdb.metrics.num-live-versions:` `state.backend.rocksdb.metrics.num-running-compactions:` `state.backend.rocksdb.metrics.num-running-flushes:` `state.backend.rocksdb.metrics.num-snapshots:` `state.backend.rocksdb.metrics.size-all-mem-tables:` ## RocksDB-Optionen `state.backend.rocksdb.compaction.style:` `state.backend.rocksdb.memory.partitioned-index-filters:` `state.backend.rocksdb.thread.num:` ## Erweiterte State-Backend-Optionen `state.storage.fs.memory-threshold:` ## Vollständige Optionen TaskManager `task.cancellation.timeout:` `taskmanager.jvm-exit-on-oom:` `taskmanager.numberOfTaskSlots:` `taskmanager.slot.timeout:` `taskmanager.memory.network.fraction:` `taskmanager.memory.network.max:` `taskmanager.network.request-backoff.initial:` `taskmanager.network.request-backoff.max:` `taskmanager.network.memory.buffer-debloat.enabled:` `taskmanager.network.memory.buffer-debloat.period:` `taskmanager.network.memory.buffer-debloat.samples:` `taskmanager.network.memory.buffer-debloat.threshold-percentages:` ## Arbeitsspeicherkonfiguration `taskmanager.memory.jvm-metaspace.size:` `taskmanager.memory.jvm-overhead.fraction:` `taskmanager.memory.jvm-overhead.max:` `taskmanager.memory.managed.consumer-weights:` `taskmanager.memory.managed.fraction:` `taskmanager.memory.network.fraction:` `taskmanager.memory.network.max:` `taskmanager.memory.segment-size:` `taskmanager.memory.task.off-heap.size:` ## RPC / Akka `akka.ask.timeout:` `akka.client.timeout:` `akka.framesize:` `akka.lookup.timeout:` `akka.tcp.timeout:` ## Client `client.timeout:` ## Erweiterte Cluster-Optionen `cluster.intercept-user-system-exit:` `cluster.processes.halt-on-fatal-error:` ## Dateisystemkonfigurationen `fs.s3.connection.maximum:` `fs.s3a.connection.maximum:` `fs.s3a.threads.max:` `s3.upload.max.concurrent.uploads:` ## Erweiterte Optionen für die Fehlertoleranz `heartbeat.timeout:` `jobmanager.execution.failover-strategy:` ## Arbeitsspeicherkonfiguration `jobmanager.memory.heap.size:` ## Kennzahlen `metrics.latency.interval:` ## Erweiterte Optionen für den REST-Endpunkt und -Client `rest.flamegraph.enabled:` `rest.server.numThreads:` ## Erweiterte SSL-Sicherheitsoptionen `security.ssl.internal.handshake-timeout:` ## Erweiterte Planungsoptionen `slot.request.timeout:` ## Erweiterte Optionen für die Flink-Weboberfläche `web.timeout:` # Eigenschaften der programmatischen Flink-Konfiguration Im Folgenden finden Sie die Eigenschaften der Flink-Konfiguration, die Sie direkt in Ihrem Anwendungscode ändern können. Ab MSF 2.2 wird eine Ausnahme ausgelöst, wenn Sie versuchen, eine Eigenschaft zu ändern, die nicht auf dieser Seite in Ihrem Anwendungscode aufgeführt ist. **Anmerkung** Diese Eigenschaften unterscheiden sich von Einstellungen, die per AWS Support-Fall geändert wurden. Einstellungen auf Infrastrukturebene wie TaskManager Speicher, State-Backend, RocksDB-Optimierung und Neustartstrategien finden Sie unter. [Anpassbare Flink-Konfigurationseigenschaften](reference-modifiable-settings.md) ## Pipeline-Konfiguration `execution.runtime-mode` `pipeline.auto-generate-uids` `pipeline.auto-watermark-interval` `pipeline.cached-files` `pipeline.classpaths` `pipeline.closure-cleaner-level` `pipeline.force-avro` `pipeline.force-kryo` `pipeline.generic-types` `pipeline.global-job-parameters` `pipeline.jars` `pipeline.jobvertex-parallelism-overrides` `pipeline.max-parallelism` `pipeline.name` `pipeline.object-reuse` `pipeline.operator-chaining.chain-operators-with-different-max-parallelism` `pipeline.operator-chaining.enabled` `pipeline.serialization-config` `pipeline.vertex-description-mode` `pipeline.vertex-name-include-index-prefix` `pipeline.watermark-alignment.allow-unaligned-source-splits` ## Python-API `python.execution-mode` `python.operator-chaining.enabled` `python.job-options` `python.internal.archives-key-map` `python.internal.files-key-map` `python.internal.requirements-file-key` ## Tabellen-API//SQL `table.exec.async-lookup.buffer-capacity` `table.exec.async-lookup.key-ordered-enabled` `table.exec.async-lookup.output-mode` `table.exec.async-lookup.timeout` `table.exec.async-ml-predict.max-concurrent-operations` `table.exec.async-ml-predict.output-mode` `table.exec.async-ml-predict.timeout` `table.exec.async-scalar.max-concurrent-operations` `table.exec.async-scalar.max-attempts` `table.exec.async-scalar.retry-delay` `table.exec.async-scalar.retry-strategy` `table.exec.async-scalar.timeout` `table.exec.async-state.enabled` `table.exec.async-table.max-concurrent-operations` `table.exec.async-table.max-retries` `table.exec.async-table.retry-delay` `table.exec.async-table.retry-strategy` `table.exec.async-table.timeout` `table.exec.async-vector-search.max-concurrent-operations` `table.exec.async-vector-search.output-mode` `table.exec.async-vector-search.timeout` `table.exec.deduplicate.insert-update-after-sensitive-enabled` `table.exec.deduplicate.mini-batch.compact-changes-enabled` `table.exec.delta-join.cache-enabled` `table.exec.disabled-operators` `table.exec.iceberg.use-v2-sink` `table.exec.interval-join.min-cleanup-interval` `table.exec.legacy-cast-behaviour` `table.exec.local-hash-agg.adaptive.distinct-value-rate-threshold` `table.exec.local-hash-agg.adaptive.enabled` `table.exec.local-hash-agg.adaptive.sampling-threshold` `table.exec.mini-batch.allow-latency` `table.exec.mini-batch.enabled` `table.exec.mini-batch.size` `table.exec.operator-fusion-codegen.enabled` `table.exec.simplify-operator-name-enabled` `table.exec.sink.keyed-shuffle` `table.exec.sink.nested-constraint-enforcer` `table.exec.sink.not-null-enforcer` `table.exec.sink.rowtime-inserter` `table.exec.sink.type-length-enforcer` `table.exec.sink.upsert-materialize` `table.exec.sink.upsert-materialize-strategy.adaptive.threshold.high` `table.exec.sink.upsert-materialize-strategy.adaptive.threshold.low` `table.exec.sink.upsert-materialize-strategy.type` `table.exec.sort.async-merge-enabled` `table.exec.sort.default-limit` `table.exec.sort.max-num-file-handles` `table.exec.source.cdc-events-duplicate` `table.exec.source.idle-timeout` `table.exec.spill-compression.block-size` `table.exec.spill-compression.enabled` `table.exec.state.ttl` `table.exec.uid.format` `table.exec.uid.generation` `table.exec.unbounded-over.version` `table.exec.window-agg.buffer-size-limit` `table.optimizer.agg-phase-strategy` `table.optimizer.adaptive-broadcast-join.strategy` `table.optimizer.bushy-join-reorder-threshold` `table.optimizer.delta-join.strategy` `table.optimizer.distinct-agg.split.bucket-num` `table.optimizer.distinct-agg.split.enabled` `table.optimizer.dynamic-filtering.enabled` `table.optimizer.incremental-agg-enabled` `table.optimizer.join-reorder-enabled` `table.optimizer.multi-join.enabled` `table.optimizer.multiple-input-enabled` `table.optimizer.non-deterministic-update.strategy` `table.optimizer.reuse-optimize-block-with-digest-enabled` `table.optimizer.reuse-sink-enabled` `table.optimizer.reuse-source-enabled` `table.optimizer.reuse-sub-plan-enabled` `table.optimizer.runtime-filter.enabled` `table.optimizer.skewed-join-optimization.skewed-factor` `table.optimizer.skewed-join-optimization.skewed-threshold` `table.optimizer.skewed-join-optimization.strategy` `table.optimizer.source.report-statistics-enabled` `table.optimizer.union-all-as-breakpoint-enabled` `table.builtin-catalog-name` `table.builtin-database-name` `table.catalog-modification.listeners` `table.column-expansion-strategy` `table.display.max-column-width` `table.dml-sync` `table.dynamic-table-options.enabled` `table.generated-code.max-length` `table.legacy-nested-row-nullability` `table.local-time-zone` `table.plan.compile.catalog-objects` `table.plan.force-recompile` `table.plan.restore.catalog-objects` `table.rtas-ctas.atomicity-enabled` `table.sql-dialect` # Konfigurierte Flink-Eigenschaften anzeigen Sie können die Apache-Flink-Eigenschaften, die Sie selbst konfiguriert haben oder deren Änderung Sie in einem [Support-Fall](https://support.console.aws.amazon.com/support/home#/) angefordert haben, über das Apache-Flink-Dashboard einsehen. Gehen Sie dazu wie folgt vor: 1. Gehen Sie zum Flink-Dashboard 1. Wählen Sie im linken Navigationsbereich **Auftragsmanager** aus. 1. Wählen Sie **Konfiguration**, um die Liste der Flink-Eigenschaften anzuzeigen.