本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# Amazon OpenSearch Ingestion 管道支援的外掛程式和選項
<a name="pipeline-config-reference"></a>

Amazon OpenSearch Ingestion 支援開放原始碼 [OpenSearch Data Prepper](https://opensearch.org/docs/latest/data-prepper/) 中的來源、處理器和接收器子集。此外，OpenSearch Ingestion 對每個支援的外掛程式的可用選項有一些限制。下列各節說明 OpenSearch Ingestion 支援的外掛程式和相關選項。

**注意**  
OpenSearch Ingestion 不支援任何緩衝外掛程式，因為它會自動設定預設緩衝區。如果您在管道組態中包含緩衝區，則會收到驗證錯誤。

**Topics**
+ [支援的外掛程式](#ingestion-plugins)
+ [無狀態與有狀態處理器](#processor-stateful-stateless)
+ [組態需求和限制條件](#ingestion-parameters)

## 支援的外掛程式
<a name="ingestion-plugins"></a>

OpenSearch Ingestion 支援下列 Data Prepper 外掛程式：

**來源**：
+ [DocumentDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/documentdb/)
+ [DynamoDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/dynamo-db/)
+ [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/)
+ [Kafka](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kafka/)
+ [Kinesis](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kinesis/)
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/opensearch/)
+ [OTel 日誌](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)
+ [OTel 指標](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)
+ [OTel 追蹤](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/)

**處理器**：
+ [新增項目](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/add-entries/)
+ [Aggregate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)
+ [異常偵測器](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/anomaly-detector/)
+ [AWS Lambda](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aws-lambda/)
+ [轉換項目類型](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/convert-entry-type/)
+ [複製值](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/copy-values/)
+ [CSV](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/csv/)
+ [日期](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/date/)
+ [延遲](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delay/)
+ [解壓縮](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/decompress/)
+ [刪除項目](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delete-entries/)
+ [剖析](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/dissect/)
+ [捨棄事件](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/drop-events/)
+ [壓平](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/flatten/)
+ [地理 IP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/geoip/)
+ [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/)
+ [索引鍵值](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/key-value/)
+ [要映射的清單](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/list-to-map/)
+ [小寫字串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/lowercase-string/)
+ [映射至清單](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/map-to-list/)
+ [變動事件](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-event/) （處理器系列）
+ [Mutate 字串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-string/) （處理器系列）
+ [混淆](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/obfuscate/)
+ [OTel 指標](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-metrics/)
+ [OTel 追蹤群組](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)
+ [OTel 追蹤](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [剖析 Ion](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-ion/)
+ [剖析 JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-json/)
+ [剖析 XML](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-xml/)
+ [重新命名金鑰](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/rename-keys/)
+ [選取項目](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/select-entries/)
+ [服務地圖](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [分割事件](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-event/)
+ [分割字串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-string/)
+ [字串轉換器](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/string-converter/)
+ [替代字串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/substitute-string/)
+ [追蹤對等轉送器](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trace-peer-forwarder/)
+ [Translate (轉譯)](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/translate/)
+ [Trim 字串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trim-string/)
+ [截斷](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/truncate/)
+ [大寫字串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/uppercase-string/)
+ [使用者代理程式](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/user-agent/)
+ [寫入 JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/write-json/)

**接收器**：
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/) （支援 OpenSearch Service、OpenSearch Serverless 和 Elasticsearch 6.8 或更新版本）
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/)

**接收器轉碼器**：
+ [Avro](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#avro-codec)
+ [NDJSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#ndjson-codec)
+ [JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#json-codec)
+ [Parquet](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#parquet-codec)

## 無狀態與有狀態處理器
<a name="processor-stateful-stateless"></a>

*無狀態*處理器會執行轉換和篩選等操作，而*有狀態*處理器則會執行彙總等操作，以記住先前執行的結果。OpenSearch Ingestion 支援具狀態處理器[彙總](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)[和服務映射](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/)。所有其他支援的處理器都是無狀態處理器。

對於僅包含無狀態處理器的管道，最大容量限制為 96 個擷取 OCUs。如果管道包含任何具狀態處理器，則最大容量限制為 48 個擷取 OCUs。不過，如果管道已啟用[持久性緩衝](osis-features-overview.md#persistent-buffering)，則最多可以有 384 個僅具有無狀態處理器的擷取 OCUs，如果包含任何有狀態處理器，則可以有 192 個擷取 OCUs。如需詳細資訊，請參閱[在 Amazon OpenSearch Ingestion 中擴展管道](ingestion-scaling.md)。

只有無狀態處理器才支援End-to-end確認。如需詳細資訊，請參閱[End-to-end確認](osis-features-overview.md#osis-features-e2e)。

## 組態需求和限制條件
<a name="ingestion-parameters"></a>

除非以下另有說明，否則在 OpenSearch Ingestion 管道中允許上述支援外掛程式的 Data Prepper 組態參考中所述的所有選項。下列各節說明 OpenSearch Ingestion 對特定外掛程式選項的限制。

**注意**  
OpenSearch Ingestion 不支援任何緩衝外掛程式，因為它會自動設定預設緩衝區。如果您在管道組態中包含緩衝區，則會收到驗證錯誤。

許多選項是由 OpenSearch Ingestion 在內部設定和管理，例如 `authentication`和 `acm_certificate_arn`。如果手動變更`request_timeout`， `thread_count`和 等其他選項會影響效能。因此，這些值會在內部設定，以確保管道的最佳效能。

最後，某些選項無法傳遞至 OpenSearch Ingestion，例如 `ism_policy_file`和 `sink_template`，因為在開放原始碼 Data Prepper 中執行時，它們是本機檔案。不支援這些值。

**Topics**
+ [一般管道選項](#ingestion-params-general)
+ [Grok 處理器](#ingestion-params-grok)
+ [HTTP 來源](#ingestion-params-http)
+ [OpenSearch 接收器](#ingestion-params-opensearch)
+ [OTel 指標來源、OTel 追蹤來源和 OTel 日誌來源](#ingestion-params-otel-source)
+ [OTel 追蹤群組處理器](#ingestion-params-otel-trace)
+ [OTel 追蹤處理器](#ingestion-params-otel-raw)
+ [服務映射處理器](#ingestion-params-servicemap)
+ [S3 來源](#ingestion-params-s3)

### 一般管道選項
<a name="ingestion-params-general"></a>

下列[一般管道選項](https://docs.opensearch.org/latest/data-prepper/pipelines/pipelines/)是由 OpenSearch Ingestion 設定，管道組態不支援：
+ `workers`
+ `delay`

### Grok 處理器
<a name="ingestion-params-grok"></a>

不支援下列 [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/) 處理器選項：
+ `patterns_directories`
+ `patterns_files_glob`

### HTTP 來源
<a name="ingestion-params-http"></a>

[HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) 來源外掛程式有下列需求和限制：
+ 選項為*必要*`path`項目。路徑是字串，例如 `/log/ingest`，代表日誌擷取的 URI 路徑。此路徑會定義您用來將資料傳送至管道的 URI。例如 `https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`。路徑必須以斜線 (/) 開頭，可包含特殊字元 '-'、'\_'、'.' 和 '/'，以及`${pipelineName}`預留位置。
+ 下列 HTTP 來源選項是由 OpenSearch Ingestion 設定，管道組態不支援：
  + `port`
  + `ssl`
  + `ssl_key_file`
  + `ssl_certificate_file`
  + `aws_region`
  + `authentication`
  + `unauthenticated_health_check`
  + `use_acm_certificate_for_ssl`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `max_pending_requests`
  + `health_check_service`
  + `acm_private_key_password`
  + `acm_certificate_timeout_millis`
  + `acm_certificate_arn`

### OpenSearch 接收器
<a name="ingestion-params-opensearch"></a>

[OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/) 接收器外掛程式有下列需求和限制。
+ `aws` 選項為*必要*，且必須包含下列選項：
  + `sts_role_arn`
  + `region`
  + `hosts`
  + `serverless` （如果接收器是 OpenSearch Serverless 集合）
+ `sts_role_arn` 選項必須指向 YAML 定義檔案中每個接收器的相同角色。
+ `hosts` 選項必須指定 OpenSearch Service 網域端點或 OpenSearch Serverless 集合端點。您無法指定網域的[自訂端點](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/customendpoint.html)；它必須是標準端點。
+ 如果 `hosts`選項是無伺服器集合端點，您必須將 `serverless`選項設定為 `true`。此外，如果您的 YAML 定義檔案包含 `index_type`選項，則必須將其設定為 `management_disabled`，否則驗證會失敗。
+ 不支援下列選項：
  + `username`
  + `password`
  + `cert`
  + `proxy`
  + `dlq_file` - 如果您想要將失敗的事件卸載至無效字母佇列 (DLQ)，您必須使用 `dlq`選項並指定 S3 儲存貯體。
  + `ism_policy_file`
  + `socket_timeout`
  + `template_file`
  + `insecure`

### OTel 指標來源、OTel 追蹤來源和 OTel 日誌來源
<a name="ingestion-params-otel-source"></a>

[OTel 指標](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)來源、[OTel 追蹤](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)來源和 [OTel 日誌](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)來源外掛程式具有下列需求和限制：
+ `path` 選項為*必要*項目。路徑是字串，例如 `/log/ingest`，代表日誌擷取的 URI 路徑。此路徑會定義您用來將資料傳送至管道的 URI。例如 `https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`。路徑必須以斜線 (/) 開頭，可包含特殊字元 '-'、'\_'、'.' 和 '/'，以及`${pipelineName}`預留位置。
+ 下列選項是由 OpenSearch Ingestion 設定，管道組態不支援：
  + `port`
  + `ssl`
  + `sslKeyFile`
  + `sslKeyCertChainFile`
  + `authentication`
  + `unauthenticated_health_check`
  + `useAcmCertForSSL`
  + `unframed_requests`
  + `proto_reflection_service`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `acmPrivateKeyPassword`
  + `acmCertIssueTimeOutMillis`
  + `health_check_service`
  + `acmCertificateArn`
  + `awsRegion`

### OTel 追蹤群組處理器
<a name="ingestion-params-otel-trace"></a>

[OTel 追蹤群組](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)處理器有下列需求和限制：
+ `aws` 選項為*必要*，且必須包含下列選項：
  + `sts_role_arn`
  + `region`
  + `hosts`
+ `sts_role_arn` 選項指定與您在 OpenSearch 接收器組態中指定的管道角色相同的角色。
+ 不支援 `username`、`cert`、 `password`和 `insecure`選項。
+ `aws_sigv4` 選項為必要項目，且必須設定為 true。
+ 不支援 OpenSearch 接收器外掛程式中的 `serverless`選項。Otel 追蹤群組處理器目前不適用於 OpenSearch Serverless 集合。
+ 管道組態內文中的`otel_trace_group`處理器數量不能超過 8。

### OTel 追蹤處理器
<a name="ingestion-params-otel-raw"></a>

[OTel 追蹤](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/otel-traces/)處理器有下列需求和限制：
+ `trace_flush_interval` 選項的值不能超過 300 秒。

### 服務映射處理器
<a name="ingestion-params-servicemap"></a>

[Service-map](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/) 處理器有下列需求和限制：
+ `window_duration` 選項的值不能超過 300 秒。

### S3 來源
<a name="ingestion-params-s3"></a>

[S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/) 來源外掛程式有下列需求和限制：
+ `aws` 選項為*必要*，且必須包含 `region` 和 `sts_role_arn`選項。
+ `records_to_accumulate` 選項的值不能超過 200。
+ `maximum_messages` 選項的值不能超過 10。
+ 如果指定，則 `disable_bucket_ownership_validation`選項必須設定為 false。
+ 如果指定，則必須將 `input_serialization`選項設定為 `parquet`。