翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Iceberg テーブル形式仕様バージョン 3 の使用
<a name="table-spec-v3"></a>

Apache Iceberg テーブル形式の仕様の最新バージョンはバージョン 3 です。このバージョンでは、ペタバイト規模のデータレイクを構築するための高度な機能が導入され、パフォーマンスが向上し、運用オーバーヘッドが削減されます。バージョン 2 で発生する一般的なパフォーマンスのボトルネック、特にバッチ更新とコンプライアンス削除オペレーションに関するボトルネックに対処します。

AWS では、Iceberg バージョン 3 仕様で定義されている削除ベクトルと行リネージュがサポートされています。これらの機能は、以下の Apache Spark で使用できます AWS のサービス。<a name="support-table"></a>


| AWS のサービス | バージョン 3 のサポート | 
| --- | --- | 
|  [Amazon EMR for Apache Spark](iceberg-emr.md)  |  Amazon EMR リリース 7.12 以降  | 
|  [AWS Glue](iceberg-glue.md)  |  はい  | 
|  AWS Glue: [Iceberg REST API](https://docs.aws.amazon.com/glue/latest/dg/connect-glu-iceberg-rest.html)、テーブルメンテナンス  |  はい  | 
|  [Amazon SageMaker Unified Studio ノートブック](https://docs.aws.amazon.com/next-generation-sagemaker/)  |  はい  | 
|  Amazon S3 Tables: [Iceberg REST API](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-integrating-open-source.html)、[テーブルメンテナンス](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-maintenance-overview.html)  |  はい  | 
|  [Amazon Athena (Trino)](https://docs.aws.amazon.com/athena/latest/ug/engine-versions-reference-0003.html)  |  いいえ  | 

## バージョン 3 の主な機能
<a name="v3-features"></a>

**削除ベクトルは**、バージョン 2 で使用された位置削除ファイルを、Puffin ファイルとして保存された効率的なバイナリ形式に置き換えます。これにより、ランダムバッチ更新や一般データ保護規則 (GDPR) コンプライアンスの削除による書き込み増幅がなくなり、新しいデータを維持するオーバーヘッドが大幅に削減されます。高頻度の更新を処理する組織では、書き込みパフォーマンスがすぐに向上し、小さなファイルが少なくてストレージコストが削減されます。

**行リネージュ**により、行レベルで正確な変更追跡が可能になります。ダウンストリームシステムでは段階的に変更を処理できるため、データパイプラインが高速化され、変更データキャプチャ (CDC) ワークフローのコンピューティングコストが削減されます。この組み込み機能により、カスタム変更追跡実装が不要になります。

## バージョン互換性
<a name="v3-version-compatibility"></a>

バージョン 3 は、バージョン 2 テーブルとの下位互換性を維持します。AWS のサービスでは、バージョン 2 とバージョン 3 の両方のテーブルを同時にサポートしているため、次のことが可能になります。
+ バージョン 2 とバージョン 3 の両方のテーブルでクエリを実行します。
+ データ書き換えなしで、既存のバージョン 2 テーブルをバージョン 3 にアップグレードします。
+ バージョン 2 とバージョン 3 のスナップショットにまたがるタイムトラベルクエリを実行します。
+ スキーマの進化とテーブルバージョン間の非表示パーティショニングを使用します。

## バージョン 3 の開始方法
<a name="v3-getting-started"></a>

### 前提条件
<a name="v3-prerequisites"></a>

バージョン 3 のテーブルを使用する前に、以下があることを確認してください。
+ 適切な AWS Identity and Access Management (IAM) アクセス許可 AWS アカウント を持つ 。
+ 1 つ以上の AWS 分析サービス (Amazon EMR、 AWS Glue Amazon SageMaker Unified Studio ノートブック、または Amazon S3 Tables) へのアクセス。
+ テーブルデータとメタデータを保存するための S3 バケット。
+ 独自の Iceberg インフラストラクチャを構築する場合は、Amazon S3 Tables または汎用 S3 バケットの使用を開始するためのテーブルバケット。
+ 設定済み AWS Glue カタログ。

### バージョン 3 テーブルの作成
<a name="v3-creating-tables"></a>

#### 新しいテーブルの作成
<a name="v3-new-tables"></a>

新しい Iceberg バージョン 3 テーブルを作成するには、`format-version`テーブルプロパティを 3 に設定します。

Spark SQL の使用:

```
CREATE TABLE IF NOT EXISTS myns.orders_v3 (
    order_id bigint,
    customer_id string,
    order_date date,
    total_amount decimal(10,2),
    status string,
    created_at timestamp
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)
```

#### バージョン 2 テーブルをバージョン 3 にアップグレードする
<a name="v3-upgrading-tables"></a>

データを書き換え ることなく、既存のバージョン 2 テーブルをバージョン 3 にアトミックにアップグレードできます。

Spark SQL の使用:

```
ALTER TABLE myns.existing_table
SET TBLPROPERTIES ('format-version' = '3')
```

**重要**  
バージョン 3 は一方向アップグレードです。テーブルをバージョン 2 からバージョン 3 にアップグレードした後は、標準オペレーションを通じてバージョン 2 にダウングレードすることはできません。

アップグレード中に何が起こるか:
+ 新しいメタデータスナップショットがアトミックに作成されます。
+ 既存の Parquet データファイルは再利用されます。
+ 行の系統フィールドがテーブルメタデータに追加されます。

アップグレード後:
+ 次の圧縮では、古いバージョン 2 の削除ファイルを削除します。
+ 新しい変更では、バージョン 3 の削除ベクトルファイルが使用されます。

アップグレードでは、行系統変更追跡レコードの履歴バックフィルは実行されません。

### 削除ベクトルの有効化
<a name="v3-deletion-vector"></a>

更新、削除、マージの削除ベクトルを利用するには、書き込みモードを設定します。

Spark SQL の使用:

```
ALTER TABLE myns.orders_v3
SET TBLPROPERTIES ('format-version' = '3',
                   'write.delete.mode' = 'merge-on-read',
                   'write.update.mode' = 'merge-on-read',
                   'write.merge.mode' = 'merge-on-read'
                  )
```

これらの設定により、データファイル全体を書き換えるのではなく、更新、削除、マージオペレーションによって削除ベクトルファイルが作成されます。

### 変更の追跡に行リネージュを使用する
<a name="v3-deletion-vector"></a>

バージョン 3 では、行系統メタデータフィールドが自動的に追加され、変更を追跡します。

Spark SQL の使用:

```
# Query with parameter value provided
last_processed_sequence = 47

SELECT 
    id,
    data,
    _row_id,
    _last_updated_sequence_number
FROM myns.orders_v3
WHERE _last_updated_sequence_number > :last_processed_sequence
```

`_row_id` フィールドは各行を一意に識別し、行が最後に変更された日時 `_last_updated_sequence_number`を追跡します。これらのフィールドを使用して、次の操作を行います。
+ 増分処理のために変更された行を特定します。
+ コンプライアンスに関するデータ系統を追跡します。
+ CDC パイプラインを最適化します。
+ 変更のみを処理することで、コンピューティングコストを削減します。

## バージョン 3 のベストプラクティス
<a name="v3-best-practices"></a>

### バージョン 3 を使用するタイミング
<a name="v3-when-to-use"></a>

次の場合は、バージョン 3 にアップグレードするか、バージョン 3 から開始することを検討してください。
+ バッチ更新や削除を頻繁に実行します。
+ GDPR またはコンプライアンス削除の要件を満たす必要があります。
+ ワークロードには、高頻度のアップサートが含まれます。
+ 効率的な CDC ワークフローが必要です。
+ 小さなファイルからストレージコストを削減したい。
+ より良い変更追跡機能が必要です。

### 書き込みパフォーマンスの最適化
<a name="v3-write-performance"></a>
+ 更新が多いワークロードの削除ベクトルを有効にします。

  ```
  SET TBLPROPERTIES (
  'write.delete.mode' = 'merge-on-read',
  'write.update.mode' = 'merge-on-read',
  'write.merge.mode' = 'merge-on-read'
  )
  ```
+ 適切なファイルサイズを設定します。

  ```
  SET TBLPROPERTIES (
  'write.target-file-size-bytes' = '536870912'  — 512 MB
  )
  ```

### 読み取りパフォーマンスの最適化
<a name="v3-read-performance"></a>
+ 増分処理には行リネージュを使用します。
+ タイムトラベルを使用して、コピーせずに履歴データにアクセスします。
+ 統計収集を有効にして、クエリ計画を改善します。

## 移行戦略
<a name="v3-migration"></a>

バージョン 2 からバージョン 3 に移行する場合は、次のベストプラクティスに従ってください。
+ まず非本番環境でテストして、アップグレードプロセスとパフォーマンスを検証します。
+ アクティビティが少ない時間帯にアップグレードして、同時オペレーションへの影響を最小限に抑えます。
+ 初期パフォーマンスをモニタリングし、アップグレード後のメトリクスを追跡します。
+ 圧縮を実行して、アップグレード後に削除ファイルを統合します。
+ バージョン 3 の機能を反映するようにチームのドキュメントを更新します。

## 互換性に関する考慮事項
<a name="v3-compatibility"></a>
+ エンジンバージョン – テーブルにアクセスするすべてのエンジンがバージョン 3 をサポートしていることを確認します。
+ サードパーティー製ツール – アップグレードする前に、ツールのバージョン 3 の互換性を確認してください。
+ バックアップ戦略 – スナップショットベースの復旧手順をテストします。
+ モニタリング – バージョン 3 固有のメトリクスのモニタリングダッシュボードを更新します。

## トラブルシューティング
<a name="v3-troubleshooting"></a>

### 一般的な問題
<a name="v3-common-issues"></a>

**エラー: "format-version 3 is not supported"**
+ エンジンバージョンがバージョン 3 をサポートしていることを確認します。 詳細については、このセクションの冒頭にある[表](#support-table)を参照してください。
+ カタログの互換性を確認します。
+ の最新バージョンを使用していることを確認してください AWS のサービス。

**アップグレード後のパフォーマンスの低下**
+ 圧縮圧縮の失敗がないことを確認します。詳細については、Amazon [S3 ドキュメントの「S3 テーブルのログ記録とモニタリング](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-monitoring-overview.html)」を参照してください。 Amazon S3 
+ 削除ベクトルが有効になっていることを確認します。次のプロパティを設定する必要があります。

  ```
  SET TBLPROPERTIES (
  'write.delete.mode' = 'merge-on-read',
  'write.update.mode' = 'merge-on-read',
  'write.merge.mode' = 'merge-on-read'
  )
  ```

  テーブルのプロパティは、次のコードで確認できます。

  ```
  DESCRIBE FORMATTED myns.orders_v3
  ```
+ パーティション戦略を確認します。パーティショニングが過剰になると、ファイルが小さくなる可能性があります。次のクエリを実行して、テーブルの平均ファイルサイズを取得します。

  ```
  SELECT avg(file_size_in_bytes) as avg_file_size_bytes 
  FROM myns.orders_v3.files
  ```

**サードパーティー製ツールとの非互換性**
+ ツールがバージョン 3 仕様をサポートしていることを確認します。
+ サポートされていないツールのバージョン 2 テーブルの管理を検討してください。
+ バージョン 3 のサポートタイムラインについては、ツールベンダーにお問い合わせください。

### ヘルプの利用
<a name="v3-help"></a>
+  AWS のサービス固有の問題については、 にお問い合わせください[AWS サポート](https://aws.amazon.com/contact-us/)。
+ Iceberg コミュニティからサポートを受けるには、[Iceberg Slack チャネル](https://iceberg.apache.org/community/)を使用します。
+  AWS のサービス を使用して分析ワークロードを管理する方法については、[「 の分析 AWS](https://aws.amazon.com/big-data/datalakes-and-analytics/)」を参照してください。

## 料金
<a name="v3-pricing"></a>
+ [Amazon EMR コンピューティングとストレージの料金](https://aws.amazon.com/emr/pricing/)
+ [Amazon SageMaker の料金](https://aws.amazon.com/sagemaker/pricing/)
+ [AWS Glue ジョブ実行とデータカタログの料金](https://aws.amazon.com/glue/pricing/)
+ [S3 Tables ストレージとリクエストの料金](https://aws.amazon.com/s3/pricing/)

## 利用可能な状況
<a name="v3-availability"></a>

Iceberg テーブル形式の仕様バージョン 3 のサポートは、Amazon EMR AWS Glue、 AWS Glue Data Catalog、および S3 Tables が動作するすべての AWS リージョン で利用できます。利用可能なリージョンについて、詳しくは「[AWS のサービス by Region](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)」をご確認ください。

## その他のリソース
<a name="v3-resources"></a>
+ [Apache Iceberg ドキュメント](https://iceberg.apache.org/docs/latest/)
+ [Apache Iceberg テーブル仕様](https://iceberg.apache.org/spec/)
+ [Amazon S3 から S3 Tables への表形式データの移行に関するガイダンス](https://aws.amazon.com/solutions/guidance/migrating-tabular-data-from-amazon-s3-to-s3-tables/)
+ [チュートリアル: S3 テーブルの開始方法](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-getting-started.html)