# Athena for Spark で Apache Hudi テーブルを使用する
<a name="notebooks-spark-table-formats-apache-hudi"></a>

[https://hudi.apache.org/](https://hudi.apache.org/) は、増分データ処理を簡素化するオープンソースのデータ管理フレームワークです。レコードレベルの挿入、更新、upsert、および削除アクションがより正確に処理されるため、オーバーヘッドが減少します。

Athena for Spark で Apache Hudi テーブルを使用するには、次の Spark プロパティを設定します。これらのプロパティは、Athena for Spark コンソールでテーブル形式として Apache Hudi を選択したときに、デフォルトで自動的に設定されます。手順については、「[ステップ 4: セッションの詳細を編集する](notebooks-spark-getting-started.md#notebooks-spark-getting-started-editing-session-details)」または「[ステップ 7: 独自のノートブックを作成する](notebooks-spark-getting-started.md#notebooks-spark-getting-started-creating-your-own-notebook)」を参照してください。

```
"spark.sql.catalog.spark_catalog": "org.apache.spark.sql.hudi.catalog.HoodieCatalog",
"spark.serializer": "org.apache.spark.serializer.KryoSerializer",
"spark.sql.extensions": "org.apache.spark.sql.hudi.HoodieSparkSessionExtension"
```

以下の手順では、Athena for Spark ノートブックで Apache Hudi テーブルを使用する方法を示しています。ノートブックの新しいセルで各ステップを実行します。

**Athena for Spark で Apache Hudi テーブルを使用する方法**

1. ノートブックで使用する定数を定義します。

   ```
   DB_NAME = "{{NEW_DB_NAME}}"
   TABLE_NAME = "{{NEW_TABLE_NAME}}"
   TABLE_S3_LOCATION = "s3://amzn-s3-demo-bucket"
   ```

1. Apache Spark [DataFrame](https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/dataframe.html) を作成します。

   ```
   columns = ["language","users_count"]
   data = [("Golang", 3000)]
   df = spark.createDataFrame(data, columns)
   ```

1. データベースを作成します。

   ```
   spark.sql("CREATE DATABASE {} LOCATION '{}'".format({{DB_NAME}}, {{TABLE_S3_LOCATION}}))
   ```

1. 空の Apache Hudi テーブルを作成します。

   ```
   spark.sql("""
   CREATE TABLE {}.{} (
   language string,
   users_count int
   ) USING HUDI
   TBLPROPERTIES (
   primaryKey = 'language',
   type = 'mor'
   );
   """.format({{DB_NAME}}, {{TABLE_NAME}}))
   ```

1. テーブルにデータ行を挿入します。

   ```
   spark.sql("""INSERT INTO {}.{} VALUES ('Golang', 3000)""".format({{DB_NAME}},{{TABLE_NAME}}))
   ```

1. 新しいテーブルをクエリできることを確認します。

   ```
   spark.sql("SELECT * FROM {}.{}".format({{DB_NAME}}, {{TABLE_NAME}})).show()
   ```