翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

トラブルシューティング

ログ記録

EMR on EKS は、Spark リソースプロファイルを使用してジョブ実行を分割します。Amazon EMR on EKS は、ユーザープロファイルを使用して指定したコードを実行し、システムプロファイルは Lake Formation ポリシーを適用します。MonitoringConfiguration で StartJobRun リクエストを設定することで、ユーザープロファイルとして実行されたコンテナのログにアクセスできます。

Spark History Server

Spark 履歴サーバーには、ユーザープロファイルから生成されたすべての Spark イベントと、システムドライバーから生成された編集済みイベントがあります。[エグゼキュター] タブには、ユーザードライバーとシステムドライバーの両方からすべてのコンテナが表示されます。ただし、ログリンクはユーザープロファイルでのみ使用できます。

Lake Formation のアクセス許可が不十分なためジョブが失敗した

ジョブ実行ロールには、アクセスしているテーブルで SELECT と DESCRIBE を実行するアクセス許可があることを確認してください。

RDD の実行が失敗したジョブ

EMR on EKS は現在、Lake Formation 対応ジョブで耐障害性のある分散データセット (RDD) オペレーションをサポートしていません。

Amazon S3 のデータファイルにアクセスできない

Lake Formation にデータレイクの場所が登録されていることを確認します。

セキュリティ検証の例外

EMR on EKS がセキュリティ検証エラーを検出しました。サポートが必要な場合は、 AWS サポートにお問い合わせください。

アカウント間で AWS Glue データカタログとテーブルを共有する

データベースとテーブルをアカウント間で共有し、Lake Formation を引き続き使用できます。詳細については、「Lake Formation でのクロスアカウントデータ共有」およびAWS 「Lake Formation を使用して AWS Glue データカタログとテーブルのクロスアカウントを共有するにはどうすればよいですか?」を参照してください。

Iceberg Job throwing initialization error not setting the AWS region

メッセージは次のとおりです:

25/02/25 13:33:19 ERROR SparkFGACExceptionSanitizer: Client received error with id = b921f9e6-f655-491f-b8bd-b2842cdc20c7, 
reason = IllegalArgumentException, message = Cannot initialize 
LakeFormationAwsClientFactory, please set client.region to a valid aws region

Spark 設定 spark.sql.catalog.catalog_name.client.region が有効なリージョンに設定されていることを確認します。

SparkUnsupportedOperationException をスローする Iceberg Job

メッセージは次のとおりです:

25/02/25 13:53:15 ERROR SparkFGACExceptionSanitizer: Client received error with id = 921fef42-0800-448b-bef5-d283d1278ce0, 
reason = SparkUnsupportedOperationException, message = Either glue.id or glue.account-id is set with non-default account. 
Cross account access with fine-grained access control is only supported with AWS Resource Access Manager.

Spark 設定 spark.sql.catalog.catalog_name.glue.account-id が有効なアカウント ID に設定されていることを確認します。

MERGE オペレーション中の「403 アクセスが拒否されました」を伴う Iceberg Job の失敗

メッセージは次のとおりです:

software.amazon.awssdk.services.s3.model.S3Exception: Access Denied (Service: S3, Status Code: 403, 
...
	at software.amazon.awssdk.services.s3.DefaultS3Client.deleteObject(DefaultS3Client.java:3365)
	at org.apache.iceberg.aws.s3.S3FileIO.deleteFile(S3FileIO.java:162)
	at org.apache.iceberg.io.FileIO.deleteFile(FileIO.java:86)
	at org.apache.iceberg.io.RollingFileWriter.closeCurrentWriter(RollingFileWriter.java:129)

次のプロパティを追加して、Spark で S3 Delete オペレーションを無効にします。--conf spark.sql.catalog.s3-table-name.s3.delete-enabled=false。