# コンテンツ分野 3: データ運用とサポート
<a name="data-engineer-associate-01-domain3"></a>

**Topics**
+ [タスク 3.1: AWSサービスを使用したデータ処理の自動化](#data-engineer-associate-01-domain3-task1)
+ [タスク 3.2: AWS サービスを使用したデータ分析](#data-engineer-associate-01-domain3-task2)
+ [タスク 3.3: データパイプラインの保守とモニタリング](#data-engineer-associate-01-domain3-task3)
+ [タスク 3.4: データ品質の確保](#data-engineer-associate-01-domain3-task4)

## タスク 3.1: AWSサービスを使用したデータ処理の自動化
<a name="data-engineer-associate-01-domain3-task1"></a>
+ スキル 3.1.1: データパイプラインをオーケストレーションする [Amazon Managed Workflows for Apache Airflow (Amazon MWAA)、AWS Step Functions など]。
+ スキル 3.1.2: Amazon マネージドワークフローをトラブルシューティングする。
+ スキル 3.1.3: SDK を呼び出してコードから Amazon の機能にアクセスする。
+ スキル 3.1.4: AWS サービスの機能を使用してデータを処理する (Amazon EMR、Amazon Redshift、AWS Glue など)。
+ スキル 3.1.5: データ API を利用および管理する。
+ スキル 3.1.6: 変換対象のデータを準備する (AWSGlue DataBrew、Amazon SageMaker Unified Studio など)。
+ スキル 3.1.7: データをクエリする (Amazon Athena など)。
+ スキル 3.1.8: AWS Lambda を使用してデータ処理を自動化する。
+ スキル 3.1.9: イベントとスケジューラを管理する (Amazon EventBridge など)。

## タスク 3.2: AWS サービスを使用したデータ分析
<a name="data-engineer-associate-01-domain3-task2"></a>
+ スキル 3.2.1: AWS のサービスおよびツール (DataBrew、Amazon QuickSight など) を使用してデータを視覚化する。
+ スキル 3.2.2: データを検証およびクリーニングする (Lambda、Athena、QuickSight、Jupyter Notebook、Amazon SageMaker Data Wrangler など)。
+ スキル 3.2.3: Amazon Redshift と Athena の SQL を使用してデータのクエリやビューの作成を行う。
+ スキル 3.2.4: Apache Spark 対応の Athena ノートブックを使用してデータを探索する。
+ スキル 3.2.5: プロビジョニングされたサービスとサーバーレスサービスのトレードオフについて説明する。
+ スキル 3.2.6: データ集約、移動平均、グループ化、ピボットを定義する。

## タスク 3.3: データパイプラインの保守とモニタリング
<a name="data-engineer-associate-01-domain3-task3"></a>
+ スキル 3.3.1: 監査用のログを抽出する。
+ スキル 3.3.2: 監査とトレーサビリティを促進するためのログ記録およびモニタリングソリューションをデプロイする。
+ スキル 3.3.3: モニタリング中に通知を使用してアラートを送信する。
+ スキル 3.3.4: パフォーマンスの問題をトラブルシューティングする。
+ スキル 3.3.5: AWS CloudTrail を使用して API コールを追跡する。
+ スキル 3.3.6: パイプラインのトラブルシューティングとメンテナンスを行う (AWSGlue、Amazon EMR など)。
+ スキル 3.3.7: Amazon CloudWatch Logs を使用してアプリケーションデータをログに記録する (設定とオートメーションに重点を置く)。
+ スキル 3.3.8: AWS サービスを使用してログを分析する (Athena、Amazon EMR、Amazon OpenSearch Service、CloudWatch Logs Insights、ビッグデータアプリケーションログなど)。

## タスク 3.4: データ品質の確保
<a name="data-engineer-associate-01-domain3-task4"></a>
+ スキル 3.4.1: データ処理時にデータ品質チェックを実行する (空のフィールドのチェックなど)。
+ スキル 3.4.2: データ品質ルールを定義する (DataBrew など)。
+ スキル 3.4.3: データの一貫性を調査する (DataBrew など)。
+ スキル 3.4.4: データサンプリング手法を説明する。
+ スキル 3.4.5: データスキューメカニズムを実装する。