翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# Amazon FSx for Lustre でデータリポジトリの使用
Amazon FSx for Lustre は、高速ワークロード処理用に最適化された高性能ファイルシステムを提供します。これは、機械学習、ハイパフォーマンスコンピューティング (HPC)、ビデオ処理、財務モデリング、Electronic Design Automation (EDA) などのワークロードをサポートすることができます。通常、ワークロードでは、データアクセスのために高速でスケーラブルなファイルシステムインターフェイスを介してデータを表示する必要があります。多くの場合、これらのワークロードに使用されるデータセットは Amazon S3 の長期データリポジトリに保存されます。FSx for Lustre は Amazon S3 などのデータリポジトリとネイティブに統合されており、データセットを Lustre ファイルシステムで簡単に処理できます。
**注記**
ファイルシステムのバックアップは、Amazon S3 データリポジトリにリンクされているファイルシステムではサポートされません。詳細については、「[バックアップでデータを保護する。](using-backups-fsx.md)」を参照してください。
インテリジェント階層化ファイルシステムは、Amazon S3 データリポジトリへのリンクをサポートしていません。
**Topics**
+ [データリポジトリの概要](overview-dra-data-repo.md)
+ [データリポジトリの POSIX メタデータのサポート](posix-metadata-support.md)
+ [Amazon S3 バケットにファイルシステムにリンクする](create-dra-linked-data-repo.md)
+ [データリポジトリからの変更のインポート](importing-files-dra.md)
+ [データリポジトリへの変更のエクスポート](export-changed-data-meta-dra.md)
+ [データリポジトリタスク](data-repository-tasks.md)
+ [ファイルのリリース](file-release.md)
+ [オンプレミスのデータに対する Amazon FSx の使用](fsx-on-premises.md)
+ [データリポジトリのイベントログ](data-repo-event-logs.md)
+ [以前のデプロイタイプでの使用](older-deployment-types.md)
# データリポジトリの概要
Amazon FSx for Lustre をデータリポジトリで使用する場合、自動インポートおよびデータリポジトリのインポートタスクを使用して、高パフォーマンスのファイルシステムで大量のファイルデータを取り込み、処理できます。同時に、データリポジトリの自動エクスポートまたはエクスポートタスクを使用して、結果をデータリポジトリに書き込むことができます。この方法を使用することで、データリポジトリに保存されている最新のデータを使用して、いつでもワークロードを再起動できます。
**注記**
データリポジトリの関連付け、自動エクスポート、複数のリポジトリのサポートは、FSx for Lustre 2.10 ファイルシステムと `Scratch 1` ファイルシステムでは使用できません。
FSx for Lustre は Amazon S3 と緊密に統合されています。この統合により、Amazon FSx ファイルシステムをマウントするアプリケーションから Amazon S3 バケットに保存されているオブジェクトにシームレスにアクセスできます。また、 AWS クラウド の Amazon EC2 インスタンスでコンピューティング集約型のワークロードを実行し、ワークロードの完了後に結果をデータリポジトリにエクスポートすることもできます。
Amazon S3 データリポジトリ内のオブジェクトにファイルシステム上のファイルおよびディレクトリとしてアクセスするには、ファイルおよびディレクトリのメタデータをファイルシステムにロードする必要があります。データリポジトリの関連付けを作成するときに、リンクされたデータリポジトリからメタデータをロードできます。
また、自動インポートまたはデータリポジトリのインポートタスクを使用して、リンクされたデータリポジトリからファイルシステムにファイルおよびディレクトリのメタデータをインポートすることもできます。データリポジトリの関連付けで自動インポートを有効にすると、S3 データリポジトリでファイルが作成、変更、または削除されたときに、ファイルシステムによってファイルのメタデータが自動的にインポートされます。または、データリポジトリのインポートタスクを使用して、新しいファイルまたは変更されたファイルとディレクトリのメタデータをインポートすることもできます。
**注記**
データリポジトリの自動インポートおよびインポートタスクは、ファイルシステム上で同時に使用できます。
また、自動エクスポートまたはデータリポジトリのエクスポートタスクを使用して、ファイルおよびそれに関連するメタデータをデータリポジトリにエクスポートすることもできます。データリポジトリの関連付けで自動エクスポートを有効にすると、ファイルデータおよびメタデータが作成、変更、または削除されたときに、ファイルシステムによってファイルデータとメタデータが自動的にエクスポートされます。また、データリポジトリのエクスポートタスクを使用して、ファイルまたはディレクトリをエクスポートすることもできます。データリポジトリのエクスポートタスクを使用すると、そのような最後のタスク以降に作成または変更されたファイルデータとメタデータがエクスポートされます。
**注記**
自動エクスポートおよびエクスポートデータリポジトリタスクは、ファイルシステム上で同時に使用することはできません。
データリポジトリの関連付けは、通常のファイル、シンボリックリンク、ディレクトリのみをエクスポートします。つまり、その他の種類のファイル (FIFO スペシャル、ブロックスペシャル、キャラクタスペシャル、ソケット) はすべて、自動エクスポートやデータリポジトリタスクのエクスポートといったエクスポートプロセスの一部としてエクスポートされません。
FSx for Lustre は、 Direct Connect または VPN を使用してオンプレミスクライアントからデータをコピーできるようにすることで、オンプレミスファイルシステムによるクラウドバーストワークロードもサポートします。
**重要**
1 つ以上の Amazon FSx ファイルシステムを Amazon S3 のデータリポジトリにリンクしている場合は、リンクされているすべてのファイルシステムが削除またはリンク解除されるまで、Amazon S3 バケットを削除しないでください。
## リンクされた S3 バケットのリージョンとアカウントのサポート
S3 バケットへのリンクを作成するときは、次のリージョンとアカウントのサポートの制限に注意してください。
+ 自動エクスポートは、クロスリージョン設定をサポートします。Amazon FSx ファイルシステムとリンクされた S3 バケットは、同じ AWS リージョン または異なる に配置できます AWS リージョン。
+ 自動インポートは、クロスリージョン設定をサポートしません。Amazon FSx ファイルシステムとリンクされた S3 バケットの両方が同じ AWS リージョンに配置されている必要があります。
+ 自動エクスポートと自動インポートの両方で、クロスアカウント設定がサポートされています。Amazon FSx ファイルシステムとリンクされた S3 バケットは、同じ AWS アカウント または異なる に属します AWS アカウント。
# データリポジトリの POSIX メタデータのサポート
Amazon FSx for Lustre は、Amazon S3 上のリンクされたデータリポジトリとの間でデータをインポートおよびエクスポートする際に、ファイル、ディレクトリ、シンボリックリンク (symlink) の Portable Operating System Interface (POSIX) メタデータを自動的に転送します。ファイルシステム内の変更をリンクされたデータリポジトリにエクスポートすると、FSx for Lustre は POSIX メタデータの変更も S3 オブジェクトのメタデータとしてエクスポートします。つまり、別の FSx for Lustre ファイルシステムが S3 から同じファイルをインポートした場合、それらのファイルには、所有権やアクセス許可を含む、そのファイルシステム内にあるものと同じ POSIX メタデータが含まれるということです。
FSx for Lustre は、次のような POSIX 準拠のオブジェクトキーを持つ S3 オブジェクトのみをインポートします。
```
mydir/
mydir/myfile1
mydir/mysubdir/
mydir/mysubdir/myfile2.txt
```
FSx for Lustre は、ディレクトリおよびシンボリックリンクを個別のオブジェクトとして S3 上のリンクされたデータリポジトリに保存します。ディレクトリの場合、FSx for Lustre は、次のようにスラッシュ (「/」) で終わるキー名を持つ S3 オブジェクトを作成します。
+ S3 オブジェクトキー `mydir/` は、FSx for Lustre ディレクトリ `mydir/` にマッピングされます。
+ S3 オブジェクトキー `mydir/mysubdir/` は、FSx for Lustre ディレクトリ `mydir/mysubdir/` にマッピングされます。
シンボリックリンクの場合、FSx for Lustre は次の Amazon S3 スキーマを使用します。
+ **S3 オブジェクトキー** - FSx for Lustre マウントディレクトリのリンク先を指定する相対パス
+ **S3 オブジェクトデータ** - このシンボリックリンクのターゲットパス
+ **S3 オブジェクトメタデータ** - シンボリックリンクのメタデータ
FSx for Lustre は、次のようなファイル、ディレクトリ、シンボリックリンクの所有権、アクセス許可、タイムスタンプなどの POSIX メタデータを S3 オブジェクトに保存します。
+ `Content-Type` - ウェブブラウザのリソースのメディアタイプを示すために使用される HTTP エンティティヘッダー。
+ `x-amz-meta-file-permissions` - [Linux stat (2) のマニュアルページ](https://man7.org/linux/man-pages/man2/lstat.2.html) の `st_mode` と一致する、`` 形式のファイルタイプとアクセス許可。
**注記**
FSx for Lustre は `setuid` の情報をインポートまたは保持しません。
+ `x-amz-meta-file-owner` - 整数で表された所有者ユーザー ID (UID)。
+ `x-amz-meta-file-group` - 整数で表されるグループ ID (GID)。
+ `x-amz-meta-file-atime` - Unix エポックの開始後のナノ秒単位の最終アクセス時間。時間値を `ns` で終了します。それ以外の場合、FSx for Lustre は値をミリ秒として解釈します。
+ `x-amz-meta-file-mtime` - Unix エポックの開始後の最終修正時間。時間値を `ns` で終了します。それ以外の場合、FSx for Lustre は値をミリ秒として解釈します。
+ `x-amz-meta-user-agent` - Amazon FSx のインポート中に無視されるユーザーエージェント。エクスポート中、FSx for Lustre はこの値を `aws-fsx-lustre` に設定します。
関連付けられた POSIX アクセス許可のないオブジェクトを S3 からインポートする場合、FSx for Lustre がファイルに割り当てるデフォルトの POSIX アクセス許可は `755` です。この許可は、すべてのユーザーに対する読み取りおよび実行アクセスと、ファイルの所有者に対する書き込みアクセスを許可します。
**注記**
FSx for Lustre は、S3 オブジェクト上のユーザー定義のカスタムメタデータを保持しません。
# ハードリンクおよび Amazon S3 へのエクスポート
ファイルシステムの DRA で自動エクスポート (新規および変更されたポリシーを含む) が有効になっている場合、DRA に含まれる各ハードリンクは、ハードリンクごとに個別の S3 オブジェクトとして Amazon S3 にエクスポートされます。複数のハードリンクを含むファイルをファイルシステムで変更すると、ファイルの変更時にどのハードリンクが使用されたかに関係なく、S3 内のすべてのコピーが更新されます。
データリポジトリタスク (DRT) を使用してハードリンクを S3 にエクスポートする場合、DRT に指定されたパスに含まれる各ハードリンクは、ハードリンクごとに個別の S3 オブジェクトとして S3 にエクスポートされます。複数のハードリンクを含むファイルをファイルシステムで変更すると、ファイルの変更時にどのハードリンクが使用されたかに関係なく、S3 内の各コピーがそれぞれのハードリンクがエクスポートされた時点で更新されます。
**重要**
新しい FSx for Lustre ファイルシステムが、別の FSx for Lustre ファイルシステム、 AWS DataSync、または Amazon FSx ファイルゲートウェイによって以前にハードリンクがエクスポートされた S3 バケットにリンクされると、ハードリンクはその後、新しいファイルシステムに個別のファイルとしてインポートされます。
## ハードリンクとリリースされたファイル
リリースされたファイルとは、メタデータはファイルシステムに存在し、コンテンツは S3 にのみ保存されているファイルのことです。リリースされたファイルの詳細については、[ファイルのリリース](file-release.md) を参照してください。
**重要**
データリポジトリアソシエーション (DRA) 持つファイルシステムでハードリンクを使用することには、次の制限があります。
複数のハードリンクを持つリリース済みファイルを削除して再作成すると、すべてのハードリンクの内容が上書きされる可能性があります。
リリースされたファイルを削除すると、データリポジトリアソシエーションの外部にあるすべてのハードリンクからコンテンツが削除されます。
対応する S3 オブジェクトが S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive ストレージクラスのいずれかにあるリリース済みファイルへのハードリンクを作成しても、ハードリンク用に S3 に新しいオブジェクトが作成されることはありません。
# チュートリアル: Simple Storage Service (Amazon S3) バケットにオブジェクトをアップロードする際の POSIX アクセス許可を付与する
次の手順では、POSIX アクセス許可を使用してオブジェクトを Simple Storage Service (Amazon S3) にアップロードするプロセスについて説明します。これにより、その S3 バケットにリンクされている Amazon FSx ファイルシステムを作成する際に POSIX アクセス許可をインポートできます。
**POSIX アクセス許可を持つオブジェクトを Simple Storage Service (Amazon S3) にアップロードするには**
1. ローカルコンピュータまたはマシンから、次のコマンド例を使用して、S3バケットにアップロードされるテストディレクトリ (`s3cptestdir`) とファイル (`s3cptest.txt`) を作成します。
```
$ mkdir s3cptestdir
$ echo "S3cp metadata import test" >> s3cptestdir/s3cptest.txt
$ ls -ld s3cptestdir/ s3cptestdir/s3cptest.txt
drwxr-xr-x 3 500 500 96 Jan 8 11:29 s3cptestdir/
-rw-r--r-- 1 500 500 26 Jan 8 11:29 s3cptestdir/s3cptest.txt
```
新しく作成されたファイルとディレクトリには、前の例に示すように、ファイル所有者のユーザー ID (UID) とグループ ID (GID) が 500 で、アクセス許可があります。
1. Simple Storage Service (Amazon S3) API を呼び出して、メタデータ許可を持つディレクトリ `s3cptestdir` を作成します。ディレクトリ名は、末尾にスラッシュ (`/`) を付けて指定する必要があります。サポートされている POSIX メタデータについては、「[データリポジトリの POSIX メタデータのサポート](posix-metadata-support.md)」を参照してください。
`bucket_name` を実際の S3 バケット名に置き換えます。
```
$ aws s3api put-object --bucket bucket_name --key s3cptestdir/ --metadata '{"user-agent":"aws-fsx-lustre" , \
"file-atime":"1595002920000000000ns" , "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , \
"file-mtime":"1595002920000000000ns"}'
```
1. POSIX アクセス許可が S3 オブジェクトメタデータにタグ付けされていることを確認します。
```
$ aws s3api head-object --bucket bucket_name --key s3cptestdir/
{
"AcceptRanges": "bytes",
"LastModified": "Fri, 08 Jan 2021 17:32:27 GMT",
"ContentLength": 0,
"ETag": "\"d41d8cd98f00b204e9800998ecf8427e\"",
"VersionId": "bAlhCoWq7aIEjc3R6Myc6UOb8sHHtJkR",
"ContentType": "binary/octet-stream",
"Metadata": {
"user-agent": "aws-fsx-lustre",
"file-atime": "1595002920000000000ns",
"file-owner": "500",
"file-permissions": "0100664",
"file-group": "500",
"file-mtime": "1595002920000000000ns"
}
}
```
1. メタデータのアクセス許可を使用して、コンピュータから S3 バケットにテストファイル (ステップ 1 で作成した) をアップロードします。
```
$ aws s3 cp s3cptestdir/s3cptest.txt s3://bucket_name/s3cptestdir/s3cptest.txt \
--metadata '{"user-agent":"aws-fsx-lustre" , "file-atime":"1595002920000000000ns" , \
"file-owner":"500" , "file-permissions":"0100664","file-group":"500" , "file-mtime":"1595002920000000000ns"}'
```
1. POSIX アクセス許可が S3 オブジェクトメタデータにタグ付けされていることを確認します。
```
$ aws s3api head-object --bucket bucket_name --key s3cptestdir/s3cptest.txt
{
"AcceptRanges": "bytes",
"LastModified": "Fri, 08 Jan 2021 17:33:35 GMT",
"ContentLength": 26,
"ETag": "\"eb33f7e1f44a14a8e2f9475ae3fc45d3\"",
"VersionId": "w9ztRoEhB832m8NC3a_JTlTyIx7Uzql6",
"ContentType": "text/plain",
"Metadata": {
"user-agent": "aws-fsx-lustre",
"file-atime": "1595002920000000000ns",
"file-owner": "500",
"file-permissions": "0100664",
"file-group": "500",
"file-mtime": "1595002920000000000ns"
}
}
```
1. S3 バケットにリンクされている Amazon FSx ファイルシステムに対するアクセス許可を確認します。
```
$ sudo lfs df -h /fsx
UUID bytes Used Available Use% Mounted on
3rnxfbmv-MDT0000_UUID 34.4G 6.1M 34.4G 0% /fsx[MDT:0]
3rnxfbmv-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0]
filesystem_summary: 1.1T 4.5M 1.1T 0% /fsx
$ cd /fsx/s3cptestdir/
$ ls -ld s3cptestdir/
drw-rw-r-- 2 500 500 25600 Jan 8 17:33 s3cptestdir/
$ ls -ld s3cptestdir/s3cptest.txt
-rw-rw-r-- 1 500 500 26 Jan 8 17:33 s3cptestdir/s3cptest.txt
```
`s3cptestdir` ディレクトリと `s3cptest.txt` ファイルの両方に POSIX 許可がインポートされています。
# Amazon S3 バケットにファイルシステムにリンクする
Amazon FSx for Lustre ファイルシステムを Simple Storage Service (Amazon S3) のデータリポジトリにリンクできます。リンクは、ファイルシステムの作成時、またはファイルシステムの作成後いつでも作成できます。
ファイルシステム上のディレクトリと S3 バケットまたはプレフィックス間のリンクは、*データリポジトリの関連付け (DRA)* と呼ばれます。FSx for Lustre ファイルシステムには、最大 8 つのデータリポジトリの関連付けを設定できます。最大 8 つの DRA リクエストをキューに入れることができますが、ファイルシステムに対して一度に処理できるリクエストは 1 つだけです。各 DRA には、一意の FSx for Lustre ファイルシステムディレクトリと、それに関連付けられた一意の S3 バケットまたはプレフィックスが必要です。
**注記**
データリポジトリの関連付け、自動エクスポート、複数のリポジトリのサポートは、FSx for Lustre 2.10 ファイルシステムと `Scratch 1` ファイルシステムでは使用できません。
S3 データリポジトリ上のオブジェクトにファイルシステム上のファイルとディレクトリとしてアクセスするには、ファイルおよびディレクトリのメタデータをファイルシステムにロードする必要があります。DRA を作成する際に、リンク先のデータリポジトリからメタデータをロードしたり、データリポジトリのインポートタスクを使用して、FSx for Lustre ファイルシステムを使用してアクセスするファイルやディレクトリのバッチのメタデータを後でロードしたりできます。また、自動エクスポートを使用して、オブジェクトがデータリポジトリに追加、変更、削除された場合にメタデータを自動的にロードすることもできます。
DRA は、自動インポートのみ、自動エクスポートのみ、またはその両方に設定できます。自動インポートと自動エクスポートの両方で設定されたデータリポジトリの関連付けは、ファイルシステムとリンクされた S3 バケット間で両方向にデータを転送します。S3 バケット内のデータに変更を加えると、FSx for Lustre が変更を検出し、その変更をファイルシステムに自動的にインポートします。ファイルを作成、変更、または削除すると、アプリケーションがファイルの変更を完了した後、FSx for Lustre が変更を非同期的に Amazon S3 に自動でエクスポートします。
**重要**
ファイルシステムと S3 バケットの両方で同じファイルを変更する場合は、アプリケーションレベルを調整して競合を防ぐ必要があります。FSx for Lustre では、複数の場所での競合する書き込みを防止できません。
不変属性でマークされたファイルの場合、FSx for Lustre は、FSx for Lustre ファイルシステムと、ファイルシステムにリンクされた S3 バケット間の変更を同期できません。不変フラグを長期間設定すると、Amazon FSx と S3 間のデータ移動のパフォーマンスが低下する可能性があります。
データリポジトリの関連付けを作成すると、次のプロパティを設定できます。
+ **ファイルシステムパス** - ディレクトリを指すファイルシステム上のローカルパス (`/ns1/` など) またはサブディレクトリ (`/ns1/subdir/` など) を指すファイルシステムのローカルパスを入力します。入力されたデータは、以下の指定されたデータリポジトリパスで 特定のデータに 1 対 1 でマッピングされます。名前の先頭のスラッシュは必須です。2 つのデータリポジトリの関連付けは、重複するファイルシステムパスを持つことはできません。例えば、データリポジトリがファイルシステムパス `/ns1` に関連付けられている場合、ファイルシステムパス `/ns1/ns2` に別のデータリポジトリをリンクすることはできません。
**注記**
ファイルシステムパスとしてスラッシュ (`/`) のみを指定した場合、ファイルシステムにリンクできるデータリポジトリは 1 つだけです。「/」は、ファイルシステムに関連付けられた最初のデータリポジトリのファイルシステムパスとしてのみ指定できます。
+ **データリポジトリパス** - S3 データリポジトリにパスを入力します。パスには、次の S3 バケットまたは `s3://bucket-name/prefix/` 形式のプレフィックスを使用できます。このプロパティは、S3 データリポジトリのファイルのインポート先またはエクスポート先を指定します。特に指定しなければ、FSx for Lustre はデータリポジトリのパスに末尾の「/」を追加します。例えば、`s3://amzn-s3-demo-bucket/my-prefix` のデータリポジトリのパスを指定すると、FSx for Lustre はそれを `s3://amzn-s3-demo-bucket/my-prefix/` として解釈します。
2 つのデータリポジトリの関連付けは、重複するデータリポジトリパスを持つことはできません。例えば、パス `s3://amzn-s3-demo-bucket/my-prefix/` があるデータリポジトリがファイルシステムにリンクされている場合、データリポジトリのパス `s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix` と別のデータリポジトリの関連付けを作成することはできません。
+ **リポジトリからメタデータをインポートする** - このオプションを選択すると、データリポジトリの関連付けを作成した直後にデータリポジトリ全体からメタデータをインポートできます。または、データリポジトリのインポートタスクを実行して、データリポジトリの関連付けが作成された後でも、リンクされたデータリポジトリのメタデータのすべてまたはサブセットをファイルシステムにロードできます。
+ **設定のインポート** - リンクされた S3 バケットからファイルシステムに自動的にインポートされる、更新されたオブジェクトのタイプ (新規、変更、および削除の任意の組み合わせ) を指定するインポートポリシーを選択します。自動インポート (新規、変更、削除) は、コンソールからデータリポジトリを追加するとデフォルトで有効になりますが、 AWS CLI または Amazon FSx API を使用する場合はデフォルトで無効になります。
+ **設定をエクスポートする** - S3 バケットに自動的にエクスポートされる更新されたオブジェクトのタイプ (新規、変更、および削除の任意の組み合わせ) を指定するエクスポートポリシーを選択します。自動エクスポート (新規、変更、削除) は、コンソールからデータリポジトリを追加するとデフォルトで有効になりますが、 AWS CLI または Amazon FSx API を使用する場合はデフォルトで無効になります。
**ファイルシステムパス**と**データリポジトリパス**の設定により、Amazon FSx のパスと S3 のオブジェクトキーが 1 対 1 でマッピングされます。
**Topics**
+ [S3 バケットへのリンクの作成](create-linked-dra.md)
+ [データリポジトリの関連付け設定の更新](update-dra-settings.md)
+ [S3 バケットへの関連付けを削除する](delete-linked-dra.md)
+ [データリポジトリの関連付けの詳細の表示](view-dra-details.md)
+ [データリポジトリの関連付けのライフサイクル状態](dra-lifecycles.md)
+ [サーバー側で暗号化された Simple Storage Service (Amazon S3) バケットの使用](s3-server-side-encryption-support.md)
# S3 バケットへのリンクの作成
以下の手順では、 AWS マネジメントコンソール および AWS Command Line Interface () を使用して、FSx for Lustre ファイルシステムのデータリポジトリを既存の S3 バケットに関連付けるプロセスについて説明しますAWS CLI。S3 バケットをファイルシステムがリンクする方法については、「[Simple Storage Service (Amazon S3) でデータリポジトリを使用する許可を追加する](setting-up.md#fsx-adding-permissions-s3)」を参照してください。
**注記**
データリポジトリは、ファイルシステムバックアップが有効になっているファイルシステムにリンクすることはできません。データリポジトリをリンクする前にバックアップを無効にします。
## ファイルシステムの作成中に S3 バケットをリンクするには (コンソール)
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. 「はじめに」[ステップ 1: FSx for Lustre ファイルシステムの作成](getting-started.md#getting-started-step1) セクションで説明されている新しいファイルシステムを作成する手順に従います。
1. **[Data Repository Import/Export -*optional*]** (データリポジトリ インポート / エクスポート - オプション) セクションを開きます。この機能は、デフォルトでは無効になっています。
1. **[Import data from and export data to S3]** (データを S3 からインポートし、データを S3 にエクスポートする) を選択します。
1. **データリポジトリ関連付け情報** ダイアログで、以下のフィールドに情報を入力します。
+ **ファイルシステムパス**: S3 データリポジトリに関連付けられる Amazon FSx ファイルシステム内に、ハイレベルディレクトリの名前 (`/ns1` など) またはサブディレクトリの名前 (`/ns1/subdir` など) を入力します。パスの先頭のスラッシュが必要です。2 つのデータリポジトリの関連付けは、重複するファイルシステムパスを持つことはできません。例えば、データリポジトリがファイルシステムパス `/ns1` に関連付けられている場合、ファイルシステムパス `/ns1/ns2` に別のデータリポジトリをリンクすることはできません。**ファイルシステムパス** 設定は、ファイルシステムのすべてのデータリポジトリの関連付けで一意である必要があります。
+ **データリポジトリパス**: ファイルシステムに関連付ける既存の S3 バケットまたはプレフィックスのパスを入力します (例えば、`s3://amzn-s3-demo-bucket/my-prefix`)。2 つのデータリポジトリの関連付けは、重複するデータリポジトリパスを持つことはできません。**データリポジトリパス** 設定は、ファイルシステムのすべてのデータリポジトリの関連付けで一意である必要があります。
+ **リポジトリからメタデータをインポートする**: このプロパティを選択すると、オプションで、リンクが作成された直後にメタデータをインポートするデータリポジトリのインポートタスクを実行できます。
1. **設定のインポート-オプション** で、**[Import Policy]** (ポリシーのインポート) を設定します。これにより、S3 バケット内のオブジェクトを追加、変更、または削除する際に、ファイルおよびディレクトリのリストを最新の状態に保つ方法が決定されます。例えば、**[New]** (新規) をクリックして、S3 バケットで作成された新しいオブジェクトのメタデータをファイルシステムにインポートします。インポートポリシーの詳細については、「[S3 バケットから更新を自動的にインポートする](autoimport-data-repo-dra.md)」を参照してください。
1. **[Export Policy]** (ポリシーをエクスポートする) で、ファイルシステム内のオブジェクトを追加、変更、または削除するときに、リンクされた S3 バケットにファイルをエクスポートする方法を決定するエクスポートポリシーを設定します。例えば、**[Changed]** (変更済) を選択して、ファイルシステム上でコンテンツまたはメタデータが変更されたオブジェクトをエクスポートします。ポリシーのエクスポートの詳細については、「[S3 バケットに更新を自動的にエクスポートする](autoexport-data-repo-dra.md)」を参照してください。
1. ファイルシステム作成ウィザードの次のセクションに進みます。
## S3 バケットを既存のファイルシステム (コンソール) にリンクするには
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. ダッシュボードから、**[File systems]** (ファイルシステム) を選択します。次に、データリポジトリの関連付けを作成する対象のファイルシステムを選択します。
1. **[Data repository]** (データリポジトリ) タブを選択します。
1. **[Data repository associations]** (データリポジトリ関連) ペインで、**[Create data repository association]** (データリポジトリの関連付けを作成する) を選択します。
1. **[Data repository association information]** (データリポジトリ関連付け情報) ダイアログで、以下のフィールドに情報を入力します。
+ **ファイルシステムパス**: S3 データリポジトリに関連付けられる Amazon FSx ファイルシステム内に、ハイレベルディレクトリの名前 (`/ns1` など) またはサブディレクトリの名前 (`/ns1/subdir` など) を入力します。パスの先頭のスラッシュが必要です。2 つのデータリポジトリの関連付けは、重複するファイルシステムパスを持つことはできません。例えば、データリポジトリがファイルシステムパス `/ns1` に関連付けられている場合、ファイルシステムパス `/ns1/ns2` に別のデータリポジトリをリンクすることはできません。**ファイルシステムパス** 設定は、ファイルシステムのすべてのデータリポジトリの関連付けで一意である必要があります。
+ **データリポジトリパス**: ファイルシステムに関連付ける既存の S3 バケットまたはプレフィックスのパスを入力します (例えば、`s3://amzn-s3-demo-bucket/my-prefix`)。2 つのデータリポジトリの関連付けは、重複するデータリポジトリパスを持つことはできません。**データリポジトリパス** 設定は、ファイルシステムのすべてのデータリポジトリの関連付けで一意である必要があります。
+ **リポジトリからメタデータをインポートする**: このプロパティを選択すると、オプションで、リンクが作成された直後にメタデータをインポートするデータリポジトリのインポートタスクを実行できます。
1. **設定のインポート-オプション** で、**[Import Policy]** (ポリシーのインポート) を設定します。これにより、S3 バケット内のオブジェクトを追加、変更、または削除する際に、ファイルおよびディレクトリのリストを最新の状態に保つ方法が決定されます。例えば、**[New]** (新規) をクリックして、S3 バケットで作成された新しいオブジェクトのメタデータをファイルシステムにインポートします。インポートポリシーの詳細については、「[S3 バケットから更新を自動的にインポートする](autoimport-data-repo-dra.md)」を参照してください。
1. **[Export Policy]** (ポリシーをエクスポートする) で、ファイルシステム内のオブジェクトを追加、変更、または削除するときに、リンクされた S3 バケットにファイルをエクスポートする方法を決定するエクスポートポリシーを設定します。例えば、**[Changed]** (変更済) を選択して、ファイルシステム上でコンテンツまたはメタデータが変更されたオブジェクトをエクスポートします。ポリシーのエクスポートの詳細については、「[S3 バケットに更新を自動的にエクスポートする](autoexport-data-repo-dra.md)」を参照してください。
1. **[作成]** を選択します。
## ファイルシステムを S3 バケット (AWS CLI) にリンクするには
次の例では、Amazon FSx ファイルシステムを S3 バケットにリンクするデータリポジトリの関連付けを作成します。これには、新規または変更されたファイルをファイルシステムにインポートするインポートポリシーと、新規、変更、または削除したファイルをリンクされた S3 バケットにエクスポートするエクスポートポリシーを使用します。
+ データリポジトリの関連付けを作成するには、以下に示すように、Amazon FSx CLI コマンド `create-data-repository-association` を使用します。
```
$ aws fsx create-data-repository-association \
--file-system-id fs-0123456789abcdef0 \
--file-system-path /ns1/path1/ \
--data-repository-path s3://amzn-s3-demo-bucket/myprefix/ \
--s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}"
```
Amazon FSx は、DRA の JSON 記述をすぐに返します。DRA は非同期に作成されます。
このコマンドを使用すると、ファイルシステムの作成が完了する前でも、データリポジトリの関連付けを作成できます。ファイルシステムが使用可能になった後、リクエストはキューに入れられ、データリポジトリの関連付けが作成されます。
# データリポジトリの関連付け設定の更新
既存のデータリポジトリの関連付けの設定は、以下の手順で示すように AWS マネジメントコンソール、 AWS CLI、および Amazon FSx API を使用して更新できます。
**注記**
DRA の作成後は DRA の `File system path` または `Data repository path` を更新することはできません。`File system path` または `Data repository path` を変更する場合は、DRA を削除してから再度作成する必要があります。
## 既存のデータリポジトリ関連付けの設定を更新するには (コンソール)
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. ダッシュボードから、**[File systems]** (ファイルシステム) をクリックし、管理するファイルシステムを選択します。
1. **[Data repository]** (データリポジトリ) タブを選択します。
1. **[Data repository associations]** (データリポジトリ関連) ペインで、変更するデータリポジトリ関連付けを選択します。
1. **[Update]** (更新) を選択します。データリポジトリの関連付けの編集ダイアログが表示されます。
1. **[Import settings - optional]** (設定のインポート-オプション) で、**[Import Policy]** (ポリシーのインポート) を更新することができます。インポートポリシーの詳細については、「[S3 バケットから更新を自動的にインポートする](autoimport-data-repo-dra.md)」を参照してください。
1. **[Export settings - optional]** (エクスポート設定 - オプション) でエクスポートポリシーを更新できます。ポリシーのエクスポートの詳細については、「[S3 バケットに更新を自動的にエクスポートする](autoexport-data-repo-dra.md)」を参照してください。
1. **[Update]** (更新) を選択します。
## 既存のデータリポジトリの関連付けの設定を更新するには (CLI)
+ データリポジトリの関連付けを更新するには、以下に示すように Amazon FSx CLI コマンド `update-data-repository-association` を使用します。
```
$ aws fsx update-data-repository-association \
--association-id 'dra-872abab4b4503bfc2' \
--s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}"
```
データリポジトリ関連付けのインポートポリシーおよびエクスポートポリシーが正常に更新されると、Amazon FSx は更新されたデータリポジトリ関連付けの説明を JSON として返します。
# S3 バケットへの関連付けを削除する
次の手順では、 AWS マネジメントコンソール と AWS Command Line Interface () を使用して、既存の Amazon FSx ファイルシステムから既存の S3 バケットにデータリポジトリの関連付けを削除するプロセスについて説明しますAWS CLI。データリポジトリの関連付けを削除すると、S3 バケットからファイルシステムのリンクが解除されます。
## ファイルシステムから S3 バケットへのリンクを削除するには (コンソール)
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. ダッシュボードから、**[File systems]** (ファイルシステム) を選択します。次に、データリポジトリの関連付けを削除するファイルシステムを選択します。
1. **[Data repository]** (データリポジトリ) タブを選択します。
1. **[Data repository associations]** (データリポジトリ関連) ペインで、削除するデータリポジトリの関連付けを選択します。
1. **[Actions]** (アクション) で、**[Delete association]** (関連付けを削除する) を選択します。
1. **[削除]** ダイアログで、**[ファイルシステム内のデータを削除する]** を選択して、データリポジトリの関連付けに対応するファイルシステム内のデータを物理的に削除することができます。
同一のファイルシステムパスを使用しつつ、別の S3 バケットプレフィックスを参照する新しいデータリポジトリ関連付けを作成する予定がある場合、またはファイルシステム内のデータが不要になった場合は、このオプションを選択します。
1. **[Delete]** (削除) をクリックして、ファイルシステムからデータリポジトリの関連付けを削除します。
## ファイルシステムから S3 バケット (AWS CLI) へのリンクを削除するには
次の例では、Amazon FSx ファイルシステムを S3 バケットにリンクするデータリポジトリの関連付けを削除します。`--association-id` パラメータは、削除するデータリポジトリの関連付けの ID を指定します。
+ データリポジトリの関連付けを削除するには、以下に示すように Amazon FSx CLI コマンド `delete-data-repository-association` を使用します。
```
$ aws fsx delete-data-repository-association \
--association-id dra-872abab4b4503bfc \
--delete-data-in-file-system false
```
データリポジトリの関連付けを正常に削除すると、Amazon FSx はその説明を JSON として返します。
**同じファイルシステムパスで DRAs を再作成する**
同じファイルシステムパスを使用するデータリポジトリの関連付けを削除して再作成することはお勧めしません。DRA を削除し、後で同じファイルシステムパスを使用して新しい DRA を作成すると、一部のファイルは以前に削除された DRA から HSM 状態を保持する場合があります。
以前に削除された DRA によって管理された再作成された DRA からファイルをエクスポートする必要がある場合は、以下のコマンドを使用してそれらのファイルをダーティとしてマークし、データリポジトリのエクスポートタスクを実行する必要があります。
```
sudo lfs hsm_set --dirty file_path
```
# データリポジトリの関連付けの詳細の表示
FSx for Lustre コンソール、、および API を使用して AWS CLI、データリポジトリの関連付けの詳細を表示できます。詳細には、DRA の関連付け ID、ファイルシステムパス、データリポジトリパス、インポート設定、エクスポート設定、ステータス、および関連するファイルシステムの ID が含まれます。
## DRA の詳細を表示するには (コンソール)
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. ダッシュボードから、**[File system]** (ファイルシステム) を選択してから、データリポジトリの関連付けの詳細を表示するファイルシステムを選択します。
1. **[Data repository]** (データリポジトリ) タブを選択します。
1. **[Data repository associations]** (データリポジトリ関連) ペインで、表示するデータリポジトリの関連付けを選択します。**[Summary]** (概要) ページが表示され、DRA の詳細が表示されます。
![\[データリポジトリ関連付けの Amazon FSx の詳細ページ。\]](http://docs.aws.amazon.com/ja_jp/fsx/latest/LustreGuide/images/dra-describe.png)
## DRA の詳細を表示するには (CLI)
+ 特定のデータリポジトリ関連付けの詳細を表示するには、以下に示すように Amazon FSx CLI `describe-data-repository-associations` コマンドを使用します。
```
$ aws fsx describe-data-repository-associations \
--association-ids dra-872abab4b4503bfc2
```
Amazon FSx は、データリポジトリの関連付けの説明を JSON として返します。
# データリポジトリの関連付けのライフサイクル状態
データリポジトリの関連付けのライフサイクル状態は、特定の DRA に関するステータス情報を提供します。データリポジトリ関連付けには、次の **ライフサイクル状態** があります。
+ **作成中** - Amazon FSx は、ファイルシステムとリンクされたデータリポジトリの間にデータリポジトリの関連付けを作成しています。データリポジトリは使用できません。
+ **使用可能** - データリポジトリの関連付けを使用できます。
+ **更新中** - データリポジトリの関連付けは、可用性に影響する可能性があるお客様が開始した更新を実行しています。
+ **削除中** - データリポジトリの関連付けは、お客様が開始した削除を実行しています。
+ **設定が不適切です** - Amazon FSx は、データリポジトリの関連付け設定が修正されるまで、S3 バケットから更新を自動的にインポートしたり、S3 バケットに更新を自動的にエクスポートしたりすることはできません。
DRA は、以下の理由で **設定ミス** になる可能性があります:
+ Amazon FSx には、S3 バケットにアクセスするために必要な IAM アクセス許可がありません。
+ これは、S3 バケットの FSx イベント通知設定が削除または変更されます。
+ S3 バケットには、FSx イベントタイプと重複する既存のイベント通知があります。
根本的な問題を解決した後、DRA は 15 分以内に自動的に **Available** 状態に戻るか、[update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html) AWS CLI コマンドを使用してすぐに状態変更をトリガーできます。
+ **失敗** - データリポジトリの関連付けは、回復できないターミナル状態にあります (例えば、ファイルシステムパスが削除される、S3 バケットが削除されるなど)。
Amazon FSx コンソール、、および Amazon FSx API を使用して AWS Command Line Interface、データリポジトリの関連付けのライフサイクル状態を表示できます。詳細については、「[データリポジトリの関連付けの詳細の表示](view-dra-details.md)」を参照してください。
# サーバー側で暗号化された Simple Storage Service (Amazon S3) バケットの使用
FSx for Lustre は、S3 マネージドキー (SSE-S3) と に保存されている (SSE-KMS) によるサーバー側の暗号化を使用する Amazon S3 バケットをサポートしています。 S3-managed AWS KMS keys AWS Key Management Service
S3 バケットに書き込むときに Amazon FSx でデータを暗号化するには、S3 バケットのデフォルトの暗号化を SSE-S3 または SSE-KMS に設定する必要があります。詳細については、「*Amazon S3 ユーザーガイド*」の「[デフォルトの暗号化の設定](https://docs.aws.amazon.com/AmazonS3/latest/userguide/default-bucket-encryption.html)」を参照してください。S3 バケットにファイルを書き込む場合、Amazon FSx は S3 バケットのデフォルトの暗号化ポリシーに従います。
デフォルトでは、Amazon FSx は SSE-S3 を使用して暗号化された S3 バケットをサポートします。SSE-KMS 暗号化を使用して暗号化された S3 バケットに Amazon FSx ファイルシステムをリンクする場合は、Amazon FSx が KMS キーを使用して S3 バケット内のオブジェクトを暗号化および復号化できるようにするステートメントをカスタマー管理キーポリシーに追加する必要があります。
次のステートメントは、特定の Amazon FSx ファイルシステムで、特定の S3 バケットのオブジェクトを暗号化および復号化することを許可します。*bucket\$1name*。
```
{
"Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"kms:CallerAccount": "aws_account_id",
"kms:ViaService": "s3.bucket-region.amazonaws.com"
},
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
}
}
}
```
**注記**
CMK で KMS を使用して S3 バケットキーを有効にして S3 バケットを暗号化する場合は、次の例で示すとおり、`EncryptionContext` をオブジェクト ARN ではなくバケット ARN に設定します。
```
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name"
}
```
次のポリシーステートメントでは、アカウント内のすべての Amazon FSx ファイルシステムが特定の S3 バケットにリンクすることを許可します。
```
{
"Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
"Effect": "Allow",
"Principal": {
"AWS": "*"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"kms:ViaService": "s3.bucket-region.amazonaws.com",
"kms:CallerAccount": "aws_account_id"
},
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
},
"ArnLike": {
"aws:PrincipalArn": "arn:aws_partition:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fs-*"
}
}
}
```
## 別の AWS アカウント または共有 VPC からのサーバー側の暗号化された Amazon S3 バケットへのアクセス
FSx for Lustre ファイルシステムを暗号化した Simple Storage Service (Amazon S3) バケットを作成したら、`AWSServiceRoleForFSxS3Access_fs-01234567890` リンクされた S3 バケットからデータを読み書きする前に S3 バケットを暗号化するために使用される KMS キーへのサービスリンクロール (SLR) アクセス。KMS キーに対するアクセス許可が既にある IAM ロールを使用できます。
**注記**
この IAM ロールは、KMS キー / S3 バケットが属するアカウントではなく、FSx for Lustre ファイルシステムが作成されたアカウント (S3 SLR と同じアカウント) に存在する必要があります。
IAM ロールを使用して次の AWS KMS API を呼び出し、S3 SLR が S3 オブジェクトへのアクセス許可を取得できるように S3 SLR の許可を作成します。SLR に関連付けられている ARN を見つけるには、ファイルシステム ID を検索文字列として使用して IAM ロールを検索します。
```
$ aws kms create-grant --region fs_account_region \
--key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \
--grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \
--operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo"
```
サービスにリンクされたロールの詳細については、「[Amazon FSx のサービスリンクロールの使用](using-service-linked-roles.md)」を参照してください。
# データリポジトリからの変更のインポート
データおよび POSIX メタデータを含むメタデータの変更を、リンクされたデータリポジトリから Amazon FSx ファイルシステムにエクスポートできます。関連する POSIX メタデータには、所有権、許可、およびタイムスタンプが含まれます。
変更をファイルシステムにインポートするには、次のいずれかの方法を使用します。
+ リンクされたデータリポジトリに新規ファイル、変更されたファイル、または削除されたファイルを自動的にエクスポートできるようにファイルシステムを設定します。詳細については、「[S3 バケットから更新を自動的にインポートする](autoimport-data-repo-dra.md)」を参照してください。
+ データリポジトリの関連付けを作成する際に、メタデータをインポートするためのオプションを選択します。これにより、データリポジトリの関連付けを作成した直後に、データリポジトリのインポートタスクが開始されます。
+ オンデマンドのデータリポジトリのインポートタスクを使用します。詳細については、「[データリポジトリのタスクを使用して変更をインポートする](import-data-repo-task-dra.md)」を参照してください。
自動インポートとデータリポジトリのインポートタスクは同時に実行できます。
データリポジトリの関連付けで自動インポートを有効にすると、S3 でオブジェクトが作成、変更、または削除されたときに、ファイルシステムによってファイルメタデータが自動的に更新されます。データリポジトリの関連付けの作成時にメタデータをインポートするオプションを選択すると、データリポジトリ内の全オブジェクトのメタデータがファイルシステムによってインポートされます。データリポジトリのインポートタスクを使用してインポートする場合、前回のインポート以降に作成または変更されたオブジェクトのメタデータのみがファイルシステムによってインポートされます。
FSx for Lustre は、アプリケーションがファイルシステム内のファイルに最初にアクセスする際に、データリポジトリからファイルの内容を自動的にコピーしてファイルシステムにロードします。このデータの移動は FSx for Lustre によって管理されており、アプリケーションに対して透過的に行われます。その後に行われるファイルの読み取りは、ミリ秒未満のレイテンシーでファイルシステムから直接提供されます。
ファイルシステム全体またはファイルシステム内のディレクトリをプリロードすることもできます。詳細については、「[ファイルシステムへのファイルのプリロード](preload-file-contents-hsm-dra.md)」を参照してください。複数のファイルのプリロードを同時にリクエストすると、FSx for Lustre は Amazon S3 データリポジトリからファイルを並行してロードします。
FSx for Lustre は、POSIX 準拠のオブジェクトキーを持つ S3 オブジェクトのみをインポートします。自動インポートおよびデータリポジトリのインポートタスクの両方で、POSIX メタデータがインポートされます。詳細については、「[データリポジトリの POSIX メタデータのサポート](posix-metadata-support.md)」を参照してください。
**注記**
FSx for Lustre では、S3 Glacier Flexible Retrieval および S3 Glacier Deep Archive ストレージクラスからのシンボリックリンク (symlink) メタデータのインポートはサポートされていません。シンボリックリンクではない S3 Glacier Flexible Retrieval オブジェクトまたは S3 Glacier Deep Archive オブジェクトのメタデータをインポートできます (つまり、正しいメタデータを使用して FSx for Lustre ファイルシステムで inode が作成されます)。ただし、ファイルシステムからこのデータを読み取るには、始めに S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive オブジェクトを復元する必要があります。S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive ストレージクラスの Amazon S3 オブジェクトから FSx for Lustre へのファイルデータの直接インポートはサポートされていません。
# S3 バケットから更新を自動的にインポートする
FSx for Lustre は、オブジェクトが S3 バケットに追加、変更されたとき、または S3 バケットから削除されたときに、ファイルシステムのメタデータを自動的に更新するように設定できます。FSx for Lustre は、S3 の変更に対応して、ファイルとディレクトリのリストを作成、更新、または削除します。S3 バケット内の変更されたオブジェクトにメタデータが含まれなくなった場合、FSx for Lustre は、現在のアクセス許可を含む現在のメタデータの値を保持します。
**注記**
更新を自動でインポートするためには、FSx for Lustre ファイルシステムとリンクされた S3 バケットが同じ AWS リージョン に配置されている必要があります。
データリポジトリの関連付けを作成するときに自動インポートを設定し、FSx マネジメントコンソール、、 AWS CLIまたは AWS API を使用していつでも自動インポート設定を更新できます。
**注記**
同じデータリポジトリの関連付けで、自動インポートと自動エクスポートの両方を設定できます。このトピックでは、自動インポート機能についてのみ説明します。
**重要**
すべての自動インポートのポリシーが有効になっており、自動エクスポートが無効になっている状態で S3 でオブジェクトが変更された場合、そのオブジェクトのコンテンツは常にファイルシステム内の対応するファイルにインポートされます。ターゲットの場所にファイルが既に存在する場合、そのファイルは上書きされます。
自動インポートと自動エクスポートのポリシーがすべて有効になっている状態で、ファイルシステムと S3 の両方でファイルを変更すると、ファイルシステム内のファイルまたは S3 内のオブジェクトのいずれかが他方で上書きされる可能性があります。ある場所で後から編集しても、別の場所で行った以前の編集が上書きされない場合があります。ファイルシステムと S3 バケットの両方で同じファイルを変更する場合は、このような競合を防ぐためにアプリケーションレベルの調整を行う必要があります。FSx for Lustre では、複数の場所での競合する書き込みを防止できません。
インポートポリシーでは、リンクされた S3 バケットの内容が変更されたときに、FSx for Lustre がファイルシステムをどのように更新するかを指定します。データリポジトリの関連付けには、次のいずれかのインポートポリシーがあります。
+ **新規** — FSx for Lustre は、リンクされた S3 データリポジトリに新しいオブジェクトが追加された場合にのみ、ファイルとディレクトリのメタデータを自動的に更新します。
+ **変更済み** - FSx for Lustre は、データリポジトリ内の既存のオブジェクトが変更された場合にのみ、ファイルとディレクトリのメタデータを自動的に更新します。
+ **削除済み** — FSx for Lustre は、データリポジトリ内のオブジェクトが削除された場合にのみ、ファイルとディレクトリのメタデータを自動的に更新します。
+ **新規、変更済み、削除済みの任意の組み合わせ** - FSx for Lustre は、S3 データリポジトリで指定されたアクションのいずれかが発生した場合に、ファイルとディレクトリのメタデータを自動的に更新します。例えば、S3 リポジトリでオブジェクトが **[新規]** に追加されたとき、または **[削除済み]** から削除されたときにファイルシステムが更新され、オブジェクトが変更されたときには更新されないように指定できます。
+ **ポリシーの設定なし** - FSx for Lustre は、S3 データリポジトリにオブジェクトが追加、変更されたとき、または S3 データリポジトリから削除されたときに、S3 データリポジトリのメタデータを更新しません。インポートポリシーを設定しない場合、データリポジトリの関連付けの自動インポートは無効になります。「[データリポジトリのタスクを使用して変更をインポートする](import-data-repo-task-dra.md)」で説明されているように、データリポジトリのインポートタスクを使用して、メタデータの変更を手動でインポートできます。
**重要**
自動インポートは、次の S3 アクションはリンクされている FSx for Lustre ファイルシステムに同期しません。
S3 オブジェクトライフサイクルの有効期限を使用したオブジェクトの削除
バージョニングが有効なバケット内の現在のオブジェクトの永久削除
バージョニングが有効なバケット内のオブジェクトの削除キャンセル
インポートポリシーを **[新規]**、**[変更済み]**、**[削除済み]** に設定することをお勧めします。このポリシーにより、リンクされた S3 データリポジトリで行われたすべての更新が、ファイルシステムに自動的にインポートされます。
リンクされた S3 バケットの変更に基づいてファイルシステムのファイルとディレクトリのリストを更新するようにインポートポリシーを設定すると、FSx for Lustre はリンクされた S3 バケットにイベント通知設定を作成します。イベント通知設定には `FSx` という名前が付けられています。S3 バケットの `FSx` イベント通知設定を変更または削除しないでください。これを行うと、更新されたファイルとディレクトリのメタデータがファイルシステムに自動的にインポートされなくなります。
FSx for Lustre がリンクされた S3 バケットで変更されたファイルリストを更新した場合、ファイルの書き込みがロックされていても、ローカルファイルは更新されたバージョンで上書きされます。
FSx for Lustre は、ファイルシステムを更新するために最善を尽くします。FSx for Lustre は、次の状況ではファイルシステムを更新できません。
+ FSx for Lustre に、変更された、または新しい S3 オブジェクトを開くためのアクセス許可がない場合です。この場合、FSx for Lustre はオブジェクトをスキップして続行します。DRA のライフサイクルステータスは影響を受けません。
+ FSx for Lustre に、`GetBucketAcl` 用などのバケットレベルのアクセス許可がない場合です。この場合、データリポジトリのライフサイクルの状態が **[Misconfigured]** (設定ミス) になります。詳細については、「[データリポジトリの関連付けのライフサイクル状態](dra-lifecycles.md)」を参照してください。
+ リンクされた S3 バケットの `FSx` イベント通知設定が削除または変更された場合。この場合、データリポジトリのライフサイクルの状態が **[Misconfigured]** (設定ミス) になります。詳細については、「[データリポジトリの関連付けのライフサイクル状態](dra-lifecycles.md)」を参照してください。
CloudWatch Logs への [ログ記録を有効にして](cw-event-logging.md#manage-logging)、自動的にインポートできなかったファイルやディレクトリに関する情報をログに記録することをお勧めします。ログ内の警告とエラーには、失敗の理由に関する情報が含まれています。詳細については、「[データリポジトリのイベントログ](data-repo-event-logs.md)」を参照してください。
## 前提条件
FSx for Lustre がリンクされた S3 バケットから新規、変更済み、または削除済みのファイルを自動的にインポートするには、次の条件が必要です。
+ ファイルシステムとそれにリンクされたS3バケットは同じ AWS リージョンにあります。
+ S3 バケットには、誤って設定された **[ライフサイクル状態]** はありません。詳細については、「[データリポジトリの関連付けのライフサイクル状態](dra-lifecycles.md)」を参照してください。
+ アカウントには、リンクされた S3 バケットでイベント通知を設定および受信するために必要なアクセス許可があります。
## サポートされているファイル変更のタイプ
FSx for Lustre は、リンクされた S3 バケットで発生したファイルとディレクトリへの、次のような変更のインポートをサポートしています。
+ ファイル内容の変更
+ ファイルまたはディレクトリのメタデータの変更
+ シンボリックリンクターゲットまたはメタデータの変更。
+ ファイルおよびディレクトリの削除 (ファイルシステム内のディレクトリに対応するリンクされた S3 バケット内のオブジェクト、つまりキー名がスラッシュで終わるオブジェクトを削除すると、FSx for Lustre はファイルシステム上の対応するディレクトリが空の場合にのみ、それを削除します)
## インポート設定の更新
データリポジトリの関連付けを作成する際に、リンクされた S3 バケットのファイルシステムのインポート設定を設定できます。詳細については、「[S3 バケットへのリンクの作成](create-linked-dra.md)」を参照してください。
また、インポートポリシーを含め、いつでもインポート設定を更新できます。詳細については、「[データリポジトリの関連付け設定の更新](update-dra-settings.md)」を参照してください。
## 自動インポートのモニタリング
S3 バケット内の変化率が自動インポートで処理可能な変化率を超えた場合、FSx for Lustre ファイルシステムにインポートされる当該メタデータの変更に遅延が生じます。その場合、`AgeOfOldestQueuedMessage` メトリクスを使用して、自動インポートによる処理を待機している最も古い変更の経過時間をモニタリングできます。このメトリクスの詳細については、「[FSx for Lustre S3 リポジトリメトリクス](fs-metrics.md#auto-import-export-metrics)」を参照してください。
メタデータの変更のインポートの遅延が (`AgeOfOldestQueuedMessage` メトリクスを使用して測定される) 14 日を超えるた場合、自動インポートによって処理されていない S3 バケット内の変更はファイルシステムにインポートされません。さらに、データリポジトリの関連付けのライフサイクルが **MISCONFIGURED** とマークされ、自動インポートが停止します。自動エクスポートを有効にしている場合、自動エクスポートは引き続き FSx for Lustre ファイルシステムの変更をモニタリングします。ただし、追加の変更は FSx for Lustre ファイルシステムから S3 に同期されません。
データリポジトリの関連付けを **MISCONFIGRED** のライフサイクル状態から **AVAILABLE** のライフサイクル状態に戻すには、データリポジトリの関連付けを更新する必要があります。データリポジトリの関連付けは、[update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html) CLI コマンド (または対応する [UpdateDataRepositoryAssociation](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateDataRepositoryAssociation.html) API オペレーション) を使用して更新できます。唯一必要なリクエストパラメータは、更新するデータリポジトリの関連付けの `AssociationID` だけです。
データリポジトリの関連付けのライフサイクル状態が **AVAILABLE** に変わると、自動インポート (および有効化されている場合は自動エクスポート) が再起動されます。再起動すると、自動エクスポートは S3 に対するファイルシステムの変更の同期を再開します。インポートされていない FSx for Lustre ファイルシステムまたはデータリポジトリの関連付けが構成が間違っていた状態の FSx for Lustre ファイルシステムに対して S3 内の新規オブジェクトと変更されたオブジェクトのメタデータを同期させるには、[データリポジトリのインポートタスク](import-data-repo-task-dra.md)を実行します。インポートデータリポジトリタスクでは、S3 バケット内の削除は FSx for Lustre ファイルシステムと同期されません。S3 をファイルシステムと (削除を含めて) 完全に同期する場合は、ファイルシステムを再作成する必要があります。
メタデータの変更のインポートの遅延が 14 日を超えないようにするために、`AgeOfOldestQueuedMessage` メトリクスにアラームを設定し、`AgeOfOldestQueuedMessage` メトリクスがアラームしきい値を超えた場合に S3 バケット内のアクティビティを減らすことをお勧めします。最大数の変更を S3 から継続的に送信する単一のシャードで S3 バケットに接続されている FSx for Lustre ファイルシステムで自動インポートのみを実行している場合、自動インポートでは 14 日以内に 7 時間分の S3 変更のバックログを処理できます。
さらに、自動インポートが 14 日で処理できるよりも多くの変更が 1 つの S3 アクションで生成されることがあります。このような種類のアクションの例には、S3 への AWS Snowball アップロードや大規模な削除などがあります。S3 バケットで行った大規模な変更を FSx for Lustre ファイルシステムと同期させる場合、自動インポートの変更が 14 日を超えないようにするには、ファイルシステムを削除し、S3 の変更が完了した後に再作成する必要があります。
`AgeOfOldestQueuedMessage` メトリクスが増大している場合、S3 バケットの `GetRequests`、`PutRequests`、`PostRequests`、`DeleteRequests` メトリクスを参照して、変化率や自動インポートに送信される変更の数を増加させるアクティビティ変更を確認してください。利用可能な S3 メトリクスについては、「*Amazon S3 ユーザーガイド*」の「[Amazon S3 のモニタリング](https://docs.aws.amazon.com/AmazonS3/latest/userguide/monitoring-overview.html)」を参照してください。
使用可能なすべての FSx for Lustre メトリクスの一覧については、「[Amazon CloudWatch によるモニタリング](monitoring-cloudwatch.md)」を参照してください。
# データリポジトリのタスクを使用して変更をインポートする
データリポジトリのインポートタスクでは、S3 データリポジトリに新規または変更されたオブジェクトのメタデータをインポートし、S3 データリポジトリ内の新しいオブジェクトに対し、新規のファイルまたはディレクトリのリストを作成します。データリポジトリで変更されたオブジェクトについては、対応するファイルまたはディレクトリのリストが新しいメタデータで更新されます。データリポジトリから削除されたオブジェクトに対するアクションは実行されません。
Amazon FSx コンソールと CLI を使用してメタデータの変更をインポートするには、以下の手順に従います。複数の DRA に対して 1 つのデータリポジトリタスクを使用できることに注意してください。
## メタデータの変更をインポートするには (コンソール)
1. Amazon FSx コンソール ([https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)) を開きます。
1. ナビゲーションペインで **[ファイルシステム]** をクリックし、Lustre ファイルシステムを選択します。
1. **[Data repository]** (データリポジトリ) タブを選択します。
1. **[Data repository associations]** (データリポジトリ関連) ペインで、インポートタスクを作成する対象のデータリポジトリの関連付けを選択します。
1. **[Actions]** (アクション) メニューから、**[Import Task]** (タスクのインポート) を選択します。ファイルシステムがデータリポジトリにリンクされていない場合、この選択は利用できません。**[Create import data repository task]** (データリポジトリのインポートタスクの作成) ページが表示されます。
1. (オプション) **[Data repository paths to import]** (インポートするデータリポジトリパス) のディレクトリまたはファイルへのパスを指定することで、リンクされた S3 バケットからインポートするディレクトリまたはファイルを最大 32 個指定します。
**注記**
指定したパスが有効でない場合、タスクは失敗します。
1. (オプション) **[Completion report]** (完了レポート) 直下の **[Enable]** (有効化) をクリックして、タスクの完了後にタスク完了レポートを生成します。*[task completion report]* (タスク完了レポート) に、**[Report scope]** (レポートスコープ) に示されている範囲を満たすタスクによって処理されるファイルの詳細が表示されます。Amazon FSx がレポートを配信する場所を指定するには、**[Report path]** (レポートパス) にリンクされた S3 データリポジトリの相対パスを入力します。
1. **[Create]** (作成) を選択します。
**[File systems]** (ファイルシステム) ページの上部にある通知には、先ほど作成したタスクが表示されます。
タスクのステータスと詳細を表示するには、ファイルシステム用の **[Data Repository]** (データリポジトリ) タブの **[Data Repository Tasks]** (データリポジトリタスク) ペインを下にスクロールします。デフォルトのソート順では、最新のタスクがリストの最上部に表示されます。
このページからタスクサマリーを表示するには、先ほど作成したタスクの **[Task ID]** (タスク ID) を選択します。**[Summary]** (概要) タスクのページが表示されます。
## メタデータの変更をインポートするには (CLI)
+ [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html) CLI コマンドを使用して FSx for Lustre ファイルシステムにメタデータの変更をインポートします。対応する API オペレーションは [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html) です。
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type IMPORT_METADATA_FROM_REPOSITORY \
--paths s3://bucketname1/dir1/path1 \
--report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY
```
データリポジトリタスクが正常に作成されると、Amazon FSx はタスクの説明を JSON として返します。
リンクされたデータリポジトリからメタデータをインポートするタスクを作成した後、データリポジトリのインポートタスクのステータスを確認できます。データリポジトリタスクを表示する方法の詳細については、「[データリポジトリタスクへのアクセス](view-data-repo-tasks.md)」を参照してください。
# ファイルシステムへのファイルのプリロード
オプションで、個々のファイルまたはディレクトリの内容をファイルシステムに事前ロードできます。
## HSM コマンドを使用したファイルのインポート
Amazon FSx は、ファイルが最初にアクセスされたときに Simple Storage Service (Amazon S3) データリポジトリからデータをコピーします。このアプローチにより、ファイルへの最初の読み取りまたは書き込みにはわずかなレイテンシーが発生します。アプリケーションがこのレイテンシーの影響を受けやすく、アプリケーションがアクセスする必要があるファイルやディレクトリがわかっている場合は、オプションで、個々のファイルまたはディレクトリのコンテンツをプリロードできます。以下のように `hsm_restore` コマンドを実行します。
`hsm_action` コマンド (`lfs` ユーザーユーティリティで発行される) を使用して、ファイルの内容がファイルシステムへのロードが完了したことを確認します。`NOOP` の戻り値は、ファイルが正常にロードされたことを示します。ファイルシステムがマウントされたコンピューティングインスタンスから次のコマンドを実行します。*パス / 宛先 / ファイル* ファイルシステムにプリロードするファイルのパスを使用して置き換えます。
```
sudo lfs hsm_restore path/to/file
sudo lfs hsm_action path/to/file
```
次のコマンドを使用して、ファイルシステム全体またはファイルシステム内のディレクトリ全体をプリロードできます。(末尾にアンパサンドをつけると、コマンドはバックグラウンドプロセスとして実行されます。) 複数のファイルのプリロードを同時にリクエストすると、Amazon FSx はファイルを Simple Storage Service (Amazon S3) データリポジトリから並行してロードします。ファイルが既にファイルシステムにロードされている場合、`hsm_restore` コマンドはそのファイルを再ロードしません。
```
nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
**注記**
リンクされた S3 バケットがファイルシステムより大きい場合は、すべてのファイルメタデータをファイルシステムにインポートできるはずです。ただし、ファイルシステムの残りのストレージ領域に収まる実際のファイルデータだけを読み込むことができます。ファイルシステムにストレージが残っていないときにファイルデータにアクセスしようとすると、エラーが発生します。この場合、必要に応じてストレージ容量を増やすことができます。詳細については、「[ストレージ容量の管理](managing-storage-capacity.md)」を参照してください。
## 検証ステップ
以下に示す bash スクリプトを実行して、アーカイブ (リリース) 状態にあるファイルまたはオブジェクトの数を検出できます。
特に多数のファイルがあるファイル システム全体でスクリプトのパフォーマンスを向上させるために、CPU スレッドは `/proc/cpuproc` ファイルに基づいて自動的に決定されます。つまり、vCPU 数の多い Amazon EC2 インスタンスでは、パフォーマンスが向上します。
1. Bash スクリプトをセットアップします。
```
#!/bin/bash
# Check if a directory argument is provided
if [ $# -ne 1 ]; then
echo "Usage: $0 /path/to/lustre/mount"
exit 1
fi
# Set the root directory from the argument
ROOT_DIR="$1"
# Check if the provided directory exists
if [ ! -d "$ROOT_DIR" ]; then
echo "Error: Directory $ROOT_DIR does not exist."
exit 1
fi
# Automatically detect number of CPUs and set threads
if command -v nproc &> /dev/null; then
THREADS=$(nproc)
elif [ -f /proc/cpuinfo ]; then
THREADS=$(grep -c ^processor /proc/cpuinfo)
else
echo "Unable to determine number of CPUs. Defaulting to 1 thread."
THREADS=1
fi
# Output file
OUTPUT_FILE="released_objects_$(date +%Y%m%d_%H%M%S).txt"
echo "Searching in $ROOT_DIR for all released objects using $THREADS threads"
echo "This may take a while depending on the size of the filesystem..."
# Find all released files in the specified lustre directory using parallel
# If you get false positives for file names/paths that include the word 'released',
# you can grep 'released exists archived' instead of just 'released'
time sudo lfs find "$ROOT_DIR" -type f | \
parallel --will-cite -j "$THREADS" -n 1000 "sudo lfs hsm_state {} | grep released" > "$OUTPUT_FILE"
echo "Search complete. Released objects are listed in $OUTPUT_FILE"
echo "Total number of released objects: $(wc -l <"$OUTPUT_FILE")"
```
1. スクリプトを実行可能にします:
```
$ chmod +x find_lustre_released_files.sh
```
1. このスクリプトを以下の例にあるように、実行します:
```
$ ./find_lustre_released_files.sh /fsxl/sample
Searching in /fsxl/sample for all released objects using 16 threads
This may take a while depending on the size of the filesystem...
real 0m9.906s
user 0m1.502s
sys 0m5.653s
Search complete. Released objects are listed in released_objects_20241121_184537.txt
Total number of released objects: 30000
```
リリースされたオブジェクトが存在する場合は、以下の例のように、目的のディレクトリで一括復元を実行して、ファイルを S3 から FSx for Lustre に取り込みます:
```
$ DIR=/path/to/lustre/mount
$ nohup find $DIR -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
数百万のファイルがある場合、`hsm_restore` には時間がかかることに留意してください。
# データリポジトリへの変更のエクスポート
データへの変更および POSIX メタデータの変更を、FSx for Lustre ファイルシステムからリンクされたデータリポジトリにエクスポートできます。関連する POSIX メタデータには、所有権、許可、およびタイムスタンプが含まれます。
ファイルシステムから変更をエクスポートするには、次のいずれかの方法を使用します。
+ ファイルシステムを設定して、リンクされたデータリポジトリに新規、変更済み、または削除済みのファイルを自動的にエクスポートできるようにします。詳細については、「[S3 バケットに更新を自動的にエクスポートする](autoexport-data-repo-dra.md)」を参照してください。
+ オンデマンドのデータリポジトリのエクスポートタスクを使用します。詳細については、「[データリポジトリのタスクを使用した変更のエクスポート](export-data-repo-task-dra.md)」を参照してください
データリポジトリの自動エクスポートタスクとエクスポートタスクは同時に実行できません。
**重要**
対応するオブジェクトが S3 Glacier Flexible Retrieval に保存されている場合、自動エクスポートではファイルシステム上の以下のメタデータオペレーションは S3 と同期されません。
chmod
chown
rename
データリポジトリの関連付けで自動エクスポートを有効にすると、ファイルデータとメタデータが作成、変更、削除された場合に、ファイルシステムによってそれらが自動的にエクスポートされます。データリポジトリのエクスポートタスクを使用してファイルまたはディレクトリをエクスポートする場合、最後のエクスポート以降に作成または変更されたデータファイルとメタデータのみが、ファイルシステムによってエクスポートされます。
自動エクスポートおよびデータリポジトリのエクスポートタスクの両方で、POSIX メタデータがエクスポートされます。詳細については、「[データリポジトリの POSIX メタデータのサポート](posix-metadata-support.md)」を参照してください。
**重要**
FSx for Lustre が S3 バケットにデータをエクスポートするには、UTF-8 互換形式で保存されている必要があります。
S3 オブジェクトキーの最大長は 1,024 バイトです。FSx for Lustre では、対応する S3 オブジェクトキーが 1,024 バイトを超えるファイルはエクスポートされません。
**注記**
自動エクスポートおよびデータリポジトリのエクスポートタスクによって作成されたすべてのオブジェクトは、S3 標準ストレージクラスを使用して書き込まれます。
**Topics**
+ [S3 バケットに更新を自動的にエクスポートする](autoexport-data-repo-dra.md)
+ [データリポジトリのタスクを使用した変更のエクスポート](export-data-repo-task-dra.md)
+ [HSM コマンドを使用したファイルのエクスポート](exporting-files-hsm.md)
# S3 バケットに更新を自動的にエクスポートする
ファイルシステムでファイルが追加、変更、または削除されるときに、リンクされた S3 バケットの内容を自動的に更新するように FSx for Lustre ファイルシステムを設定できます。FSx for Lustre は、ファイルシステムの変更に応じて S3 内のオブジェクトを作成、更新、削除します。
**注記**
自動エクスポートは FSx for Lustre 2.10 ファイルシステムと `Scratch 1` ファイルシステムでは使用できません。
ファイルシステム AWS リージョン と同じ または別の にあるデータリポジトリにエクスポートできます AWS リージョン。
データリポジトリの関連付けを作成するときに自動エクスポートを設定し、FSx マネジメントコンソール、、 AWS CLIおよび AWS API を使用していつでも自動エクスポート設定を更新できます。
**重要**
すべての自動エクスポートポリシーが有効で、自動インポートが無効になっているファイルシステムでファイルが変更された場合、そのファイルの内容は常に S3 の対応するオブジェクトにエクスポートされます。オブジェクトがターゲットの場所に既に存在する場合、そのオブジェクトは上書きされます。
自動インポートと自動エクスポートのポリシーがすべて有効になっている状態で、ファイルシステムと S3 の両方でファイルを変更すると、ファイルシステム内のファイルまたは S3 内のオブジェクトのいずれかが他方で上書きされる可能性があります。ある場所で後から編集しても、別の場所で行った以前の編集が上書きされない場合があります。ファイルシステムと S3 バケットの両方で同じファイルを変更する場合は、このような競合を防ぐためにアプリケーションレベルの調整を行う必要があります。FSx for Lustre では、複数の場所での競合する書き込みを防止できません。
エクスポートポリシーでは、ファイルシステムの内容が変更されたときに、FSx for Lustre がリンクされた S3 バケットを更新する方法を指定します。データリポジトリの関連付けには、次のいずれかの自動エクスポートポリシーを設定できます。
+ **新規** - FSx for Lustre は、ファイルシステム上に新しいファイル、ディレクトリ、またはシンボリックリンクが作成された場合にのみ、S3 データリポジトリを更新します。
+ **変更済み** - FSx for Lustre は、ファイルシステム内の既存のオブジェクトが変更された場合にのみ、S3 データリポジトリを自動的に更新します。ファイルコンテンツの変更については、S3 リポジトリに転送される前に、ファイルを閉じる必要があります。メタデータの変更 (名前の変更、所有権、許可、タイムスタンプ) は、オペレーションが完了すると、反映されます。名前を変更する場合 (移動を含む)、既存の (名前が変更された) S3 オブジェクトが削除され、新しい名前の新しい S3 オブジェクトが作成されます。
+ **削除済み** - FSx for Lustre は、ファイルシステムでファイル、ディレクトリ、またはシンボリックリンクが削除された場合にのみ、S3 データリポジトリを自動的に更新します。
+ **新規、変更済み、削除済みの任意の組み合わせ** - FSx for Lustre は、指定されたアクションのいずれかがファイルシステムで発生した場合に、自動的に S3 データリポジトリを更新します。例えば、ファイルシステムでオブジェクトが **[新規]** に追加されたとき、または **[削除済み]** から削除されたときに S3 リポジトリが更新され、ファイルが変更されたときには更新されないように指定できます。
+ **ポリシーの設定なし** - FSx for Lustre は、ファイルシステムにファイルが追加、変更されたとき、またはファイルシステムから削除されたときに、S3 データリポジトリを自動的に更新しません。エクスポートポリシーを設定しない場合、自動エクスポートは無効になります。「[データリポジトリのタスクを使用した変更のエクスポート](export-data-repo-task-dra.md)」の説明に従って、データリポジトリのエクスポートタスクを使用して、変更を手動でエクスポートできます。
ほとんどのユースケースで、エクスポートポリシーを **[新規]**、**[変更済み]**、**[削除済み]** に設定することをお勧めします。このポリシーにより、ファイルシステムで行われたすべての更新が、リンクされた S3 データリポジトリに自動的にエクスポートされます。
CloudWatch Logs への [ログ記録を有効にして](cw-event-logging.md#manage-logging)、自動的にエクスポートできなかったファイルやディレクトリに関する情報をログに記録することをお勧めします。ログ内の警告とエラーには、失敗の理由に関する情報が含まれています。詳細については、「[データリポジトリのイベントログ](data-repo-event-logs.md)」を参照してください。
**注記**
エクスポートオペレーション中にアクセス時間 (`atime`) と変更時間 (`mtime`) が S3 と同期している間、これらのタイムスタンプのみを変更しても自動エクスポートはトリガーされません。ファイルコンテンツやその他のメタデータ (所有権やアクセス許可など) の変更のみが S3 への自動エクスポートをトリガーします。
## エクスポート設定の更新
データリポジトリの関連付けを作成するときに、リンクされた S3 バケットへのファイルシステムのエクスポート設定を設定できます。詳細については、「[S3 バケットへのリンクの作成](create-linked-dra.md)」を参照してください。
また、エクスポートポリシーを含め、いつでもエクスポート設定を更新できます。詳細については、「[データリポジトリの関連付け設定の更新](update-dra-settings.md)」を参照してください。
## 自動インポートのモニタリング
Amazon CloudWatch に公開された一連のメトリクスを使用して、自動エクスポートが有効化されているデータリポジトリの関連付けをモニタリングできます。`AgeOfOldestQueuedMessage` メトリクスは、ファイルシステムに対して行われた後、S3 にまだエクスポートされていない最も古い更新の経過時間を表します。`AgeOfOldestQueuedMessage` が長期間にわたってゼロより大きい場合は、メッセージキューが減少するまで、ファイルシステムに対してアクティブに行われている変更 (特にディレクトリ名の変更) の数を一時的に減らすことをお勧めします。詳細については、「[FSx for Lustre S3 リポジトリメトリクス](fs-metrics.md#auto-import-export-metrics)」を参照してください。
**重要**
自動エクスポートが有効化されているデータリポジトリの関連付けまたはファイルシステムを削除する場合、まず、`AgeOfOldestQueuedMessage` がゼロであること、つまりまだエクスポートされていない変更が存在しないことを確認する必要があります。データリポジトリの関連付けまたはファイルシステムを削除したときに `AgeOfOldestQueuedMessage` がゼロより大きい場合、まだエクスポートされていない変更は、リンクされた S3 バケットに到達していません。これを回避するには、`AgeOfOldestQueuedMessage` がゼロになるまで待ってから、データリポジトリの関連付けまたはファイルシステムを削除します。
# データリポジトリのタスクを使用した変更のエクスポート
データリポジトリのエクスポートタスクは、ファイルシステムの新規または変更されたファイルをエクスポートします。ファイルシステムの新しいファイル用に、新しいオブジェクトが S3 に作成されます。ファイルシステムで変更されたファイル、またはメタデータが変更されたファイルの場合、S3 内の対応するオブジェクトは、新しいデータとメタデータを持つ新しいオブジェクトに置き換えられます。ファイルシステムから削除されたファイルに対するアクションは実行されません。
**注記**
データリポジトリのエクスポートタスクを使用する際は、以下の点に留意してください。
エクスポートするファイルを追加または除外するためのワイルドカードの使用はサポートされていません。
`mv` 操作を実行すると、移動後のターゲットファイルは、UID、GID、アクセス許可、または内容の変更がない場合でも、S3 にエクスポートされます。
Amazon FSx コンソールと CLI を使用して、ファイルシステム上のデータとメタデータの変更をリンクされた S3 バケットにエクスポートするには、以下の手順に従います。複数の DRA に対して 1 つのデータリポジトリタスクを使用できることに注意してください。
## 変更をエクスポートするには (コンソール)
1. Amazon FSx コンソール ([https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)) を開きます。
1. ナビゲーションペインで **[ファイルシステム]** をクリックし、Lustre ファイルシステムを選択します。
1. **[Data repository]** (データリポジトリ) タブを選択します。
1. **[Data repository associations]** (データリポジトリ関連付け) ペインで、エクスポートタスクを作成する対象のデータリポジトリの関連付けを選択します。
1. **[Actions]** (アクション) で、**[Export task]** (タスクのエクスポート) を選択します。ファイルシステムが S3 のデータリポジトリにリンクされていない場合、この選択は使用できません。**[Create export data repository task]** (データリポジトリのエクスポートタスクの作成) ダイアログが表示されます。
1. (オプション) **[File system paths to export]** (エクスポートするためのファイルシステムパス) のディレクトリまたはファイルへのパスを指定して、Amazon FSx ファイルシステムからエクスポートするディレクトリまたはファイルを最大 32 個指定します。指定するパスは、ファイルシステムのマウントポイントに対する相対パスである必要があります。マウントポイントが `/mnt/fsx` で、`/mnt/fsx/path1` がエクスポートするファイルシステム上のディレクトリまたはファイルである場合、提供するパスは `path1` です。
**注記**
指定したパスが有効でない場合、タスクは失敗します。
1. (オプション) **[Completion report]** (完了レポート) 直下の **[Enable]** (有効化) をクリックして、タスクの完了後にタスク完了レポートを生成します。*[task completion report]* (タスク完了レポート) に、**[Report scope]** (レポートスコープ) に示されている範囲を満たすタスクによって処理されるファイルの詳細が表示されます。Amazon FSx がレポートを配信する場所を指定するには、ファイルシステムのリンクされた S3 データリポジトリの **[Report path]** (レポートパス) の相対パスを入力します。
1. **[Create]** (作成) を選択します。
**[File systems]** (ファイルシステム) ページの上部にある通知には、先ほど作成したタスクが表示されます。
タスクのステータスと詳細を表示するには、ファイルシステム用の **[Data Repository]** (データリポジトリ) タブの **[Data Repository Tasks]** (データリポジトリタスク) ペインを下にスクロールします。デフォルトのソート順では、最新のタスクがリストの最上部に表示されます。
このページからタスクサマリーを表示するには、先ほど作成したタスクの **[Task ID]** (タスク ID) を選択します。**[Summary]** (概要) タスクのページが表示されます。
## 変更をエクスポートするには (CLI)
+ FSx for Lustreファイルシステムのデータとメタデータの変更をエクスポートするには [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html) CLI コマンドを使用します。対応する API オペレーションは [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html)。
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type EXPORT_TO_REPOSITORY \
--paths path1,path2/file1 \
--report Enabled=true
```
次の例に示すように、データリポジトリタスクを正常に作成すると、Amazon FSx は JSON としてデータの説明を返します。
```
{
"Task": {
"TaskId": "task-123f8cd8e330c1321",
"Type": "EXPORT_TO_REPOSITORY",
"Lifecycle": "PENDING",
"FileSystemId": "fs-0123456789abcdef0",
"Paths": ["path1", "path2/file1"],
"Report": {
"Path":"s3://dataset-01/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"CreationTime": "1545070680.120",
"ClientRequestToken": "10192019-drt-12",
"ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
}
}
```
リンクされたデータリポジトリにデータをエクスポートするタスクを作成すると、データリポジトリのエクスポートタスクのステータスを確認できます。データリポジトリタスクを表示する方法の詳細については、「[データリポジトリタスクへのアクセス](view-data-repo-tasks.md)」を参照してください。
# HSM コマンドを使用したファイルのエクスポート
**注記**
FSx for Lustre ファイルシステムのデータおよびメタデータの変更を Simple Storage Service (Amazon S3) の耐久性のあるデータリポジトリにエクスポートするには、「[S3 バケットに更新を自動的にエクスポートする](autoexport-data-repo-dra.md)」で説明されている自動エクスポート機能を使用します。「[データリポジトリのタスクを使用した変更のエクスポート](export-data-repo-task-dra.md)」の説明に従って、データリポジトリのエクスポートタスクを使用することもできます。
個々のファイルをデータリポジトリにエクスポートし、ファイルがデータリポジトリに正常にエクスポートされたことを確認するには、以下に示すコマンドを実行します。`states: (0x00000009) exists archived` の戻り値はのファイルが正常にエクスポートされたことを示します。
```
sudo lfs hsm_archive path/to/export/file
sudo lfs hsm_state path/to/export/file
```
**注記**
ルートユーザーとして、または `sudo` を使用して HSM コマンド (`hsm_archive` など) を実行する必要があります。
ファイルシステム全体またはファイルシステム内のディレクトリ全体をエクスポートするには、次のコマンドを実行します。複数のファイルを同時にエクスポートする場合、Amazon FSx for Lustre はファイルを Simple Storage Service (Amazon S3) データリポジトリに並行してエクスポートします。
```
nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
```
エクスポートが完了したかどうかを判定するには、次のコマンドを実行します。
```
find path/to/export/file -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_state | awk '!/\/ || /\/' | wc -l
```
ファイルを残さないでコマンドが返ると、エクスポートは完了です。
# データリポジトリタスク
データリポジトリのインポートおよびエクスポートタスクを使用すると、FSx for Lustre ファイルシステムと Amazon S3 で耐久性のあるデータリポジトリ間のデータおよびメタデータの転送を管理できます。
*[Data Repository Tasks]* (データリポジトリタスク) は、FSx for Lustre ファイルシステムと S3 上のデータリポジトリ間のデータとメタデータの転送を最適化します。これを行う方法の 1 つは、Amazon FSx ファイルシステムとそのリンクされたデータリポジトリ間の変更を追跡することです。また、並列転送技術を用いることで、データを最大で数百 GB /秒の速度で転送することも可能です。データリポジトリタスクを作成および表示するには AWS CLI、Amazon FSx コンソール、、および Amazon FSx API を使用します。
データリポジトリタスクは、所有権、許可、タイムスタンプなど、ファイルシステムのポータブルオペレーティングシステムインターフェイス (POSIX) メタデータを維持します。タスクはこのメタデータを保持するため、FSx for Lustre ファイルシステムとそのリンクされたデータリポジトリ間のアクセスコントロールを実装および維持できます。
リリースデータリポジトリタスクを使用して、Amazon S3 にエクスポートされたファイルをリリースすることで、新しいファイル用にファイルシステムのスペースを解放することができます。リリースされたファイルの内容は削除されますが、リリースされたファイルのメタデータはファイルシステムに残ります。ユーザーやアプリケーションは、リリースされたファイルを再度読み込むことで引き続きアクセスできます。ユーザーまたはアプリケーションがリリースされたファイルを読み取ると、FSx for Lustre はファイルコンテンツを Amazon S3 から透過的に取得します。
## データリポジトリタスクのタイプ
データリポジトリタスクには 3 つのタイプがあります。
+ データリポジトリの **[エクスポート]** タスクは、Lustre ファイルシステムからリンクされた S3 バケットにエクスポートします。
+ データリポジトリの **[インポート]** タスクは、リンクされた S3 バケットから Lustre ファイルシステムにインポートします。
+ データリポジトリの **[リリース]** タスクは、リンクされている S3 バケットにエクスポートされたファイルを Lustre ファイルシステムからリリースします。
詳細については、「[データリポジトリタスクの作成](creating-data-repo-task.md)」を参照してください。
**Topics**
+ [データリポジトリタスクのタイプ](#data-repo-task-types)
+ [タスクのステータスと詳細を理解する](data-repo-task-status.md)
+ [データリポジトリタスクの使用](managing-data-repo-task.md)
+ [タスク完了レポートの使用](task-completion-report.md)
+ [データリポジトリタスク失敗のトラブルシューティング](failed-tasks.md)
# タスクのステータスと詳細を理解する
データリポジトリタスクには、説明的な情報とライフサイクルステータスがあります。
タスクを作成した後、Amazon FSx コンソール、CLI、または API を使用して、データリポジトリタスクの次の詳細情報を表示できます。
+ タスクタイプ :
+ `EXPORT_TO_REPOSITORY` はエクスポートタスクを示します。
+ `IMPORT_METADATA_FROM_REPOSITORY` はインポートタスクを示します。
+ `RELEASE_DATA_FROM_FILESYSTEM` はリリースタスクを示します。
+ タスクが実行されたファイルシステム。
+ タスクの作成時刻｡
+ タスクのステータス。
+ タスクが処理されたファイルの総数。
+ タスクが正常に処理されたファイルの総数。
+ タスクの処理に失敗したファイルの総数。タスクステータスが FAILED (失敗) の場合、この値はゼロより大きくなります。障害ファイルに関する詳細情報は、タスク完了レポートで確認できます。詳細については、「[タスク完了レポートの使用](task-completion-report.md)」を参照してください。
+ タスクが開始された時刻。
+ タスクのステータスが最後に更新された時刻。タスクのステータスは 30 秒ごとに更新されます。
データリポジトリタスクのステータスは、次のいずれかです。
+ **[PENDING]** (保留中) は、Amazon FSx がタスクを開始していないことを示します。
+ **[EXECUTING]** (実行中) は、Amazon FSx がタスクを処理中であることを示します。
+ **[FAILED]** (失敗) は、Amazon FSx でタスクが正常に処理されなかったことを示します。例えば、タスクの処理に失敗したファイルがある可能性があります。タスクの詳細は、障害に関する詳細情報を提供します。障害タスクの詳細については、「[データリポジトリタスク失敗のトラブルシューティング](failed-tasks.md)」を参照してください。
+ **[SUCCEEDED]** (成功) は、Amazon FSx がタスクを正常に完了したことを示します。
+ **[CANCELED]** (キャンセル済み) は、タスクがキャンセルされて完了していないことを示します。
+ **[CANCELING]** (キャンセル中) は、Amazon FSx がタスクをキャンセル中であることを示します。
データリポジトリのタスク情報は、タスク終了後 14 日間保持されます。既存のデータリポジトリタスクへのアクセス方法の詳細については、「[データリポジトリタスクへのアクセス](view-data-repo-tasks.md)」を参照してください。
# データリポジトリタスクの使用
以下のセクションでは、データリポジトリタスクの管理に関する詳細情報について説明します。Amazon FSx コンソール、CLI、または API を使用して、データリポジトリタスクの作成、複製、詳細の表示、およびキャンセルを行うことができます。
**Topics**
+ [データリポジトリタスクの作成](creating-data-repo-task.md)
+ [タスクの複製](recreate-task.md)
+ [データリポジトリタスクへのアクセス](view-data-repo-tasks.md)
+ [データリポジトリタスクのキャンセル](cancel-data-repo-task.md)
# データリポジトリタスクの作成
Amazon FSx コンソール、CLI、または API を使用してデータリポジトリタスクを作成できます。タスクを作成したら、コンソール、CLI、または API を使用してタスクの進行状況とステータスを確認できます。
データリポジトリタスクには、次の 3 種類のデータリポジトリタスクを作成できます。
+ データリポジトリの **[エクスポート]** タスクは、Lustre ファイルシステムからリンクされた S3 バケットにエクスポートします。詳細については、「[データリポジトリのタスクを使用した変更のエクスポート](export-data-repo-task-dra.md)」を参照してください。
+ データリポジトリの **[インポート]** タスクは、リンクされた S3 バケットから Lustre ファイルシステムにインポートします。詳細については、「[データリポジトリのタスクを使用して変更をインポートする](import-data-repo-task-dra.md)」を参照してください。
+ データリポジトリの **[リリース]** タスクは、リンクされている S3 バケットにエクスポートされたファイルを Lustre ファイルシステムからリリースします。詳細については、「[データリポジトリタスクを使用してファイルをリリースする](release-files-task.md)」を参照してください。
# タスクの複製
Amazon FSx コンソールで、既存のデータリポジトリタスクを複製できます。タスクを複製すると、既存のタスクの正確なコピーが **インポートデータリポジトリタスクの作成** または **エクスポートデータリポジトリタスクの作成** ページに表示されます。新しいタスクを作成して実行する前に、必要に応じてエクスポートまたはインポートするパスを変更できます。
**注記**
そのタスクの正確なコピーがすでに実行されている場合、重複タスクを実行するリクエストは失敗します。すでに実行されているタスクの正確なコピーには、エクスポートタスクの場合は同じファイルシステムパスが含まれ、インポートタスクの場合は同じデータリポジトリパスが含まれます。
タスクは、タスクの詳細ビュー、ファイルシステムの **[Data Repository]** (データリポジトリ) タブの **[Data Repository Tasks]** (データリポジトリタスク) ペイン、または **[Data Repository Tasks]** (データリポジトリタスク) ページから複製できます。
**既存のタスクを複製するには**
1. ファイルシステムの **[Data Repository]** (データリポジトリ) タブの **[Data Repository Tasks]** (データリポジトリタスク) ペインでタスクを選択します。
1. **[Duplicate task]** (タスクの複製) を選択します。選択したタスクのタイプに応じて、**インポートデータリポジトリの作成** タスクまたは **エクスポートデータリポジトリの作成** タスクページが表示されます。新しいタスクの設定はすべて、複製するタスクの設定と同じです。
1. インポート元またはエクスポート先のパスを変更または追加します。
1. **[Create]** (作成) を選択します。
# データリポジトリタスクへのアクセス
データリポジトリタスクを作成したら、Amazon FSx コンソール、CLI、API を使用して、タスク、およびアカウント内のすべての既存のタスクにアクセスできます。Amazon FSx は、次の詳細なタスク情報を提供します。
+ 既存のすべてのタスク。
+ 特定のファイルシステムに関するすべてのタスク。
+ 特定のデータリポジトリ関連付けに関するすべてのタスク。
+ 特定のライフサイクルステータスを持つすべてのタスク。タスクのライフサイクルステータス値の詳細については、「[タスクのステータスと詳細を理解する](data-repo-task-status.md)」を参照してください。
以下に記載されているように、Amazon FSx コンソール、CLI、または API を使用して、アカウント内のすべての既存のデータリポジトリタスクにアクセスできます。
## データリポジトリのタスクとタスクの詳細を表示するには (コンソール)
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. ナビゲーションページで、データリポジトリタスクを表示するファイルシステムを選択します。ファイルシステムの詳細ページが表示されます。
1. ファイルシステムの詳細ページで、**[Data repository]** (データリポジトリ) タブを選択します。このファイルシステムのタスクはすべて、**[Data Repository Tasks]** (データリポジトリタスク) パネルに表示されます。
1. タスクの詳細を表示するには、**[データリポジトリタスク]** パネルで **[タスク ID]** または **[タスク名]** を選択します。タスクの詳細ページが表示されます。
![\[データリポジトリタスクページ\]](http://docs.aws.amazon.com/ja_jp/fsx/latest/LustreGuide/images/task-details-rprt.png)
## データリポジトリのタスクとタスクの詳細を取得するには (CLI)
Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html) CLI コマンドを使用すると、アカウント内のすべてのデータリポジトリタスクとその詳細を表示できます。[https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html) は、同等の API コマンドです。
+ アカウント内のすべてのデータリポジトリタスクオブジェクトを確認するには、次のコマンドを使用します。
```
aws fsx describe-data-repository-tasks
```
コマンドが成功すると、Amazon FSx は JSON 形式でレスポンスを返します。
```
{
"DataRepositoryTasks": [
{
"Lifecycle": "EXECUTING",
"Paths": [],
"Report": {
"Path":"s3://dataset-01/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1591863862.288,
"EndTime": ,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef3",
"Status": {
"SucceededCount": 4255,
"TotalCount": 4200,
"FailedCount": 55,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789a7",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3"
},
{
"Lifecycle": "FAILED",
"Paths": [],
"Report": {
"Enabled": false,
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef1",
"Status": {
"SucceededCount": 1153,
"TotalCount": 1156,
"FailedCount": 3,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
},
{
"Lifecycle": "SUCCEEDED",
"Paths": [],
"Report": {
"Path":"s3://dataset-04/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-04299453935122318",
"Status": {
"SucceededCount": 258,
"TotalCount": 258,
"FailedCount": 0,
"LastUpdatedTime": 1771848950.012,
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1771848950.012,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
}
]
}
```
## ファイルシステムによるタスクの表示
以下に記載されているように、Amazon FSx コンソール、CLI、または API を使用して、特定のファイルシステムのすべてのタスクを表示できます。
### ファイルシステム別にタスクを表示するには (コンソール)
1. ナビゲーションペインで **[File systems]** (ファイルシステム) を選択します。**[File systems]** (ファイルシステム) ページが表示されます。
1. データリポジトリタスクを表示するファイルシステムを選択します。ファイルシステムの詳細ページが表示されます。
1. ファイルシステムの詳細ページで、**[Data repository]** (データリポジトリ) タブを選択します。このファイルシステムのタスクはすべて、**[Data Repository Tasks]** (データリポジトリタスク) パネルに表示されます。
### ファイルシステム別にタスクを取得するには (CLI)
+ 次のコマンドを使用して、ファイルシステム `fs-0123456789abcdef0` のすべてのデータリポジトリタスクを表示します。
```
aws fsx describe-data-repository-tasks \
--filters Name=file-system-id,Values=fs-0123456789abcdef0
```
コマンドが成功すると、Amazon FSx は JSON 形式でレスポンスを返します。
```
{
"DataRepositoryTasks": [
{
"Lifecycle": "FAILED",
"Paths": [],
"Report": {
"Path":"s3://dataset-04/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef1",
"Status": {
"SucceededCount": 1153,
"TotalCount": 1156,
"FailedCount": 3,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
},
{
"Lifecycle": "SUCCEEDED",
"Paths": [],
"Report": {
"Enabled": false,
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef0",
"Status": {
"SucceededCount": 258,
"TotalCount": 258,
"FailedCount": 0,
"LastUpdatedTime": 1771848950.012,
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1771848950.012,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
}
]
}
```
# データリポジトリタスクのキャンセル
データリポジトリタスクを、保留中または実行中状態のときにキャンセルできます。タスクをキャンセルすると、次のことが発生します。
+ Amazon FSx は、処理対象のキューにあるファイルを処理しません。
+ Amazon FSx は、現在処理中のファイルの処理を続行します。
+ Amazon FSx は、タスクが既に処理したファイルを元に戻せません。
## データリポジトリタスクをキャンセルするには (コンソール)
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. データリポジトリタスクをキャンセルするファイルシステムをクリックします。
1. **[Data Repository]** (データリポジトリ) タブを開き、下にスクロールして **データリポジトリタスク** パネルを表示します。
1. キャンセルしたいタスクの **[Task ID]** (タスク ID) または **[Task name]** (タスク名) を選択します。
1. **[Cancel task]** (タスクのキャンセル) を選択してタスクをキャンセルします。
1. タスク ID を入力して、キャンセルリクエストを確認します。
## データリポジトリタスクをキャンセルするには (CLI)
Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html) CLI コマンドを使用して、タスクをキャンセルします。[https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html) は、同等の API コマンドです。
+ 次のコマンドを使用して、データリポジトリのタスクをキャンセルします。
```
aws fsx cancel-data-repository-task \
--task-id task-0123456789abcdef0
```
コマンドが成功すると、Amazon FSx は JSON 形式でレスポンスを返します。
```
{
"Status": "CANCELING",
"TaskId": "task-0123456789abcdef0"
}
```
# タスク完了レポートの使用
タスク完了レポートは、データリポジトリのエクスポート、インポート、またはリリースタスクの結果に関する詳細を示します。レポートには、レポートのスコープに一致するタスクで処理されたファイルの結果が含まれます。`Enabled` パラメータを使用して、タスクに関するレポートを生成するかどうかを指定できます。
Amazon FSx は、タスクのレポートを有効にするときに指定したパスを使用して、Simple Storage Service (Amazon S3) 内のファイルシステムのリンクされたデータリポジトリにレポートを配信します。レポートのファイル名は、インポートタスクの場合は `report.csv`、エクスポートまたはリリースタスクの場合は `failures.csv` です。
レポート形式は、`FilePath`、`FileStatus`、および `ErrorCode` の 3 つのフィールドを持つカンマ区切り値 (CSV) ファイルです。
レポートは、RFC-4180 形式のエンコードを使用して次のようにエンコードされます。
+ 次の文字のいずれかで始まるパスは、一重引用符で囲まれています: `@ + - =`
+ 次の文字の少なくとも 1 つを含む文字列は、二重引用符で囲まれています: `" ,`
+ すべての二重引用符は、追加の二重引用符でエスケープされます。
レポートのエンコードの例をいくつか示します。
+ `@filename.txt` が `"""@filename.txt"""` になります
+ `+filename.txt` が `"""+filename.txt"""` になります
+ `file,name.txt` が `"file,name.txt"` になります
+ `file"name.txt` が `"file""name.txt"` になります
RFC-4180 エンコードの詳細については、「[RFC-4180 - カンマ区切り値 (CSV) ファイルの一般形式と MIME タイプ](https://tools.ietf.org/html/rfc4180)」を参照してください。
次に、失敗したファイルのみを含むタスク完了レポートに表示される情報の例を示します。
```
myRestrictedFile,failed,S3AccessDenied
dir1/myLargeFile,failed,FileSizeTooLarge
dir2/anotherLargeFile,failed,FileSizeTooLarge
```
失敗したタスクとその解決方法の詳細については、「[データリポジトリタスク失敗のトラブルシューティング](failed-tasks.md)」を参照してください。
# データリポジトリタスク失敗のトラブルシューティング
CloudWatch Logs への[ログを有効にする](cw-event-logging.md)と、データリポジトリタスクを使用してファイルをインポートまたはエクスポートする際に発生した、任意の障害に関する情報をログに記録できます。CloudWatch Logs のイベントログの詳細については、「[データリポジトリのイベントログ](data-repo-event-logs.md)」を参照してください。
データリポジトリタスクが失敗した場合、Amazon FSx が処理に失敗したファイルの数は、コンソールの **タスクステータス** ページの **エクスポートに失敗したファイル** で確認できます。または、CLI や API を使用してタスクの `Status: FailedCount` プロパティを表示することもできます。この情報へのアクセスについては、「[データリポジトリタスクへのアクセス](view-data-repo-tasks.md)」を参照してください。
データリポジトリタスクの場合、Amazon FSx は、完了レポートで失敗した特定のファイルやディレクトリに関する情報もオプションで提供します。タスク完了レポートには、障害が発生した Lustre ファイルシステム上のファイルまたはディレクトリパス、そのステータス、および失敗の理由が含まれます。詳細については、「[タスク完了レポートの使用](task-completion-report.md)」を参照してください。
データリポジトリタスクは、以下に示すものを含む、いくつかの理由で失敗することがあります。
| エラーコード | 説明 |
| --- | --- |
| `FileSizeTooLarge` | Amazon S3 でサポートされているオブジェクトの最大サイズは 5 TiB です。 |
| `InternalError` | インポート、エクスポート、またはリリースタスクの Amazon FSx ファイルシステム内でエラーが発生しました。通常、このエラーコードは失敗したタスクが実行された Amazon FSx ファイルシステムが、失敗したライフサイクル状態にあることを意味します。この問題が発生すると、データ損失のために影響を受けるファイルを回復できないことがあります。それ以外の場合は、階層ストレージ管理 (HSM) コマンドを使用して、ファイルとディレクトリを S3 のデータリポジトリにエクスポートできます。詳細については、「[HSM コマンドを使用したファイルのエクスポート](exporting-files-hsm.md)」を参照してください。 |
| `OperationNotPermitted` | リンクされている S3 バケットにファイルがエクスポートされていないため、Amazon FSx はファイルをリリースできませんでした。自動エクスポートまたはデータリポジトリのエクスポートタスクを使用して、ファイルが最初にリンクされた Amazon S3 バケットにエクスポートされるようにする必要があります。 |
| `PathSizeTooLong` | エクスポートのパスが長すぎます。S3 でサポートされているオブジェクトキーの最大長は 1,024 文字です。 |
| `ResourceBusy` | Amazon FSx は、ファイルシステムで別のクライアントによってアクセスされているため、ファイルをエクスポートまたはリリースできませんでした。ワークフローがファイルへの書き込みを完了した後、データリポジトリタスクを再試行できます。 |
| `S3AccessDenied` | データリポジトリのエクスポートまたはインポートタスクに対する Simple Storage Service (Amazon S3) へのアクセスが拒否されました。 エクスポートタスクの場合、Amazon FSx ファイルシステムでは、S3 上のリンクされたデータリポジトリにエクスポートする `S3:PutObject` オペレーションを実行する許可が必要です。この許可は、`AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0` サービスにリンクされたロールで許可されています。詳細については、「[Amazon FSx のサービスリンクロールの使用](using-service-linked-roles.md)」を参照してください。 エクスポートタスクの場合、エクスポートタスクではファイルシステムの VPC の外側にデータが流れる必要があるため、ターゲットリポジトリに `aws:SourceVpc` または `aws:SourceVpce` IAM グローバル条件キーの 1 つを含むバケットポリシーがある場合に発生する可能性があります。 インポートタスクの場合、Amazon FSx ファイルシステムに S3 上のリンクされたデータリポジトリからインポートするため、`S3:HeadObject` および `S3:GetObject` オペレーションを実行する許可が必要です。 インポートタスクで、S3 バケットが AWS Key Management Service (SSE-KMS) に保存されているカスタマーマネージドキーによるサーバー側の暗号化を使用している場合は、 のポリシー設定に従う必要があります[サーバー側で暗号化された Simple Storage Service (Amazon S3) バケットの使用](s3-server-side-encryption-support.md)。 S3 バケットに、ファイルシステムにリンクされた S3 バケットアカウント AWS アカウント とは異なる からアップロードされたオブジェクトが含まれている場合、どのアカウントがアップロードしたかに関係なく、データリポジトリタスクで S3 メタデータを変更したり、S3 オブジェクトを上書きしたりできます。S3 バケットで、S3 オブジェクト所有権の機能を有効にすることをお勧めします。この機能を使用すると、アップロードに`-/-acl bucket-owner-full-control`既定 ACL の提供を強制することで、他の がバケット AWS アカウント にアップロードする新しいオブジェクトの所有権を取得できます。S3 バケットで、**バケット所有者優先** 内のオプションを選択することにより、S3 オブジェクトの所有権を有効にします。詳細については、「*Simple Storage Service (Amazon S3) ユーザーガイド*」の「[S3 オブジェクトの所有権を使用してアップロードされたオブジェクトの所有権をコントロールする](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html)」を参照してください。 |
| `S3Error` | Amazon FSx で、`S3AccessDenied` ではない S3 に関連するエラーが発生しました。 |
| `S3FileDeleted` | Amazon FSx は、ハードリンクファイルをエクスポートできませんでした。ソースファイルがデータリポジトリ内に存在しません。 |
| `S3ObjectInUnsupportedTier` | Amazon FSx が S3 Glacier または S3 Glacier Deep Archive ストレージクラスから、シンボリックリンク以外のオブジェクトを正常にインポートしました。`FileStatus` は、タスク完了レポートで `succeeded with warning` になります。データを取得するには、まず S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive オブジェクトを復元し、`hsm_restore` コマンドを使用してオブジェクトをインポートする必要があることを、警告が示します。 |
| `S3ObjectNotFound` | Amazon FSx は、データリポジトリに存在しないため、ファイルをインポートまたはエクスポートできませんでした。 |
| `S3ObjectPathNotPosixCompliant` | Simple Storage Service (Amazon S3) オブジェクトは存在しますが、POSIX に準拠しているオブジェクトではないため、インポートできません。サポートされている POSIX メタデータについては、「[データリポジトリの POSIX メタデータのサポート](posix-metadata-support.md)」を参照してください。 |
| `S3ObjectUpdateInProgressFromFileRename` | 自動エクスポートがファイルの名前変更を処理しているため、Amazon FSx はファイルをリリースできませんでした。ファイルをリリースする前に、エクスポートの自動名前変更プロセスを終了する必要があります。 |
| `S3SymlinkInUnsupportedTier` | Amazon FSx は、シンボリックリンクオブジェクトをインポートできませんでした。このオブジェクトは、S3 Glacier Flexible Retrieval や S3 Glacier Deep Archive ストレージクラスなど、サポートされていない Amazon S3 ストレージクラスにあります。`FileStatus` は、タスク完了レポートで `failed` になります。 |
| `SourceObjectDeletedBeforeReleasing` | Amazon FSx は、ファイルがリリースされる前にデータリポジトリから削除されたため、ファイルシステムからファイルをリリースできませんでした。 |
# ファイルのリリース
リリースデータリポジトリタスクは、FSx for Lustre ファイルシステムからファイルのデータをリリースして、新しいファイルのためにスペースを解放します。ファイルを解放すると、ファイルのリストとメタデータは保持されますが、そのファイルのコンテンツのローカルコピーは削除されます。ユーザーまたはアプリケーションがリリースされたファイルにアクセスすると、データはリンクされた Amazon S3 バケットからファイルシステムに自動的かつ透過的に再ロードされます。
**注記**
リリースデータリポジトリタスクは FSx for Lustre 2.10 ファイルシステムでは使用できません。
**[リリースするファイルシステムパス]** と **[前回のアクセスからの最小期間]** パラメータによって、リリースされるファイルが決まります。
+ **[リリースするファイルシステムパス]**: リリースされるファイルのパスを指定します。
+ **[前回のアクセスからの最小期間]**: その期間内にアクセスされなかったファイルがリリースされるように、期間を日単位で指定します。ファイルが前回アクセスされてからの期間は、リリースタスクの作成時刻と前回ファイルにアクセスした時刻 (`atime`、`mtime`、`ctime` の最大値) との差をとって計算されます。
ファイルパスに従ってファイルがリリースされるのは、ファイルが S3 にエクスポートされており、前回のアクセスからの期間が [前回のアクセスからの最小期間] の値よりも大きい場合のみです。[前回のアクセスからの最小期間] を `0` 日間と指定すると、前回のアクセスからの期間とは無関係にファイルがリリースされます。
**注記**
リリースするファイルを含めたり除外したりするためのワイルドカードの使用はサポートされていません。
リリースデータリポジトリタスクは、リンクされた S3 データリポジトリに既にエクスポートされているファイルのデータのみをリリースします。自動エクスポート機能、エクスポートデータリポジトリタスク、または HSM コマンドのいずれかを使用してデータを S3 にエクスポートできます。ファイルがデータリポジトリにエクスポートされたことを確認するには、次のコマンドを実行します。`states: (0x00000009) exists archived` の戻り値はのファイルが正常にエクスポートされたことを示します。
```
sudo lfs hsm_state path/to/export/file
```
**注記**
HSM コマンドは、ルートユーザーとして、または `sudo` を使用して実行する必要があります。
ファイルデータを定期的にリリースするには、Amazon EventBridge スケジューラを使用してリリースデータリポジトリタスクの繰返しをスケジュールします。詳細については、「*Amazon EventBridge スケジューラユーザーガイド*」の「[Getting started with EventBridge Scheduler](https://docs.aws.amazon.com/scheduler/latest/UserGuide/getting-started.html)」を参照してください。
**Topics**
+ [データリポジトリタスクを使用してファイルをリリースする](release-files-task.md)
# データリポジトリタスクを使用してファイルをリリースする
Amazon FSx コンソールと CLI を使用してファイルシステムからファイルをリリースするタスクを作成するには、以下の手順に従います。ファイルを解放すると、ファイルのリストとメタデータは保持されますが、そのファイルのコンテンツのローカルコピーは削除されます。
## ファイルをリリースするには (コンソール)
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. 左のナビゲーションペインで **[ファイルシステム]** を選択し、Lustre ファイルシステムを選択します。
1. **[Data repository]** (データリポジトリ) タブを選択します。
1. **[データリポジトリの関連付け]** ペインで、リリースタスクを作成する対象のデータリポジトリの関連付けを選択します。
1. **[アクション]** で **[リリースタスクの作成]** を選択します。ファイルシステムが S3 のデータリポジトリにリンクされている場合のみ、この選択が使用できます。**[データリポジトリのリリースタスクの作成]** ダイアログが表示されます。
1. **[リリースするためのファイルシステムパス]** で、Amazon FSx ファイルシステムからリリースするディレクトリまたはファイルへのパスを指定して、最大 32 個のディレクトリまたはファイルを指定します。指定するパスは、ファイルシステムのマウントポイントに対する相対パスである必要があります。たとえば、マウントポイントが `/mnt/fsx` で、`/mnt/fsx/path1` がリリースするファイルシステムのファイルである場合、指定するパスは `path1` です。ファイルシステム内のすべてのファイルをリリースするには、パスとしてフォワードスラッシュ (/) を指定します。
**注記**
指定したパスが有効でない場合、タスクは失敗します。
1. **[最終アクセスからの最小の期間]** には、その期間内にアクセスされなかったファイルがリリースされるように、期間を日単位で指定します。最終アクセス時刻は、`atime`、`mtime`、`ctime` の最大値を使用して計算されます。最終アクセス期間が、前回のアクセスからの最小期間 (タスク作成時刻を基準とする) よりも長いファイルはリリースされます。この日数より短い期間にアクセスされたファイルは、**[リリースするファイルシステムパス]** フィールドに含まれている場合でも、リリースされません。最終アクセスからの期間とは無関係に、ファイルをリリースするまでの日数を `0` 日間と指定します。
1. (オプション) **[完了レポート]** で **[有効化]** を選択すると、**[レポートスコープ]** で提供されたスコープを満たすファイルの詳細を提供するタスク完了レポートが生成されます。Amazon FSx がレポートを配信する場所を指定するには、ファイルシステムのリンクされた S3 データリポジトリの **[レポートパス]** の相対パスを入力します。
1. **[データリポジトリタスクを作成]** を選択します。
**[File systems]** (ファイルシステム) ページの上部にある通知には、先ほど作成したタスクが表示されます。
タスクのステータスと詳細を表示するには、**[データリポジトリ]** タブで **[データリポジトリタスク]** まで下にスクロールします。デフォルトのソート順では、最新のタスクがリストの最上部に表示されます。
このページからタスクサマリーを表示するには、先ほど作成したタスクの **[Task ID]** (タスク ID) を選択します。
## ファイルをリリースするには (CLI)
+ [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html) CLI コマンドを使用して、FSx for Lustre ファイルシステムのファイルをリリースするタスクを作成します。対応する API オペレーションは [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html) です。
以下のパラメータを設定します:
+ ファイルをリリースするファイルシステムの ID に `--file-system-id` をセットします。
+ データをリリースするファイルシステムのパスに `--paths` をセットします。ディレクトリを指定すると、そのディレクトリ内のファイルがリリースされます。ファイルパスが指定されている場合、そのファイルのみがリリースされます。リンクされている S3 バケットにエクスポートされているファイルシステム内のすべてのファイルをリリースするには、パスにフォワードスラッシュ (/) を指定します。
+ `--type` を `RELEASE_DATA_FROM_FILESYSTEM` に設定します。
+ 以下のように `--release-configuration DurationSinceLastAccess` オプションを設定します。
+ `Unit` – `DAYS` に設定します。
+ `Value` — その期間にアクセスされなかったファイルがリリースされるまでの期間を表す整数を日単位で指定します。この日数より短い期間にアクセスされたファイルは、たとえ `--paths` パラメータに含まれている場合でもリリースされません。最終アクセスからの期間とは無関係に、ファイルをリリースするまでの日数を `0` 日間と指定します。
このサンプルコマンドは、リンクされている S3 バケットにエクスポートされ、`--release-configuration` 基準を満たしているファイルが、指定されたパスのディレクトリからリリースされるように指定します。
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type RELEASE_DATA_FROM_FILESYSTEM \
--paths path1,path2/file1 \
--release-configuration '{"DurationSinceLastAccess":{"Unit":"DAYS","Value":10}}' \
--report Enabled=false
```
データリポジトリタスクが正常に作成されると、Amazon FSx はタスクの説明を JSON として返します。
ファイルをリリースするタスクを作成したら、タスクの状態を確認できます。データリポジトリタスクを表示する方法の詳細については、「[データリポジトリタスクへのアクセス](view-data-repo-tasks.md)」を参照してください。
# オンプレミスのデータに対する Amazon FSx の使用
Amazon FSx を使用して、オンプレミスのデータをクラウド内のコンピューティングインスタンスで処理できます。FSx for Lustre は Direct Connect および VPN へのアクセスをサポートしているため、オンプレミスクライアントからファイルシステムをマウントできます。
**オンプレミスのデータで Amazon FSx を使用するには**
1. ファイルシステムを作成します。詳細については、「使用開始」の演習の「[ステップ 1: FSx for Lustre ファイルシステムの作成](getting-started.md#getting-started-step1)」を参照してください。
1. オンプレミスのクライアントからファイルシステムをマウントします。詳細については、「[オンプレミスまたはピアリングされた Amazon VPC から Amazon FSx ファイルシステムをマウントする](mounting-on-premises.md)」を参照してください。
1. 処理するデータを FSx for Lustre ファイルシステムにコピーします。
1. ファイルシステムをマウントしているクラウド内 Amazon EC2 インスタンスで、コンピューティング集約型のワークロードを実行します。
1. 完了したら、ファイルシステムからオンプレミスのデータロケーションに最終結果をコピーし、FSx for Lustre ファイルシステムを削除します。
# データリポジトリのイベントログ
CloudWatch Logs へのログ記録を有効にすると、自動のインポートとエクスポート、およびデータリポジトリタスクおよび復元イベントを使用して行う、ファイルのインポートまたはエクスポート中に発生した障害に関する情報をログ記録できます。詳細については、「[Amazon CloudWatch Logs でのロギング](cw-event-logging.md)」を参照してください。
**注記**
データリポジトリタスクが失敗した場合には、Amazon FSx が、その失敗に関する情報をタスク完了レポートに書き込みます。完了レポート内の障害情報の詳細ついては、「[データリポジトリタスク失敗のトラブルシューティング](failed-tasks.md)」を参照してください。
**Topics**
+ [インポートイベント](#import-event-logging)
+ [エクスポートイベント](#export-event-logging)
+ [HSM 復元イベント](#hsm-restore-event-logging)
## インポートイベント
| エラータイプ | ログレベル | ログメッセージ | 根本原因 | 完了レポート内のエラーコード |
| --- | --- | --- | --- | --- |
| オブジェクト一覧表示の失敗 | ERROR | S3 バケット bucket\$1name 内で、プレフィクス prefix を持つ S3 オブジェクトのリスト作成に失敗しました。 | Amazon FSx は、S3 バケット内の S3 オブジェクトをリストできませんでした。S3 バケットポリシーが Amazon FSx に十分なアクセス許可を付与していない場合に、このエラーが発生することがあります。 | 該当なし |
| サポートされていない S3 ストレージクラス | WARN | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトのインポートに失敗しました。このオブジェクトはサポートされていない階層 S3\$1tier\$1name にあります。 | Amazon FSx は、S3 オブジェクトをインポートできませんでした。このオブジェクトは、S3 Glacier Flexible Retrieval や S3 Glacier Deep Archive ストレージクラスなど、サポートされていない Amazon S3 ストレージクラス内にあります。 | S3ObjectInUnsupportedTier |
| サポートされていないシンボリックリンクのストレージクラス | ERROR | S3 バケット bucket\$1name 内の、キー key\$1value を持つ S3 シンボリックリンクオブジェクトのインポートに失敗しました。このオブジェクトは、サポートされていない階層 S3\$1tier\$1name にあります。 | Amazon FSx は、シンボリックリンクオブジェクトをインポートできませんでした。このオブジェクトは、S3 Glacier Flexible Retrieval や S3 Glacier Deep Archive ストレージクラスなど、サポートされていない Amazon S3 ストレージクラスにあります。 | S3SymlinkInUnsupportedTier |
| S3 アクセスが拒否されました | ERROR | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトのインポートに失敗しました。この S3 オブジェクトへのアクセスが拒否されました。 | データリポジトリのエクスポートまたはインポートタスクにおいて、Amazon S3 へのアクセスが拒否されました。 インポートタスクの場合、Amazon FSx ファイルシステムに S3 上のリンクされたデータリポジトリからインポートするため、`s3:HeadObject` および `s3:GetObject` オペレーションを実行する許可が必要です。 インポートタスクの場合、S3 バケットが AWS Key Management Service (SSE-KMS) に保存されているカスタマー管理キーを使ってサーバー側の暗号化を使用する場合は、[サーバー側で暗号化された Simple Storage Service (Amazon S3) バケットの使用](s3-server-side-encryption-support.md) のポリシー設定に従う必要があります。 | S3AccessDenied |
| アクセス拒否を削除する | ERROR | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトの、ローカルファイルの削除に失敗しました。この S3 オブジェクトへのアクセスが拒否されました。 | 自動インポートによる S3 オブジェクトへのアクセスが拒否されました。 | 該当なし |
| POSIX 非準拠オブジェクト | ERROR | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトのインポートに失敗しました。この S3 オブジェクトは POSIX 準拠ではありません。 | Simple Storage Service (Amazon S3) オブジェクトは存在しますが、POSIX に準拠しているオブジェクトではないため、インポートできません。サポートされている POSIX メタデータについては、「[データリポジトリの POSIX メタデータのサポート](posix-metadata-support.md)」を参照してください。 | S3ObjectPathNotPosixCompliant |
| オブジェクトタイプの不一致 | ERROR | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトのインポートに失敗しました。同じ名前の S3 オブジェクトがファイルシステムに既にインポートされています。 | インポートしようとした S3 オブジェクトのタイプ (ファイルまたはディレクトリ) が、ファイルシステム内に既存の、同じ名前を持つオブジェクトと異っています。 | S3ObjectTypeMismatch |
| ディレクトリメタデータの更新の失敗 | ERROR | 内部エラーが発生したため、ローカルディレクトリのメタデータの更新に失敗しました。 | 内部エラーが発生したため、ディレクトリメタデータをインポートできませんでした。 | 該当なし |
| S3 オブジェクトが見つかりません | ERROR | キー key\$1value を持つ S3 オブジェクトのインポートに失敗しました。S3 バケット bucket\$1name 内で、このオブジェクトが見つかりません。 | Amazon FSx は、ファイルメタデータをインポートできませんでした。対応するオブジェクトがデータリポジトリ内に存在しません。 | S3FileDeleted |
| S3 バケットが見つかりません | ERROR | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトのインポートに失敗しました。このバケットは存在しません。 | S3 バケットが見つからないため、Amazon FSx は、ファイルシステムに S3 オブジェクトを自動インポートできません。 | 該当なし |
| S3 バケットが見つかりません | ERROR | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトで、ローカルファイルの削除に失敗しました。このバケットは存在しません。 | S3 バケットが見つからないため、Amazon FSx はファイルシステム上の S3 オブジェクトにリンクされたファイルを削除できません。 | 該当なし |
| ディレクトリ作成の失敗 | ERROR | 内部エラーが発生したため、ローカルディレクトリの作成に失敗しました。 | 内部エラーが発生したため、Amazon FSx による、ファイルシステム上へのディレクトリ作成の自動インポートが失敗しました。 | 該当なし |
| ディスク容量がいっぱいです | ERROR | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトをインポートできませんでした。このファイルシステムに空き容量がありません。 | ファイルまたはディレクトリの作成中に、ファイルシステムが使用可能なメタデータサーバーのディスク領域が終了しました。 | 該当なし |
## エクスポートイベント
| エラータイプ | ログレベル | ログメッセージ | 根本原因 | 完了レポート内のエラーコード |
| --- | --- | --- | --- | --- |
| アクセスが拒否される | ERROR | S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトへのアクセスが拒否されたため、このファイルのエクスポートが失敗しました。 | データリポジトリのエクスポートタスクにおいて、Amazon S3 へのアクセスが拒否されました。 エクスポートタスクの場合、Amazon FSx ファイルシステムでは、S3 上のリンクされたデータリポジトリにエクスポートする `s3:PutObject` オペレーションを実行する許可が必要です。この許可は、`AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0` サービスにリンクされたロールで許可されています。詳細については、「[Amazon FSx のサービスリンクロールの使用](using-service-linked-roles.md)」を参照してください。 エクスポートタスクでは、ファイルシステムの VPC から外部にデータが転送される必要があります。このエラーは、ターゲットリポジトリが使用するバケットポリシーに、`aws:SourceVpc` または `aws:SourceVpce` IAM グローバル条件キーのいずれかが含まれている場合に発生する可能性があります。 S3 バケットに、ファイルシステムにリンクされた S3 バケットアカウントとは別の AWS アカウント からアップロードされたオブジェクトが含まれている場合、アップロードされたアカウントに関係なく、データリポジトリタスクが S3 メタデータを変更したり、S3 オブジェクトを上書きしたりできます。S3 バケットで、S3 オブジェクト所有権の機能を有効にすることをお勧めします。この機能を使用すると、アップロードに `--acl bucket-owner-full-control` 固定 ACL を提供させることにより、他の AWS アカウント がバケットにアップロードする新しいオブジェクトの所有権を取得できます。S3 バケットで、**バケット所有者優先** 内のオプションを選択することにより、S3 オブジェクトの所有権を有効にします。詳細については、「*Simple Storage Service (Amazon S3) ユーザーガイド*」の「[S3 オブジェクトの所有権を使用してアップロードされたオブジェクトの所有権をコントロールする](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html)」を参照してください。 | S3AccessDenied |
| エクスポートパスが長すぎます | ERROR | ファイルのエクスポートに失敗しました。ローカルファイルのパスサイズが、S3 でサポートされている最大オブジェクトキー長を超えています。 | エクスポートのパスが長すぎます。S3 でサポートされているオブジェクトキーの最大長は 1,024 文字です。 | PathSizeTooLong |
| ファイルが大きすぎます | ERROR | ファイルサイズがサポートされている S3 オブジェクトの最大サイズを超えているため、このファイルのエクスポートに失敗しました。 | Amazon S3 でサポートされているオブジェクトの最大サイズは 5 TiB です。 | FileSizeTooLarge |
| KMS キーが見つかりませんでした | ERROR | バケットの KMS キーが見つからなかったため、S3 バケット bucket\$1name 内のキー key\$1value を持つ S3 オブジェクトのファイルのエクスポートが失敗しました。 | AWS KMS key が見つからなかったため、Amazon FSx はファイルをエクスポートできませんでした。必ず、S3 バケットと同じ AWS リージョン にあるキーを使用してください。KMS キーの作成の詳細については、「AWS Key Management Service デベロッパーガイド」の「[Creating keys](https://docs.aws.amazon.com/kms/latest/developerguide/create-keys.html)」を参照してください。 | N/A |
| リソースビジー | ERROR | ファイルをエクスポートできませんでした。このファイルは、別のプロセスで使用されています。 | Amazon FSx は、ファイルシステム上の別のクライアントによって変更されているため、ファイルをエクスポートできませんでした。ワークフローによるファイルへの書き込みが完了した後、このタスクを再試行できます。 | ResourceBusy |
| ファイルがリリースされました | WARN | エクスポートはスキップされました: ローカルファイルがリリース済み状態であり、かつキー key\$1value を持ちリンクされた S3 オブジェクトが、バケット bucket\$1name 内に見つかりませんでした。 | このファイルはファイルシステム上でリリース済み状態であるため、Amazon FSx によるエクスポートが行えませんでした。 | 該当なし |
| データリポジトリパスの不一致 | WARN | エクスポートがスキップされました: このローカルファイルは、データリポジトリにリンクするファイルシステムパスに属していません。 | オブジェクトがデータリポジトリにリンクされているファイルシステムパスに属していないため、Amazon FSx は、このオブジェクトをエクスポートできませんでした。 | 該当なし |
| 内部エラー | ERROR | ファイルシステムオブジェクトのエクスポート中に、自動エクスポート内でエラーが発生しました | 内部 (自動エクスポートまたは Lustre レベルの) エラーのため、エクスポートが失敗しました。 | 該当なし |
| 完了レポートのアップロードの失敗 | ERROR | bucket\$1name への、データリポジトリタスク完了レポートのアップロードに失敗しました。 | Amazon FSx は完了レポートをアップロードできませんでした。 | 該当なし |
| 完了レポートの検証の失敗 | ERROR | データリポジトリタスク完了レポートをバケット bucket\$1name にアップロードできませんでした。このファイルシステムに関連付けられたデータリポジトリに、完了レポートのパス report\$1path が属していません | お客様が指定した S3 パスが、リンクされたデータリポジトリに属していないため、Amazon FSx は、この完了レポートをアップロードできませんでした。 | 該当なし |
## HSM 復元イベント
| エラータイプ | ログレベル | ログメッセージ | 根本原因 |
| --- | --- | --- | --- |
| アクセスが拒否される | ERROR | S3 バケット bucket\$1name 内の S3 オブジェクト object\$1name へのアクセスが拒否されたため、このファイルのエクスポートが失敗しました。 | HSM コマンドを使用してファイルを復元しようとすると、Amazon S3 へのアクセスが拒否されました。ファイルシステムに S3 上のリンクされたデータリポジトリから復元するため、`s3:HeadObject` および `s3:GetObject` オペレーションを実行する許可が必要です。 |
| サポートされていない S3 ストレージクラス | WARN | バケット bucket\$1name の S3 オブジェクト object\$1name がサポートされていない S3\$1storage\$1class \$1name にあったため、ファイルの復元に失敗しました。 | 対応する S3 オブジェクトが S3 Glacier Flexible Retrieval や S3 Glacier Deep Archive などの S3 サポートされていないストレージクラスにあるため、Amazon FSx はファイルを復元できませんでした。`hsm_restore` を使用する前に、まず Glacier ストレージクラスからオブジェクトを復元する必要があります。 |
| S3 オブジェクトが見つかりません | ERROR | S3 バケット bucket\$1name 内で、このオブジェクトが見つからなかったため、キー key\$1value を持つ S3 オブジェクトのインポートに失敗しました。 | 対応する S3 オブジェクトがデータリポジトリ内に存在しなかったため、Amazon FSx は、ファイルを復元できませんでした。 |
| S3 バケットが見つかりません | ERROR | S3 バケット bucket\$1name が存在しないため、ファイルの復元に失敗しました。 | リンクされた S3 バケットが存在しないため、Amazon FSx はファイルを復元できません。 |
| ディスク容量がいっぱいです | ERROR | ファイルシステムに使用可能なストレージ領域がないため、ファイルの復元に失敗しました。 | S3 からファイルデータを復元しようとしましたが、ファイルシステムの使用可能なストレージ容量が不足しています。ファイルシステムのストレージ容量を増やすか、ファイルを解放して領域を解放することを検討してください。 |
# 以前のデプロイタイプでの使用
このセクションは、Scratch 1 デプロイタイプのファイルシステムに加えて、データリポジトリの関連付けを使用しない `Scratch 2` または `Persistent 1` デプロイタイプのファイルシステムにも適用されます。自動エクスポートおよび複数のデータリポジトリのサポートは、データリポジトリの関連付けを使用していない FSx for Lustre ファイルシステムでは利用できないことに留意してください。
**Topics**
+ [Simple Storage Service (Amazon S3) バケットにファイルシステムにリンクする](#legacy-link-to-S3)
+ [S3 バケットから更新を自動的にインポートする](#legacy-auto-import-from-s3)
## Simple Storage Service (Amazon S3) バケットにファイルシステムにリンクする
Amazon FSx for Lustre ファイルシステムを作成すると、Simple Storage Service (Amazon S3) の耐久性のあるデータリポジトリにリンクできます。ファイルシステムを作成する前に、リンク先の Simple Storage Service (Amazon S3) バケットがすでに作成されていることを確認してください。**[Create file system]** (ファイルシステムの作成) ウィザードでは、オプションの **データリポジトリ Import/Export** ペインに、次のデータリポジトリ設定プロパティを設定します。
+ ファイルシステムの作成後に S3 バケットのオブジェクトを追加または変更するときに、Amazon FSx がファイルとディレクトリのリストを最新の状態に保つ方法を選択します。詳細については、「[S3 バケットから更新を自動的にインポートする](#legacy-auto-import-from-s3)」を参照してください。
+ **バケットをインポートする**: リンクされたリポジトリに使用している S3 バケットの名前を入力します。
+ **インポートプレフィックス**: S3 バケット内のデータの一部ファイルとディレクトリリストのみをファイルシステムにインポートする場合は、オプションのインポートプレフィックスを入力します。インポートプレフィックスは、S3 バケット内のデータのインポート元を定義します。
+ **エクスポートプレフィックス**: Amazon FSx がファイルシステムの内容をリンクされた S3 バケットにエクスポートする場所を定義します。
Amazon FSx が、FSx for Lustre ファイルシステムからインポート元の S3 バケットの同じディレクトリにデータをエクスポートする 1:1 マッピングを作成できます。1:1 のマッピングを作成するには、ファイルシステムを作成するときに、プレフィックスなしで S3 バケットへのエクスポートパスを指定します。
+ コンソールを使用してファイルシステムを作成する場合は、**プレフィックスのエクスポート > 指定したプレフィックス** オプションを選択し、プレフィックスフィールドを空白のままにします。
+ CLI または API AWS を使用してファイルシステムを作成する場合は、エクスポートパスを などの追加のプレフィックスなしで S3 バケットの名前として指定します`ExportPath=s3://amzn-s3-demo-bucket/`。
この方法を使用すると、インポートパスを指定するときにインポートプレフィックスを含めることができ、エクスポートの 1:1 マッピングには影響しません。
### S3 バケットにリンクされているファイルシステムの作成
次の手順では、 AWS マネジメントコンソールと AWS コマンドラインインターフェイス (AWS CLI) を使用して S3 バケットにリンクされた Amazon FSx ファイルシステムを作成するプロセスについて説明します。
------
#### [ Console ]
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. ダッシュボードから、**[Create file system]** (ファイルシステムの作成) を選択します。
1. ファイルシステムタイプで、**FSx for Lustre** を選択してから、**[Next]** (次へ) を選択します。
1. **[File system details]** (ファイルシステムの詳細) と **[Network and Security]** (ネットワークおよびセキュリティ) セクションに必要な情報を入力します。詳細については、「[ステップ 1: FSx for Lustre ファイルシステムの作成](getting-started.md#getting-started-step1)」を参照してください。
1. Simple Storage Service (Amazon S3) にリンクされたデータリポジトリを設定するための **[Data repository import/export]** (データリポジトリ Import/Export) パネルを使用します。**[Import data from and export data to S3]** (S3 からのデータインポートと S3 へのデータエクスポート) を展開して **[Data Repository Import/Export]** (データリポジトリの Import/Export) セクションを開き、データリポジトリを設定します。
![\[Simple Storage Service (Amazon S3) 内のリンクされたデータリポジトリを設定するための、データリポジトリのインポートおよびエクスポートパネルです。\]](http://docs.aws.amazon.com/ja_jp/fsx/latest/LustreGuide/images/legacy-data-repository-import-export.png)
1. S3 バケットのオブジェクトを追加または変更したときに、Amazon FSx がファイルとディレクトリのリストを最新の状態に保つ方法を選択します。ファイルシステムを作成すると、既存の S3 オブジェクトがファイルとディレクトリのリストとして表示されます。
+ **S3 バケットにオブジェクトが追加されると、ファイルとディレクトリのリストを更新する**: (デフォルト) Amazon FSx は、リンクされた S3 バケットに追加された新しいオブジェクトのうち、現在 FSx ファイルシステム内に存在しないオブジェクトのファイルとディレクトリのリストを自動的に更新します。Amazon FSx は、S3 バケット内で変更されたオブジェクトのリストを更新しません。Amazon FSx では、S3 バケットで削除されたオブジェクトのリストは削除されません。
**注記**
CLI と API を使用してリンクされた S3 バケットからデータをインポートするためのデフォルトのインポート設定は `NONE` です。コンソールを使用する場合のデフォルトのインポート設定は、新しいオブジェクトが S3 バケットに追加されたときに Lustre を更新することです。
+ **S3 バケットにオブジェクトが追加または変更されると、ファイルとディレクトリのリストを更新する**: このオプションの選択後は、S3 バケットに追加された新しいオブジェクトや S3 バケットで変更された既存のオブジェクトのファイルとディレクトリのリストが、Amazon FSx によって自動的に更新されます Amazon FSx では、S3 バケットで削除されたオブジェクトのリストは削除されません。
+ **S3 バケットにオブジェクトが追加、変更、または削除されると、ファイルとディレクトリのリストを更新する**: このオプションの選択後は、S3 バケットに追加された新しいオブジェクトや S3 バケットで削除された既存のオブジェクトのファイルとディレクトリのリストが、Amazon FSx によって自動的に更新されます
+ **S3 バケットにオブジェクトが追加、変更、削除されたときに、ファイルを更新したり、直接リスト表示したりしない** - Amazon FSx は、ファイルシステムの作成時に、リンクされた S3 バケットのファイルとディレクトリのリストのみを更新します。このオプションの選択後は、新しいオブジェクトや変更、削除されたオブジェクトのファイルとディレクトリのリストは FSx で更新されません。
1. S3 バケット内のデータの一部ファイルとディレクトリリストのみをファイルシステムにインポートする場合は、オプションの **インポートプレフィックス** を入力します。インポートプレフィックスは、S3 バケット内のデータのインポート元を定義します。詳細については、「[S3 バケットから更新を自動的にインポートする](autoimport-data-repo-dra.md)」を参照してください。
1. 使用可能な **エクスポートプレフィックス** オプションの 1 つを選択します。
+ **Amazon FSx がバケット内に作成する一意のプレフィックス**: このオプションを選択すると、FSx for Lustre によって生成されたプレフィックスを使用して、新規および変更されたオブジェクトをエクスポートできます。プレフィックスは、次の「`/FSxLustrefile-system-creation- timestamp`」のようになります。タイムスタンプは UTC 形式です (例えば、`FSxLustre20181105T222312Z`)。
+ **インポート元と同じプレフィックス (既存のオブジェクトを更新されたオブジェクトに置き換える)**: 既存のオブジェクトを更新されたオブジェクトに置き換えるには、このオプションを選択します。
+ **指定するプレフィックス**: インポートしたデータを保持し、指定したプレフィックスを使用して新規および変更されたオブジェクトをエクスポートするには、このオプションを選択します。S3 バケットにデータをエクスポートするときに 1:1 のマッピングを実現するには、このオプションを選択し、プレフィックスフィールドを空白のままにします。FSx は、インポート元のディレクトリと同じディレクトリにデータをエクスポートします。
1. (オプション) **メンテナンスプリファレンス** を設定するか、またはシステムのデフォルトを使用します。
1. **[Next]** (次へ) を選択してから、ファイルシステム設定を確認します。必要に応じて変更を加えます。
1. **[Create file system]** (ファイルシステムを作成する) を選択します。
------
#### [ AWS CLI ]
次の例では、`amzn-s3-demo-bucket` にリンクされた Amazon FSx ファイルシステムを作成します。ファイルシステムの作成後に、リンクされたデータリポジトリ内の新規、変更、および削除されたファイルをインポートするインポートプリファレンスを使用します。
**注記**
CLI と API を使用して、リンクされた S3 バケットからデータをインポートするためのデフォルトのインポートプリファレンスの設定は `NONE` です。これは、コンソール使用時のデフォルトの動作とは異なります。
FSx for Lustre ファイルシステムを作成するには、以下に示すような Amazon FSx CLI コマンド [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html) を使用します。対応する API オペレーションは [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html) です。
```
$ aws fsx create-file-system \
--client-request-token CRT1234 \
--file-system-type LUSTRE \
--file-system-type-version 2.10 \
--lustre-configuration
AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s
3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export,
PerUnitStorageThroughput=50 \
--storage-capacity 2400 \
--subnet-ids subnet-123456 \
--tags Key=Name,Value=Lustre-TEST-1 \
--region us-east-2
```
次の例に示すように、ファイルシステムを正常に作成すると、Amazon FSx はファイルシステムの説明を JSON として返します。
```
{
"FileSystems": [
{
"OwnerId": "owner-id-string",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"FileSystemTypeVersion": "2.10",
"Lifecycle": "CREATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "PERSISTENT_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
},
"PerUnitStorageThroughput": 50
}
}
]
}
```
------
### ファイルシステムのエクスポートパスの表示
FSx for Lustre コンソール、 CLI、および API AWS を使用して、ファイルシステムのエクスポートパスを表示できます。
------
#### [ Console ]
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます
1. FSx for Lustreファイルシステムの場合は、**[File system name]** (ファイルシステム名) または **[File system ID]** (ファイルシステム ID) を選択して、エクスポートパスを表示します。
そのファイルシステムの詳細ページが表示されます。
1. **[Data repository]** (データリポジトリ) タブを選択します。
**[Data repository integration]** (データリポジトリ統合) パネルが表示され、インポートパスとエクスポートパスが表示されます。
![\[データリポジトリ統合パネルのデータリポジトリのインポートパスとエクスポートパス。\]](http://docs.aws.amazon.com/ja_jp/fsx/latest/LustreGuide/images/legacy-view-export-path.png)
------
#### [ CLI ]
ファイルシステムのエクスポートパスを特定するには、[https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) AWS CLI コマンドを使用します。
```
aws fsx describe-file-systems
```
レスポンスで `LustreConfiguration` の下の `ExportPath` プロパティを探します。
```
{
"OwnerId": "111122223333",
"CreationTime": 1563382847.014,
"FileSystemId": "",
"FileSystemType": "LUSTRE",
"Lifecycle": "AVAILABLE",
"StorageCapacity": 2400,
"VpcId": "vpc-6296a00a",
"SubnetIds": [
"subnet-1111111"
],
"NetworkInterfaceIds": [
"eni-0c288d5b8cc06c82d",
"eni-0f38b702442c6918c"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre System"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": " NEW_CHANGED_DELETED",
"Lifecycle": "AVAILABLE",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z",
"ImportedFileChunkSize": 1024
}
},
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "6:09:30"
}
```
------
### データリポジトリのライフサイクル状態
データリポジトリのライフサイクル状態は、ファイルシステムのリンクされたデータリポジトリに関するステータス情報を提供します。データリポジトリには、以下のライフサイクル状態があります。
+ **作成中**: Amazon FSx は、ファイルシステムとリンクされたデータリポジトリの間にデータリポジトリの設定を作成しています。データリポジトリは使用できません。
+ **使用可能**: データリポジトリを使用できます。
+ **更新中**: データリポジトリの設定では、可用性に影響する可能性があるお客様が開始した更新を実行しています。
+ **設定ミス**: Amazon FSx は、データリポジトリの設定が修正されるまで S3 バケットから更新を自動的にインポートできません。詳細については、「[正しく設定されていないリンクされた S3 バケットのトラブルシューティング](troubleshooting-misconfigured-data-repository.md)」を参照してください。
Amazon FSx コンソール、 コマンドラインインターフェイス、および Amazon FSx API AWS を使用して、ファイルシステムのリンクされたデータリポジトリのライフサイクル状態を表示できます。Amazon FSx コンソールでは、ファイルシステムの **[Data Repository]** (データリポジトリ) タブの **[Data Repository Integration]** (データリポジトリ統合) ペインで、データリポジトリの **ライフサイクル状態** にアクセスできます。`Lifecycle` のプロパティは、[https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) CLI コマンド (同等の API アクションは [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html)) のレスポンスの `DataRepositoryConfiguration` オブジェクトに配置されます。
## S3 バケットから更新を自動的にインポートする
デフォルトでは、新しいファイルシステムを作成すると、Amazon FSx はファイルシステムの作成時に、リンクされた S3 バケット内のオブジェクトのファイルメタデータ (名前、所有権、タイムスタンプ、アクセス許可) をインポートします。FSx for Lustre ファイルシステムは、ファイルシステムの作成後に、S3 バケットに追加、変更、または S3 バケットから削除されたオブジェクトのメタデータを自動的にインポートするように設定できます。FSx for Lustre は、ファイルシステムの作成時にファイルメタデータをインポートするのと同じ方法で、作成後に変更されたオブジェクトのファイルとディレクトリリストを更新します。Amazon FSx は、変更されたオブジェクトのファイルとディレクトリリストを更新します。S3 バケット内の変更されたオブジェクトにメタデータが含まれなくなった場合、Amazon FSx はデフォルトのアクセス許可を使用するのではなく、ファイルの現在のメタデータ値を保持します。
**注記**
インポート設定は、2020 年 7 月 23 日の東部標準時午後 3 時以降に作成されたLustreファイルシステムのFSxで利用できます。
新しいファイルシステムを作成するときにインポート設定を設定し、FSx マネジメントコンソール、 AWS CLI、および AWS API を使用して既存のファイルシステムの設定を更新できます。ファイルシステムを作成すると、既存の S3 オブジェクトがファイルとディレクトリのリストとして表示されます。ファイルシステム作成後、S3 バケットのコンテンツが更新されるときに、どのように更新しますか? ファイルシステムには、以下のいずれかのインポート設定があります。
**注記**
更新を自動でインポートするためには、FSx for Lustreファイルシステムとリンクされた S3 バケットが同じ AWS リージョンに配置されている必要があります。
+ **S3 バケットにオブジェクトが追加されると、ファイルとディレクトリのリストを更新する**: (デフォルト) Amazon FSx は、リンクされた S3 バケットに追加された新しいオブジェクトのうち、現在 FSx ファイルシステム内に存在しないオブジェクトのファイルとディレクトリのリストを自動的に更新します。Amazon FSx は、S3 バケット内で変更されたオブジェクトのリストを更新しません。Amazon FSx では、S3 バケットで削除されたオブジェクトのリストは削除されません。
**注記**
CLI と API を使用してリンクされた S3 バケットからデータをインポートするためのデフォルトのインポート設定は `NONE` です。コンソールを使用する場合のデフォルトのインポート設定は、新しいオブジェクトが S3 バケットに追加されたときに Lustre を更新することです。
+ **S3 バケットにオブジェクトが追加または変更されると、ファイルとディレクトリのリストを更新する**: このオプションの選択後は、S3 バケットに追加された新しいオブジェクトや S3 バケットで変更された既存のオブジェクトのファイルとディレクトリのリストが、Amazon FSx によって自動的に更新されます Amazon FSx では、S3 バケットで削除されたオブジェクトのリストは削除されません。
+ **S3 バケットにオブジェクトが追加、変更、または削除されると、ファイルとディレクトリのリストを更新する**: このオプションの選択後は、S3 バケットに追加された新しいオブジェクトや S3 バケットで削除された既存のオブジェクトのファイルとディレクトリのリストが、Amazon FSx によって自動的に更新されます
+ **S3 バケットにオブジェクトが追加、変更、削除されたときに、ファイルを更新したり、直接リスト表示したりしない** - Amazon FSx は、ファイルシステムの作成時に、リンクされた S3 バケットのファイルとディレクトリのリストのみを更新します。このオプションの選択後は、新しいオブジェクトや変更、削除されたオブジェクトのファイルとディレクトリのリストは FSx で更新されません。
リンクされた S3 バケットの変更に基づいてファイルシステムファイルとディレクトリのリストを更新するようにインポートプリファレンスを設定すると、Amazon FSx は `FSx` という名前のリンクされた S3 バケットにイベント通知設定を作成します。S3 バケットのイベント通知設定 `FSx` を変更または削除しないでください - それにより、新しい、または変更されたファイルとディレクトリの一覧がファイルシステムに自動的にインポートされなくなります。
Amazon FSx がリンクされた S3 バケットで変更されたファイルリストを更新すると、ファイルが書き込みロックされていても、更新されたバージョンでローカルファイルが上書きされます。同様に、リンクされた S3 バケットで対応するオブジェクトが削除されたときに、Amazon FSx がファイルリストを更新すると、ファイルが書き込みロックされていても、ローカルファイルが削除されます。
Amazon FSx は、ファイルシステムを更新するために最善の努力を払います。Amazon FSx は、次の状況での変更でファイルシステムを更新できません。
+ Amazon FSx に変更または新規の S3 オブジェクトを開く許可がない場合。
+ リンクされた S3 バケットの `FSx` イベント通知設定が削除または変更された場合。
これらのいずれの場合も、データリポジトリのライフサイクルの状態は **設定ミス** になります。詳細については、「[データリポジトリのライフサイクル状態](#legacy-data-lifecycle)」を参照してください。
### 前提条件
Amazon FSx がリンクされた S3 バケットから新規、変更、または削除されたファイルを自動的にインポートするには、次の条件が必要です。
+ ファイルシステムとそれにリンクされた S3 バケットは、同じ AWS リージョンに配置する必要があります。
+ S3バケットには、誤って設定された ライフサイクル状態 はありません。詳細については、「[データリポジトリのライフサイクル状態](#legacy-data-lifecycle)」を参照してください。
+ アカウントには、リンクされた S3 バケットでイベント通知を設定および受信するために必要なアクセス許可が必要です。
### サポートされているファイル変更のタイプ
Amazon FSx では、リンクされた S3 バケットで発生するファイルおよびフォルダーへの以下の変更のインポートがサポートされています。
+ ファイル内容の変更
+ ファイルまたはフォルダのメタデータの変更
+ シンボリックリンクターゲットまたはメタデータの変更
### インポートプリファレンスの更新
新しいファイルシステムを作成するときに、ファイルシステムのインポートプリファレンスを設定できます。詳細については、「[Amazon S3 バケットにファイルシステムにリンクする](create-dra-linked-data-repo.md)」を参照してください。
次の手順に示すように、 マネジメントコンソール、 CLI、Amazon FSx API AWS を使用して AWS ファイルシステムのインポート設定を作成した後に更新することもできます。
------
#### [ Console ]
1. [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) で Amazon FSx コンソールを開きます。
1. ダッシュボードから、**[File systems]** (ファイルシステム) を選択します。
1. 管理するファイルシステムを選択し、ファイルシステムの詳細を表示します。
1. **[Data repository]** (データリポジトリ) を選択して、データリポジトリの設定を表示します。ライフサイクル状態が **[AVAILABLE]** (利用可能) または **[MISCONFIGURED]** (設定ミス) の場合は、インポートプリファレンスを変更できます。詳細については、「[データリポジトリのライフサイクル状態](#legacy-data-lifecycle)」を参照してください。
1. **[Actions]** (アクション) を選択してから、**[Update import preferences]** (インポートプリファレンスを更新) を選択して **[Update import preferences]** (インポートプリファレンスを更新) ダイアログボックスを表示します。
1. 新しい設定を選択し、**[Update]** (更新) を選択して変更を加えます。
------
#### [ CLI ]
インポートプリファレンスを更新するには、[https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html) CLI コマンドを使用します。対応する API オペレーションは [https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html) です。
ファイルシステムの `AutoImportPolicy` を正常に更新すると、Amazon FSx は更新されたファイルシステムの説明を JSON として、以下のように返します。
```
{
"FileSystems": [
{
"OwnerId": "111122223333",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"Lifecycle": "UPDATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
}
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "2:04:30"
}
}
]
}
```
------