本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # 搭配 Amazon FSx for Lustre 使用資料儲存庫 Amazon FSx for Lustre 提供針對快速工作負載處理最佳化的高效能檔案系統。它可以支援機器學習、高效能運算 (HPC)、影片處理、財務建模和電子設計自動化 (EDA) 等工作負載。這些工作負載通常需要使用可擴展的高速檔案系統界面來呈現資料，以進行資料存取。通常，用於這些工作負載的資料集會存放在 Amazon S3 的長期資料儲存庫中。FSx for Lustre 原生與 Amazon S3 整合，可讓您更輕鬆地使用Lustre檔案系統處理資料集。 **注意** 連結 Amazon S3 資料儲存庫的檔案系統不支援檔案系統備份。如需詳細資訊，請參閱[使用備份保護您的資料](using-backups-fsx.md)。 Intelligent-Tiering 檔案系統不支援連結至 Amazon S3 資料儲存庫。 **Topics** + [資料儲存庫概觀](overview-dra-data-repo.md) + [資料儲存庫的 POSIX 中繼資料支援](posix-metadata-support.md) + [將您的檔案系統連結至 Amazon S3 儲存貯體](create-dra-linked-data-repo.md) + [從資料儲存庫匯入變更](importing-files-dra.md) + [匯出變更至資料儲存庫](export-changed-data-meta-dra.md) + [資料儲存庫任務](data-repository-tasks.md) + [釋出檔案](file-release.md) + [將 Amazon FSx 與現場部署資料搭配使用](fsx-on-premises.md) + [資料儲存庫事件日誌](data-repo-event-logs.md) + [使用較舊的部署類型](older-deployment-types.md) # 資料儲存庫概觀 當您搭配 資料儲存庫使用 Amazon FSx for Lustre 時，您可以使用自動匯入和匯入資料儲存庫任務，在高效能檔案系統中擷取和處理大量檔案資料。同時，您可以使用自動匯出或匯出資料儲存庫任務，將結果寫入資料儲存庫。透過這些功能，您可以隨時使用儲存在資料儲存庫中的最新資料來重新啟動工作負載。 **注意** FSx for Lustre 2.10 檔案系統或`Scratch 1`檔案系統不提供多個資料儲存庫的資料儲存庫關聯、自動匯出和支援。 FSx for Lustre 與 Amazon S3 深度整合。此整合表示您可以從掛載 FSx for Lustre 檔案系統的應用程式無縫存取存放在 Amazon S3 儲存貯體中的物件。您也可以在 中的 Amazon EC2 執行個體上執行運算密集型工作負載， AWS 雲端 並在工作負載完成後將結果匯出至資料儲存庫。 為了存取 Amazon S3 資料儲存庫中的物件做為檔案系統的檔案和目錄，檔案和目錄中繼資料必須載入檔案系統。您可以在建立資料儲存庫關聯時，從連結的資料儲存庫載入中繼資料。 此外，您可以使用自動匯入或使用匯入資料儲存庫任務，將檔案和目錄中繼資料從連結的資料儲存庫匯入檔案系統。當您開啟資料儲存庫關聯的自動匯入時，您的檔案系統會在 S3 資料儲存庫中建立、修改和/或刪除檔案時自動匯入檔案中繼資料。或者，您可以使用匯入資料儲存庫任務，匯入新檔案和目錄的中繼資料。 **注意** 自動匯入和匯入資料儲存庫任務可以同時用於檔案系統。 您也可以使用自動匯出或使用匯出資料儲存庫任務，將檔案和檔案系統中相關聯的中繼資料匯出至資料儲存庫。當您開啟資料儲存庫關聯的自動匯出時，檔案系統會在建立、修改或刪除檔案時自動匯出檔案資料和中繼資料。或者，您可以使用匯出資料儲存庫任務匯出檔案或目錄。當您使用匯出資料儲存庫任務時，系統會匯出自上次此類任務以來建立或修改的檔案資料和中繼資料。 **注意** 自動匯出和匯出資料儲存庫任務無法同時用於檔案系統。 資料儲存庫關聯只會匯出一般檔案、符號連結和目錄。這表示所有其他類型的檔案 (FIFO 特殊、區塊特殊、角色特殊和通訊端） 不會匯出為匯出程序的一部分，例如自動匯出和匯出資料儲存庫任務。 FSx for Lustre 也支援使用內部部署檔案系統的雲端爆量工作負載，可讓您使用 Direct Connect 或 VPN 從內部部署用戶端複製資料。 **重要** 如果您已將一或多個 FSx for Lustre 檔案系統連結至 Amazon S3 上的資料儲存庫，在您刪除或取消連結所有連結的檔案系統之前，請不要刪除 Amazon S3 儲存貯體。 ## 連結 S3 儲存貯體的區域和帳戶支援 當您建立 S3 儲存貯體的連結時，請記住下列區域和帳戶支援限制： + 自動匯出支援跨區域組態。Amazon FSx 檔案系統和連結的 S3 儲存貯體可以位於相同 AWS 區域 或不同的 。 AWS 區域 + 自動匯入不支援跨區域組態。Amazon FSx 檔案系統和連結的 S3 儲存貯體必須位於相同的 中 AWS 區域。 + 自動匯出和自動匯入都支援跨帳戶組態。Amazon FSx 檔案系統和連結的 S3 儲存貯體可以屬於相同 AWS 帳戶 或不同的 AWS 帳戶。 # 資料儲存庫的 POSIX 中繼資料支援 Amazon FSx for Lustre 會在匯入和匯出 Amazon S3 上連結資料儲存庫的資料時，自動傳輸檔案、目錄和符號連結 （符號連結） 的可攜式作業系統界面 (POSIX) 中繼資料。當您將檔案系統中的變更匯出至其連結的資料儲存庫時，FSx for Lustre 也會將 POSIX 中繼資料變更匯出為 S3 物件中繼資料。這表示如果另一個 FSx for Lustre 檔案系統從 S3 匯入相同的檔案，則檔案在該檔案系統中會有相同的 POSIX 中繼資料，包括擁有權和許可。 FSx for Lustre 只會匯入具有 POSIX 相容物件金鑰的 S3 物件，如下所示。 ``` mydir/ mydir/myfile1 mydir/mysubdir/ mydir/mysubdir/myfile2.txt ``` FSx for Lustre 會將目錄和符號連結儲存為 S3 上連結資料儲存庫中的個別物件，對於目錄，FSx for Lustre 會使用以斜線 ("/") 結尾的金鑰名稱建立 S3 物件，如下所示： + S3 物件金鑰會`mydir/`映射至 FSx for Lustre 目錄 `mydir/`。 + S3 物件金鑰會`mydir/mysubdir/`映射至 FSx for Lustre 目錄 `mydir/mysubdir/`。 對於符號連結，FSx for Lustre 使用以下 Amazon S3 結構描述： + **S3 物件金鑰** – 連結的路徑，相對於 FSx for Lustre 掛載目錄 + **S3 物件資料** – 此符號連結的目標路徑 + **S3 物件中繼資料** – symlink 的中繼資料 FSx for Lustre 會將 POSIX 中繼資料，包括檔案、目錄和符號連結的所有權、許可和時間戳記儲存在 S3 物件中，如下所示： + `Content-Type` – 用來表示 Web 瀏覽器資源媒體類型的 HTTP 實體標頭。 + `x-amz-meta-file-permissions` – 格式的檔案類型和許可``，與 [Linux stat(2) 手冊頁面](https://man7.org/linux/man-pages/man2/lstat.2.html)`st_mode`中的一致。 **注意** FSx for Lustre 不會匯入或保留`setuid`資訊。 + `x-amz-meta-file-owner` – 以整數表示的擁有者使用者 ID (UID)。 + `x-amz-meta-file-group` – 以整數表示的群組 ID (GID)。 + `x-amz-meta-file-atime` – 自 Unix epoch 開始以來上次存取的時間，以奈秒為單位。使用 終止時間值`ns`；否則 FSx for Lustre 會將該值解譯為毫秒。 + `x-amz-meta-file-mtime` – 自上次修改後的時間，以奈秒為單位。使用 終止時間值`ns`；否則，FSx for Lustre 會將該值解譯為毫秒。 + `x-amz-meta-user-agent` – 在 FSx for Lustre 匯入期間忽略的使用者代理程式。在匯出期間，FSx for Lustre 會將此值設定為 `aws-fsx-lustre`。 從沒有相關聯 POSIX 許可的 S3 匯入物件時，FSx for Lustre 指派給檔案的預設 POSIX 許可為 `755`。此許可允許所有使用者的讀取和執行存取權，以及檔案擁有者的寫入存取權。 **注意** FSx for Lustre 不會在 S3 物件上保留任何使用者定義的自訂中繼資料。 # 硬連結和匯出至 Amazon S3 如果在檔案系統中的 DRA 上啟用自動匯出 （使用 NEW 和 CHANGED 政策），則 DRA 中包含的每個硬連結都會匯出至 Amazon S3，做為每個硬連結的個別 S3 物件。如果在檔案系統上修改具有多個硬連結的檔案，則無論變更檔案時使用哪個硬連結，S3 中的所有副本都會更新。 如果使用資料儲存庫任務 (DRTs) 將硬連結匯出至 S3，則 DRT 指定路徑中包含的每個硬連結都會匯出至 S3，做為每個硬連結的個別 S3 物件。如果在檔案系統上修改具有多個硬連結的檔案，則 S3 中的每個副本都會在匯出個別硬連結時更新，無論變更檔案時使用哪個硬連結。 **重要** 當新的 FSx for Lustre 檔案系統連結至先前由另一個 FSx for Lustre 檔案系統、 AWS DataSync或 Amazon FSx 檔案閘道匯出硬連結的 S3 儲存貯體時，硬連結隨後會在新的檔案系統上匯入為個別檔案。 ## 硬連結和發行的檔案 發行的檔案是中繼資料存在於檔案系統中，但其內容僅存放在 S3 中的檔案。如需已發行檔案的詳細資訊，請參閱 [釋出檔案](file-release.md)。 **重要** 在具有資料儲存庫關聯 (DRAs) 的檔案系統中使用硬連結受下列限制： 刪除和重新建立具有多個硬連結的發行檔案，可能會導致覆寫所有硬連結的內容。 刪除發行的檔案會從資料儲存庫關聯以外的所有硬連結刪除內容。 建立已發行檔案的硬連結，其對應的 S3 物件位於任一 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別中，將不會為硬連結在 S3 中建立新的物件。 # 逐步解說：將物件上傳至 Amazon S3 儲存貯體時連接 POSIX 許可 下列程序會逐步引導您使用 POSIX 許可將物件上傳至 Amazon S3 的程序。這樣做可讓您在建立連結至該 S3 儲存貯體的 Amazon FSx 檔案系統時匯入 POSIX 許可。 **將具有 POSIX 許可的物件上傳至 Amazon S3** 1. 從本機電腦或機器，使用下列範例命令來建立測試目錄 (`s3cptestdir`) 和檔案 (`s3cptest.txt`)，以上傳至 S3 儲存貯體。 ``` $ mkdir s3cptestdir $ echo "S3cp metadata import test" >> s3cptestdir/s3cptest.txt $ ls -ld s3cptestdir/ s3cptestdir/s3cptest.txt drwxr-xr-x 3 500 500 96 Jan 8 11:29 s3cptestdir/ -rw-r--r-- 1 500 500 26 Jan 8 11:29 s3cptestdir/s3cptest.txt ``` 新建立的檔案和目錄具有檔案擁有者使用者 ID (UID) 和群組 ID (GID) 500 和許可，如上述範例所示。 1. 呼叫 Amazon S3 API 以建立`s3cptestdir`具有中繼資料許可的目錄。您必須以斜線 () 指定目錄名稱`/`。如需有關支援的 POSIX 中繼資料的資訊，請參閱 [資料儲存庫的 POSIX 中繼資料支援](posix-metadata-support.md)。 `bucket_name` 將 取代為 S3 儲存貯體的實際名稱。 ``` $ aws s3api put-object --bucket bucket_name --key s3cptestdir/ --metadata '{"user-agent":"aws-fsx-lustre" , \ "file-atime":"1595002920000000000ns" , "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , \ "file-mtime":"1595002920000000000ns"}' ``` 1. 確認 POSIX 許可已標記至 S3 物件中繼資料。 ``` $ aws s3api head-object --bucket bucket_name --key s3cptestdir/ { "AcceptRanges": "bytes", "LastModified": "Fri, 08 Jan 2021 17:32:27 GMT", "ContentLength": 0, "ETag": "\"d41d8cd98f00b204e9800998ecf8427e\"", "VersionId": "bAlhCoWq7aIEjc3R6Myc6UOb8sHHtJkR", "ContentType": "binary/octet-stream", "Metadata": { "user-agent": "aws-fsx-lustre", "file-atime": "1595002920000000000ns", "file-owner": "500", "file-permissions": "0100664", "file-group": "500", "file-mtime": "1595002920000000000ns" } } ``` 1. 將測試檔案 （在步驟 1 中建立） 從您的電腦上傳到具有中繼資料許可的 S3 儲存貯體。 ``` $ aws s3 cp s3cptestdir/s3cptest.txt s3://bucket_name/s3cptestdir/s3cptest.txt \ --metadata '{"user-agent":"aws-fsx-lustre" , "file-atime":"1595002920000000000ns" , \ "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , "file-mtime":"1595002920000000000ns"}' ``` 1. 確認 POSIX 許可已標記至 S3 物件中繼資料。 ``` $ aws s3api head-object --bucket bucket_name --key s3cptestdir/s3cptest.txt { "AcceptRanges": "bytes", "LastModified": "Fri, 08 Jan 2021 17:33:35 GMT", "ContentLength": 26, "ETag": "\"eb33f7e1f44a14a8e2f9475ae3fc45d3\"", "VersionId": "w9ztRoEhB832m8NC3a_JTlTyIx7Uzql6", "ContentType": "text/plain", "Metadata": { "user-agent": "aws-fsx-lustre", "file-atime": "1595002920000000000ns", "file-owner": "500", "file-permissions": "0100664", "file-group": "500", "file-mtime": "1595002920000000000ns" } } ``` 1. 驗證連結至 S3 儲存貯體之 Amazon FSx 檔案系統的許可。 ``` $ sudo lfs df -h /fsx UUID bytes Used Available Use% Mounted on 3rnxfbmv-MDT0000_UUID 34.4G 6.1M 34.4G 0% /fsx[MDT:0] 3rnxfbmv-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0] filesystem_summary: 1.1T 4.5M 1.1T 0% /fsx $ cd /fsx/s3cptestdir/ $ ls -ld s3cptestdir/ drw-rw-r-- 2 500 500 25600 Jan 8 17:33 s3cptestdir/ $ ls -ld s3cptestdir/s3cptest.txt -rw-rw-r-- 1 500 500 26 Jan 8 17:33 s3cptestdir/s3cptest.txt ``` `s3cptestdir` 目錄和 `s3cptest.txt` 檔案都已匯入 POSIX 許可。 # 將您的檔案系統連結至 Amazon S3 儲存貯體 您可以將 Amazon FSx for Lustre 檔案系統連結至 Amazon S3 中的資料儲存庫。您可以在建立檔案系統時或建立檔案系統之後隨時建立連結。 檔案系統上目錄與 S3 儲存貯體或字首之間的連結稱為*資料儲存庫關聯 (DRA)*。您可以在 FSx for Lustre 檔案系統上設定最多 8 個資料儲存庫關聯。最多可將 8 個 DRA 請求排入佇列，但檔案系統一次只能處理一個請求。每個 DRA 必須具有唯一的 FSx for Lustre 檔案系統目錄，以及與其相關聯的唯一 S3 儲存貯體或字首。 **注意** FSx for Lustre 2.10 檔案系統或`Scratch 1`檔案系統不提供多個資料儲存庫的資料儲存庫關聯、自動匯出和支援。 為了存取 S3 資料儲存庫上的物件做為檔案系統的檔案和目錄，檔案和目錄中繼資料必須載入檔案系統。當您為稍後使用 FSx for Lustre 檔案系統存取的檔案和目錄批次建立 DRA 或載入中繼資料時，您可以使用匯入資料儲存庫任務從連結的資料儲存庫載入中繼資料，或使用自動匯出，在從資料儲存庫新增、變更或刪除物件時自動載入中繼資料。 您可以將 DRA 設定為僅限自動匯入、僅限自動匯出，或同時設定兩者。使用自動匯入和自動匯出設定的資料儲存庫關聯會在檔案系統和連結的 S3 儲存貯體之間雙向傳播資料。當您變更 S3 資料儲存庫中的資料時，FSx for Lustre 會偵測變更，然後自動將變更匯入檔案系統。當您建立、修改或刪除檔案時，一旦應用程式完成修改檔案，FSx for Lustre 會自動以非同步方式將變更匯出至 Amazon S3。 **重要** 如果您在檔案系統和 S3 儲存貯體中修改相同的檔案，您應該確保應用程式層級協調，以防止衝突。FSx for Lustre 無法防止多個位置中的寫入衝突。 對於標記不可變屬性的檔案，FSx for Lustre 無法同步 FSx for Lustre 檔案系統與連結至檔案系統的 S3 儲存貯體之間的變更。長時間設定不可變旗標可能會導致 Amazon FSx 和 S3 之間的資料移動效能降低。 建立資料儲存庫關聯時，您可以設定下列屬性： + **檔案系統路徑** – 在檔案系統上輸入本機路徑，該路徑指向將與以下指定資料儲存庫路徑one-to-one映射的目錄 （例如 `/ns1/`) 或子目錄 （例如 `/ns1/subdir/`)。名稱需要以正斜線開頭。兩個資料儲存庫關聯的檔案系統路徑不可重疊。例如，如果某個資料儲存庫已經與檔案系統路徑 `/ns1` 建立關聯，則您無法將其他資料儲存庫連結到檔案系統路徑 `/ns1/ns2`。 **注意** 如果您僅指定一個正斜線 (`/`) 作為檔案系統路徑，則只能將一個資料儲存庫連結至檔案系統。您只能指定 "/" 作為與檔案系統關聯的第一個資料儲存庫的檔案系統路徑。 + **資料儲存庫路徑** – 在 S3 資料儲存庫中輸入路徑。路徑可以是 S3 儲存貯體或字首，格式為 `s3://bucket-name/prefix/`。此屬性指定 S3 資料儲存庫檔案中要從何處匯入或匯出。如果您沒有提供資料儲存庫路徑，FSx for Lustre 會將結尾 "/" 附加至您的資料儲存庫路徑。例如，如果您提供 的資料儲存庫路徑`s3://amzn-s3-demo-bucket/my-prefix`，FSx for Lustre 會將其解譯為 `s3://amzn-s3-demo-bucket/my-prefix/`。 兩個資料儲存庫關聯不能有重疊的資料儲存庫路徑。例如，如果具有路徑 的資料儲存庫`s3://amzn-s3-demo-bucket/my-prefix/`連結至檔案系統，則無法建立與資料儲存庫路徑 的其他資料儲存庫關聯`s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix`。 + **從儲存庫匯入中繼資料** – 您可以在建立資料儲存庫關聯後立即選取此選項，從整個資料儲存庫匯入中繼資料。或者，您可以在建立資料儲存庫關聯之後，隨時執行匯入資料儲存庫任務，以從連結的資料儲存庫將全部或部分中繼資料載入檔案系統。 + **匯入設定** – 選擇匯入政策，指定將從連結的 S3 儲存貯體自動匯入至檔案系統的更新物件類型 （任何新物件、變更物件和已刪除物件的組合）。當您從主控台新增資料儲存庫時，預設會開啟自動匯入 （新增、變更、刪除），但在使用 AWS CLI 或 Amazon FSx API 時，預設會停用。 + **匯出設定** – 選擇匯出政策，指定將自動匯出至 S3 儲存貯體的更新物件類型 （任何新物件、變更物件和已刪除物件的組合）。當您從主控台新增資料儲存庫時，預設會開啟自動匯出 （新增、變更、刪除），但在使用 AWS CLI 或 Amazon FSx API 時，預設會停用。 **檔案系統路徑**和**資料儲存庫路徑**設定可在 Amazon FSx 中的路徑和 S3 中的物件索引鍵之間提供 1：1 映射。 **Topics** + [建立 S3 儲存貯體的連結](create-linked-dra.md) + [更新資料儲存庫關聯設定](update-dra-settings.md) + [刪除與 S3 儲存貯體的關聯](delete-linked-dra.md) + [檢視資料儲存庫關聯詳細資訊](view-dra-details.md) + [資料儲存庫關聯生命週期狀態](dra-lifecycles.md) + [使用伺服器端加密的 Amazon S3 儲存貯體](s3-server-side-encryption-support.md) # 建立 S3 儲存貯體的連結 下列程序會逐步引導您使用 AWS 管理主控台 和 AWS Command Line Interface ()，為 FSx for Lustre 檔案系統建立與現有 S3 儲存貯體的資料儲存庫關聯AWS CLI。如需新增許可至 S3 儲存貯體以將其連結至檔案系統的詳細資訊，請參閱 [新增在 Amazon S3 中使用資料儲存庫的許可](setting-up.md#fsx-adding-permissions-s3)。 **注意** 資料儲存庫無法連結至已啟用檔案系統備份的檔案系統。在連結至資料儲存庫之前停用備份。 ## 在建立檔案系統時連結 S3 儲存貯體 （主控台） 1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台。 1. 遵循 入門一節[步驟 1：建立 FSx for Lustre 檔案系統](getting-started.md#getting-started-step1)中所述建立新檔案系統的程序。 1. 開啟**資料儲存庫匯入/匯出 - *選用***區段。此功能預設為停用。 1. 選擇**從 匯入資料並將資料匯出至 S3**。 1. 在**資料儲存庫關聯資訊**對話方塊中，提供下列欄位的資訊。 + **檔案系統路徑**：在將與 S3 資料儲存庫相關聯的 Amazon FSx 檔案系統中，輸入高階目錄 （例如 `/ns1`) 或子目錄 （例如 `/ns1/subdir`) 的名稱。路徑中的正斜線為必要項目。兩個資料儲存庫關聯的檔案系統路徑不可重疊。例如，如果某個資料儲存庫已經與檔案系統路徑 `/ns1` 建立關聯，則您無法將其他資料儲存庫連結到檔案系統路徑 `/ns1/ns2`。**檔案系統路徑**設定在檔案系統的所有資料儲存庫關聯中必須是唯一的。 + **資料儲存庫路徑**：輸入要與您的檔案系統建立關聯的現有 S3 儲存貯體或字首路徑 （例如 `s3://amzn-s3-demo-bucket/my-prefix`)。兩個資料儲存庫關聯不能有重疊的資料儲存庫路徑。**資料儲存庫路徑**設定在檔案系統的所有資料儲存庫關聯中必須是唯一的。 + **從儲存庫匯入中繼資料**：選取此屬性可選擇性地執行匯入資料儲存庫任務，以在建立連結後立即匯入中繼資料。 1. 對於**匯入設定 - 選用**，請設定**匯入政策**，以決定在新增、變更或刪除 S3 儲存貯體中的物件時，檔案和目錄清單如何保持最新狀態。例如，針對在 S3 儲存貯體中建立的新物件，選擇**新增**以將中繼資料匯入檔案系統。如需匯入政策的詳細資訊，請參閱 [從 S3 儲存貯體自動匯入更新](autoimport-data-repo-dra.md)。 1. 對於**匯出政策**，請設定匯出政策，以決定在新增、變更或刪除檔案系統中的物件時，如何將檔案匯出至連結的 S3 儲存貯體。例如，選擇**變更**以匯出檔案系統上內容或中繼資料已變更的物件。如需匯出政策的詳細資訊，請參閱 [自動匯出更新到您的 S3 儲存貯體](autoexport-data-repo-dra.md)。 1. 繼續執行檔案系統建立精靈的下一節。 ## 將 S3 儲存貯體連結至現有的檔案系統 （主控台） 1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台。 1. 從儀表板中，選擇**檔案系統**，然後選擇您要為其建立資料儲存庫關聯的檔案系統。 1. 選擇**資料儲存庫**索引標籤。 1. 在**資料儲存庫關聯**窗格中，選擇**建立資料儲存庫關聯**。 1. 在**資料儲存庫關聯資訊**對話方塊中，提供下列欄位的資訊。 + **檔案系統路徑**：在將與 S3 資料儲存庫相關聯的 Amazon FSx 檔案系統中，輸入高階目錄 （例如 `/ns1`) 或子目錄 （例如 `/ns1/subdir`) 的名稱。路徑中的正斜線為必要項目。兩個資料儲存庫關聯的檔案系統路徑不可重疊。例如，如果某個資料儲存庫已經與檔案系統路徑 `/ns1` 建立關聯，則您無法將其他資料儲存庫連結到檔案系統路徑 `/ns1/ns2`。**檔案系統路徑**設定在檔案系統的所有資料儲存庫關聯中必須是唯一的。 + **資料儲存庫路徑**：輸入要與您的檔案系統建立關聯的現有 S3 儲存貯體或字首路徑 （例如 `s3://amzn-s3-demo-bucket/my-prefix`)。兩個資料儲存庫關聯不能有重疊的資料儲存庫路徑。**資料儲存庫路徑**設定在檔案系統的所有資料儲存庫關聯中必須是唯一的。 + **從儲存庫匯入中繼資料**：選取此屬性可選擇性地執行匯入資料儲存庫任務，以在建立連結後立即匯入中繼資料。 1. 對於**匯入設定 - 選用**，請設定**匯入政策**，以決定在新增、變更或刪除 S3 儲存貯體中的物件時，檔案和目錄清單如何保持最新狀態。例如，針對在 S3 儲存貯體中建立的新物件，選擇**新增**以將中繼資料匯入檔案系統。如需匯入政策的詳細資訊，請參閱 [從 S3 儲存貯體自動匯入更新](autoimport-data-repo-dra.md)。 1. 對於**匯出政策**，請設定匯出政策，以決定當您在檔案系統中新增、變更或刪除物件時，如何將檔案匯出至連結的 S3 儲存貯體。例如，選擇**變更**以匯出檔案系統上內容或中繼資料已變更的物件。如需匯出政策的詳細資訊，請參閱 [自動匯出更新到您的 S3 儲存貯體](autoexport-data-repo-dra.md)。 1. 選擇**建立**。 ## 將檔案系統連結至 S3 儲存貯體 (AWS CLI) 下列範例會建立將 Amazon FSx 檔案系統連結至 S3 儲存貯體的資料儲存庫關聯，其中包含將任何新檔案或變更檔案匯入檔案系統的匯入政策，以及將新檔案、變更檔案或刪除檔案匯出至連結 S3 儲存貯體的匯出政策。 + 若要建立資料儲存庫關聯，請使用 Amazon FSx CLI 命令 `create-data-repository-association`，如下所示。 ``` $ aws fsx create-data-repository-association \ --file-system-id fs-0123456789abcdef0 \ --file-system-path /ns1/path1/ \ --data-repository-path s3://amzn-s3-demo-bucket/myprefix/ \ --s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}" ``` Amazon FSx 會立即傳回 DRA 的 JSON 描述。DRA 是以非同步方式建立。 即使檔案系統完成建立之前，您也可以使用此命令來建立資料儲存庫關聯。請求將排入佇列，並在檔案系統可用後建立資料儲存庫關聯。 # 更新資料儲存庫關聯設定 您可以使用 AWS 管理主控台、 AWS CLI和 Amazon FSx API 更新現有的資料儲存庫關聯設定，如下列程序所示。 **注意** 您無法在建立 DRA 之後更新 DRA `Data repository path` 的 `File system path`或 。如果您想要變更 `File system path`或 `Data repository path`，您必須刪除 DRA 並再次建立。 ## 更新現有資料儲存庫關聯的設定 （主控台） 1. 開啟位於 https：//[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) 的 Amazon FSx 主控台。 1. 從儀表板選擇**檔案系統**，然後選取您要管理的檔案系統。 1. 選擇**資料儲存庫**索引標籤。 1. 在**資料儲存庫關聯**窗格中，選擇您要變更的資料儲存庫關聯。 1. 選擇**更新**。此時會顯示資料儲存庫關聯的編輯對話方塊。 1. 對於**匯入設定 - 選用**，您可以更新**匯入政策**。如需匯入政策的詳細資訊，請參閱 [從 S3 儲存貯體自動匯入更新](autoimport-data-repo-dra.md)。 1. 對於**匯出設定 - 選用**，您可以更新匯出政策。如需匯出政策的詳細資訊，請參閱 [自動匯出更新到您的 S3 儲存貯體](autoexport-data-repo-dra.md)。 1. 選擇**更新**。 ## 更新現有資料儲存庫關聯的設定 (CLI) + 若要更新資料儲存庫關聯，請使用 Amazon FSx CLI 命令 `update-data-repository-association`，如下所示。 ``` $ aws fsx update-data-repository-association \ --association-id 'dra-872abab4b4503bfc2' \ --s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}" ``` 成功更新資料儲存庫關聯的匯入和匯出政策後，Amazon FSx 會將更新的資料儲存庫關聯描述傳回為 JSON。 # 刪除與 S3 儲存貯體的關聯 下列程序會逐步引導您使用 AWS 管理主控台 和 AWS Command Line Interface ()，從現有的 Amazon FSx 檔案系統刪除資料儲存庫關聯至現有的 S3 儲存貯體AWS CLI。刪除資料儲存庫關聯會取消檔案系統與 S3 儲存貯體的連結。 ## 刪除檔案系統到 S3 儲存貯體的連結 （主控台） 1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台。 1. 從儀表板中，選擇**檔案系統**，然後選擇您要從中刪除資料儲存庫關聯的檔案系統。 1. 選擇**資料儲存庫**索引標籤。 1. 在**資料儲存庫關聯**窗格中，選擇您要刪除的資料儲存庫關聯。 1. 針對**動作**，選擇**刪除關聯**。 1. 在**刪除**對話方塊中，您可以選擇**刪除檔案系統中的資料**，以實際刪除與資料儲存庫關聯對應的檔案系統中的資料。 如果您打算使用相同的檔案系統路徑建立新的資料儲存庫關聯，但指向不同的 S3 儲存貯體字首，或者您不再需要檔案系統中的資料，請選擇此選項。 1. 選擇**刪除**，從檔案系統移除資料儲存庫關聯。 ## 刪除檔案系統到 S3 儲存貯體的連結 (AWS CLI) 下列範例會刪除將 Amazon FSx 檔案系統連結至 S3 儲存貯體的資料儲存庫關聯。`--association-id` 參數指定要刪除的資料儲存庫關聯的 ID。 + 若要刪除資料儲存庫關聯，請使用 Amazon FSx CLI 命令 `delete-data-repository-association`，如下所示。 ``` $ aws fsx delete-data-repository-association \ --association-id dra-872abab4b4503bfc \ --delete-data-in-file-system false ``` 成功刪除資料儲存庫關聯後，Amazon FSx 會將其描述傳回為 JSON。 **使用相同的檔案系統路徑重新建立 DRAs** 我們不建議刪除和重新建立使用相同檔案系統路徑的資料儲存庫關聯。如果您刪除 DRA 並稍後使用相同的檔案系統路徑建立新的 DRA，某些檔案可能會保留先前已刪除 DRA 的 HSM 狀態。 如果您需要從先前刪除的 DRA 管理的重新建立 DRA 匯出檔案，則需要使用下列命令將這些檔案標記為髒，然後執行匯出資料儲存庫任務： ``` sudo lfs hsm_set --dirty file_path ``` # 檢視資料儲存庫關聯詳細資訊 您可以使用 FSx for Lustre 主控台 AWS CLI、 和 API 來檢視資料儲存庫關聯的詳細資訊。詳細資訊包括 DRA 的關聯 ID、檔案系統路徑、資料儲存庫路徑、匯入設定、匯出設定、狀態及其相關聯檔案系統的 ID。 ## 檢視 DRA 詳細資訊 （主控台） 1. 開啟位於 https：//[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) 的 Amazon FSx 主控台。 1. 從儀表板中，選擇**檔案系統**，然後選擇您要檢視資料儲存庫關聯詳細資訊的檔案系統。 1. 選擇**資料儲存庫**索引標籤。 1. 在**資料儲存庫關聯**窗格中，選擇您要檢視的資料儲存庫關聯。**摘要**頁面隨即出現，顯示 DRA 詳細資訊。 ![\[資料儲存庫關聯的 Amazon FSx 詳細資訊頁面。\]](http://docs.aws.amazon.com/zh_tw/fsx/latest/LustreGuide/images/dra-describe.png) ## 檢視 DRA 詳細資訊 (CLI) + 若要檢視特定資料儲存庫關聯的詳細資訊，請使用 Amazon FSx CLI 命令 `describe-data-repository-associations`，如下所示。 ``` $ aws fsx describe-data-repository-associations \ --association-ids dra-872abab4b4503bfc2 ``` Amazon FSx 會將資料儲存庫關聯的描述傳回為 JSON。 # 資料儲存庫關聯生命週期狀態 資料儲存庫關聯生命週期狀態提供特定 DRA 的狀態資訊。資料儲存庫關聯可以具有下列**生命週期狀態**： + **建立** – Amazon FSx 正在建立檔案系統和連結資料儲存庫之間的資料儲存庫關聯。資料儲存庫無法使用。 + **可用** – 資料儲存庫關聯可供使用。 + **更新** – 資料儲存庫關聯正在進行客戶啟動的更新，這可能會影響其可用性。 + **刪除** – 資料儲存庫關聯正在進行客戶起始的刪除。 + **設定錯誤** – 在更正資料儲存庫關聯組態之前，Amazon FSx 無法自動從 S3 儲存貯體匯入更新，也無法自動將更新匯出至 S3 儲存貯體。 DRA 可能會因為下列原因而設定**錯誤**： + Amazon FSx 缺少存取 S3 儲存貯體所需的 IAM 許可。 + S3 儲存貯體上的 FSx 事件通知組態已刪除或修改。 + S3 儲存貯體具有與 FSx 事件類型重疊的現有事件通知。 解決基礎問題後，DRA 會在 15 分鐘內自動返回**可用**狀態，或者您可以使用 AWS CLI 命令 [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html) 立即觸發狀態變更。 + **失敗** – 資料儲存庫關聯處於無法復原的終端狀態 （例如，因為刪除其檔案系統路徑或刪除 S3 儲存貯體）。 您可以使用 Amazon FSx 主控台、 AWS Command Line Interface和 Amazon FSx API 檢視資料儲存庫關聯的生命週期狀態。如需詳細資訊，請參閱[檢視資料儲存庫關聯詳細資訊](view-dra-details.md)。 # 使用伺服器端加密的 Amazon S3 儲存貯體 FSx for Lustre 支援使用伺服器端加密搭配 S3-managed3 受管金鑰 (SSE-S3) 以及預存於 (SSE-KMS) 的 Amazon S3 儲存貯體。 AWS KMS keys AWS Key Management Service 如果您希望 Amazon FSx 在寫入 S3 儲存貯體時加密資料，您需要將 S3 儲存貯體上的預設加密設定為 SSE-S3 或 SSE-KMS。如需詳細資訊，請參閱《*Amazon S3 使用者指南*》中的[設定預設加密](https://docs.aws.amazon.com/AmazonS3/latest/userguide/default-bucket-encryption.html)。將檔案寫入 S3 儲存貯體時，Amazon FSx 會遵循 S3 儲存貯體的預設加密政策。 根據預設，Amazon FSx 支援使用 SSE-S3 加密的 S3 儲存貯體。如果您想要將 Amazon FSx 檔案系統連結至使用 S3-KMS 加密的 S3 儲存貯體，您需要將陳述式新增至客戶受管金鑰政策，以允許 Amazon FSx 使用您的 KMS 金鑰加密和解密 S3 儲存貯體中的物件。 下列陳述式允許特定 Amazon FSx 檔案系統加密和解密特定 S3 儲存貯體 *bucket\$1name* 的物件。 ``` { "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*", "Condition": { "StringEquals": { "kms:CallerAccount": "aws_account_id", "kms:ViaService": "s3.bucket-region.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*" } } } ``` **注意** 如果您使用 KMS 搭配 CMK 來加密已啟用 S3 儲存貯體金鑰的 S3 儲存貯體，請將 `EncryptionContext` 設定為儲存貯體 ARN，而非物件 ARN，如本範例所示： ``` "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name" } ``` 下列政策陳述式允許帳戶中的所有 Amazon FSx 檔案系統連結至特定的 S3 儲存貯體。 ``` { "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*", "Condition": { "StringEquals": { "kms:ViaService": "s3.bucket-region.amazonaws.com", "kms:CallerAccount": "aws_account_id" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*" }, "ArnLike": { "aws:PrincipalArn": "arn:aws_partition:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fs-*" } } } ``` ## 存取不同 AWS 帳戶 或共用 VPC 中的伺服器端加密 Amazon S3 儲存貯體 建立連結至加密 Amazon S3 儲存貯體的 FSx for Lustre 檔案系統之後，您必須授予`AWSServiceRoleForFSxS3Access_fs-01234567890`服務連結角色 (SLR) 存取用於加密 S3 儲存貯體的 KMS 金鑰，才能從連結的 S3 儲存貯體讀取或寫入資料。您可以使用已具有 KMS 金鑰許可的 IAM 角色。 **注意** 此 IAM 角色必須位於建立 FSx for Lustre 檔案系統的帳戶中 （與 S3 SLR 是相同的帳戶），而不是 KMS 金鑰/S3 儲存貯體所屬的帳戶。 您可以使用 IAM 角色呼叫下列 AWS KMS API 來建立 S3 SLR 的授予，以便 SLR 取得 S3 物件的許可。若要尋找與 SLR 相關聯的 ARN，請使用檔案系統 ID 做為搜尋字串來搜尋 IAM 角色。 ``` $ aws kms create-grant --region fs_account_region \ --key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \ --grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \ --operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo" ``` 如需服務連結角色的詳細資訊，請參閱[使用 Amazon FSx 的服務連結角色](using-service-linked-roles.md)。 # 從資料儲存庫匯入變更 您可以將資料和 POSIX 中繼資料的變更從連結的資料儲存庫匯入 Amazon FSx 檔案系統。關聯的 POSIX 中繼資料包括擁有權、許可和時間戳記。 若要將變更匯入檔案系統，請使用下列其中一種方法： + 設定您的檔案系統，以自動從連結的資料儲存庫匯入新的、已變更或刪除的檔案。如需詳細資訊，請參閱[從 S3 儲存貯體自動匯入更新](autoimport-data-repo-dra.md)。 + 選取當您建立資料儲存庫關聯時匯入中繼資料的選項。這將在建立資料儲存庫關聯後立即啟動匯入資料儲存庫任務。 + 使用隨需匯入資料儲存庫任務。如需詳細資訊，請參閱[使用資料儲存庫任務匯入變更](import-data-repo-task-dra.md)。 自動匯入和匯入資料儲存庫任務可以同時執行。 當您開啟資料儲存庫關聯的自動匯入時，您的檔案系統會在 S3 中建立、修改或刪除物件時自動更新檔案中繼資料。當您選取在建立資料儲存庫關聯時匯入中繼資料的選項時，您的檔案系統會匯入資料儲存庫中所有物件的中繼資料。當您使用匯入資料儲存庫任務匯入 時，檔案系統只會匯入自上次匯入後所建立或修改之物件的中繼資料。 FSx for Lustre 會自動從資料儲存庫複製檔案的內容，並在應用程式第一次存取檔案系統中的檔案時將其載入檔案系統。此資料移動是由 FSx for Lustre 管理，對您的應用程式來說是透明的。這些檔案的後續讀取會直接從具有低於毫秒延遲的檔案系統提供。 您也可以預先載入整個檔案系統或檔案系統中的目錄。如需詳細資訊，請參閱[將檔案預先載入您的檔案系統](preload-file-contents-hsm-dra.md)。如果您同時請求預先載入多個檔案，FSx for Lustre 會從 Amazon S3 資料儲存庫平行載入檔案。 FSx for Lustre 只會匯入具有 POSIX 相容物件金鑰的 S3 物件。自動匯入和匯入資料儲存庫任務都會匯入 POSIX 中繼資料。如需詳細資訊，請參閱[資料儲存庫的 POSIX 中繼資料支援](posix-metadata-support.md)。 **注意** FSx for Lustre 不支援從 S3 Glacier Flexible Retrieval 和 S3 Glacier Deep Archive 儲存類別匯入符號連結 （符號連結） 的中繼資料。可以匯入非符號連結之 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 物件的中繼資料 （也就是說，在 FSx for Lustre 檔案系統上建立具有正確中繼資料的 inode)。不過，若要從檔案系統讀取此資料，您必須先還原 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 物件。不支援將檔案資料直接從 S3Amazon S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別中的 Amazon S3 物件匯入 FSx for Lustre。 # 從 S3 儲存貯體自動匯入更新 您可以設定 FSx for Lustre，在從 S3 儲存貯體新增、變更或刪除物件時自動更新檔案系統中的中繼資料。FSx for Lustre 會建立、更新或刪除對應於 S3 中變更的檔案和目錄清單。如果 S3 儲存貯體中變更的物件不再包含其中繼資料，FSx for Lustre 會維護檔案目前的中繼資料值，包括目前的許可。 **注意** FSx for Lustre 檔案系統和連結的 S3 儲存貯體必須位於相同的 中 AWS 區域 ，才能自動匯入更新。 您可以在建立資料儲存庫關聯時設定自動匯入，而且您可以隨時使用 FSx 管理主控台 AWS CLI、 或 AWS API 更新自動匯入設定。 **注意** 您可以在相同的資料儲存庫關聯上設定自動匯入和自動匯出。本主題僅說明自動匯入功能。 **重要** 如果在 S3 中修改物件並啟用所有自動匯入政策，且自動匯出已停用，則該物件的內容一律會匯入檔案系統中的對應檔案。如果檔案已存在於目標位置，則會覆寫檔案。 如果在檔案系統和 S3 中修改檔案，並啟用所有自動匯入和自動匯出政策，檔案系統中的檔案或 S3 中的物件可能會被另一個覆寫。不保證某個位置的稍後編輯會覆寫另一個位置的較早編輯。如果您在檔案系統和 S3 儲存貯體中修改相同的檔案，您應該確保應用程式層級協調，以防止此類衝突。FSx for Lustre 無法防止多個位置中的寫入衝突。 匯入政策指定您希望 FSx for Lustre 在連結 S3 儲存貯體的內容變更時如何更新檔案系統。資料儲存庫關聯可以有下列其中一個匯入政策： + **新增** – FSx for Lustre 只有在將新物件新增至連結的 S3 資料儲存庫時，才會自動更新檔案和目錄中繼資料。 + **已變更** – FSx for Lustre 只會在變更資料儲存庫中的現有物件時自動更新檔案和目錄中繼資料。 + **已刪除** – 只有在刪除資料儲存庫中的物件時，FSx for Lustre 才會自動更新檔案和目錄中繼資料。 + **新增、變更和刪除的任意組合** – 當 S3 資料儲存庫中發生任何指定的動作時，FSx for Lustre 會自動更新檔案和目錄中繼資料。例如，您可以指定在物件新增至 (**新增**) 或從 S3 儲存庫移除 (**刪除**) 時更新檔案系統，但在物件變更時不會更新。 + **未設定政策** – 從 S3 資料儲存庫新增、變更或刪除物件時，FSx for Lustre 不會更新檔案系統上的檔案和目錄中繼資料。如果您未設定匯入政策，則會針對資料儲存庫關聯停用自動匯入。您仍然可以使用匯入資料儲存庫任務手動匯入中繼資料變更，如中所述[使用資料儲存庫任務匯入變更](import-data-repo-task-dra.md)。 **重要** 自動匯入不會同步下列 S3 動作與您連結的 FSx for Lustre 檔案系統： 使用 S3 物件生命週期過期刪除物件 在已啟用版本控制的儲存貯體中永久刪除目前的物件版本 取消刪除已啟用版本控制之儲存貯體中的物件 對於大多數使用案例，我們建議您設定**新增**、**變更**和**刪除**的匯入政策。此政策可確保在連結的 S3 資料儲存庫中進行的所有更新都會自動匯入至您的檔案系統。 當您設定匯入政策，根據連結的 S3 資料儲存庫中的變更來更新檔案系統檔案和目錄中繼資料時，FSx for Lustre 會在連結的 S3 儲存貯體上建立事件通知組態。事件通知組態名為 `FSx`。請勿修改或刪除 S3 儲存貯體上的`FSx`事件通知組態 – 這樣做可防止更新的檔案和目錄中繼資料自動匯入至您的檔案系統。 當 FSx for Lustre 更新在連結的 S3 資料儲存庫上變更的檔案清單時，即使檔案已寫入鎖定，也會以更新版本覆寫本機檔案。 FSx for Lustre 會盡最大努力更新您的檔案系統。在下列情況中，FSx for Lustre 無法更新檔案系統： + 如果 FSx for Lustre 沒有開啟已變更或新 S3 物件的許可。在此情況下，FSx for Lustre 會略過物件並繼續。DRA 生命週期狀態不受影響。 + 如果 FSx for Lustre 沒有儲存貯體層級許可，例如 的 `GetBucketAcl`。這會導致資料儲存庫生命週期狀態變成**設定錯誤**。如需詳細資訊，請參閱[資料儲存庫關聯生命週期狀態](dra-lifecycles.md)。 + 如果已刪除或變更連結 S3 儲存貯體上的`FSx`事件通知組態。這會導致資料儲存庫生命週期狀態變成**設定錯誤**。如需詳細資訊，請參閱[資料儲存庫關聯生命週期狀態](dra-lifecycles.md)。 建議您[開啟](cw-event-logging.md#manage-logging) CloudWatch Logs 的記錄功能，以記錄無法自動匯入的任何檔案或目錄的相關資訊。日誌中的警告和錯誤包含失敗原因的相關資訊。如需詳細資訊，請參閱[資料儲存庫事件日誌](data-repo-event-logs.md)。 ## 先決條件 FSx for Lustre 需要下列條件，才能從連結的 S3 儲存貯體自動匯入新的、已變更或刪除的檔案： + 檔案系統及其連結的 S3 儲存貯體位於相同的 中 AWS 區域。 + S3 儲存貯體沒有設定錯誤的**生命週期狀態**。如需詳細資訊，請參閱[資料儲存庫關聯生命週期狀態](dra-lifecycles.md)。 + 您的帳戶具有在連結的 S3 儲存貯體上設定和接收事件通知所需的許可。 ## 支援的檔案變更類型 FSx for Lustre 支援將下列變更匯入至連結 S3 儲存貯體中發生的檔案和目錄： + 檔案內容的變更。 + 檔案或目錄中繼資料的變更。 + 符號連結目標或中繼資料的變更。 + 刪除檔案和目錄。如果您刪除連結 S3 儲存貯體中對應至檔案系統中目錄的物件 （亦即金鑰名稱結尾為斜線的物件），則 FSx for Lustre 只會在檔案系統為空時刪除對應的目錄。 ## 更新匯入設定 您可以在建立資料儲存庫關聯時，為連結的 S3 儲存貯體設定檔案系統的匯入設定。如需詳細資訊，請參閱[建立 S3 儲存貯體的連結](create-linked-dra.md)。 您也可以隨時更新匯入設定，包括匯入政策。如需詳細資訊，請參閱[更新資料儲存庫關聯設定](update-dra-settings.md)。 ## 監控自動匯入 如果 S3 儲存貯體中的變更率超過自動匯入可以處理這些變更的速率，則會延遲匯入 FSx for Lustre 檔案系統的對應中繼資料變更。如果發生這種情況，您可以使用 `AgeOfOldestQueuedMessage` 指標來監控等待自動匯入處理的最舊變更的存留期。如需此指標的詳細資訊，請參閱 [FSx for Lustre S3 儲存庫指標](fs-metrics.md#auto-import-export-metrics)。 如果匯入中繼資料變更的延遲超過 14 天 （使用 `AgeOfOldestQueuedMessage` 指標測量），則尚未由自動匯入處理之 S3 儲存貯體的變更不會匯入檔案系統。此外，您的資料儲存庫關聯生命週期會標示為 **MISCONFIGURED**，並停止自動匯入。如果您已啟用自動匯出，則自動匯出會繼續監控 FSx for Lustre 檔案系統是否有變更。不過，其他變更不會從 FSx for Lustre 檔案系統同步到 S3。 若要將資料儲存庫關聯從 **MISCONFIGURED** 生命週期狀態傳回**可用**生命週期狀態，您必須更新資料儲存庫關聯。您可以使用 [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html) CLI 命令 （或對應的 [UpdateDataRepositoryAssociation](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateDataRepositoryAssociation.html) API 操作） 更新資料儲存庫關聯。您需要的唯一請求參數是您要更新`AssociationID`的資料儲存庫關聯的 。 在資料儲存庫關聯生命週期狀態變更為**可用**後，自動匯入 （以及啟用時自動匯出） 會重新啟動。重新啟動時，自動匯出會繼續同步檔案系統變更為 S3。若要將 S3 中新物件和已變更物件的中繼資料與未匯入或資料儲存庫關聯處於設定錯誤狀態時的 FSx for Lustre 檔案系統同步，請執行[匯入資料儲存庫任務](import-data-repo-task-dra.md)。匯入資料儲存庫任務不會將 S3 儲存貯體中的刪除與 FSx for Lustre 檔案系統同步。如果您想要將 S3 與檔案系統完全同步 （包括刪除），則必須重新建立檔案系統。 為了確保匯入中繼資料變更的延遲不超過 14 天，我們建議您在`AgeOfOldestQueuedMessage`指標上設定警示，並在指標超過警示閾值時減少 S3 `AgeOfOldestQueuedMessage` 儲存貯體中的活動。對於連接到具有單一碎片的 S3 儲存貯體的 FSx for Lustre 檔案系統，持續從 S3 傳送最大數量的可能變更，且僅在 FSx for Lustre 檔案系統上執行自動匯入，自動匯入可以在 14 天內處理 7 小時的 S3 變更待處理項目。 此外，透過單一 S3 動作，您可以產生比自動匯入在 14 天內處理更多變更。這些動作類型的範例包括但不限於 AWS Snowball 上傳至 S3 和大規模刪除。如果您要與 FSx for Lustre 檔案系統同步的 S3 儲存貯體進行大規模變更，為了防止自動匯入變更超過 14 天，您應該刪除檔案系統，並在 S3 變更完成後重新建立它。 如果您的`AgeOfOldestQueuedMessage`指標正在增長，請檢閱您的 S3 儲存貯體 `GetRequests`、`PostRequests`、 `PutRequests`和 `DeleteRequests` 指標是否有活動變更，這會導致傳送到自動匯入的速率和/或變更數量增加。如需可用 S3 指標的相關資訊，請參閱[《Amazon S3 使用者指南》中的監控](https://docs.aws.amazon.com/AmazonS3/latest/userguide/monitoring-overview.html) *Amazon S3*。 如需所有可用 FSx for Lustre 指標的清單，請參閱 [使用 Amazon CloudWatch 監控](monitoring-cloudwatch.md)。 # 使用資料儲存庫任務匯入變更 匯入資料儲存庫任務會匯入 S3 資料儲存庫中新物件或變更物件的中繼資料，為 S3 資料儲存庫中的任何新物件建立新的檔案或目錄清單。對於在資料儲存庫中變更的任何物件，對應的檔案或目錄清單會更新為新的中繼資料。對於已從資料儲存庫刪除的物件，不會採取任何動作。 使用下列程序，透過 Amazon FSx 主控台和 CLI 匯入中繼資料變更。請注意，您可以將一個資料儲存庫任務用於多個 DRAs。 ## 匯入中繼資料變更 （主控台） 1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台。 1. 在導覽窗格中，選擇**檔案系統**，然後選擇您的Lustre檔案系統。 1. 選擇**資料儲存庫**索引標籤。 1. 在**資料儲存庫關聯**窗格中，選擇您要為其建立匯入任務的資料儲存庫關聯。 1. 從**動作**功能表中，選擇**匯入任務**。如果檔案系統未連結至資料儲存庫，則無法使用此選項。**建立匯入資料儲存庫任務**頁面隨即出現。 1. （選用） 透過提供要匯入之資料儲存庫路徑中這些目錄或檔案的路徑，從連結的 S3 儲存貯體中指定最多 32 個要匯入的目錄或檔案。 **** **注意** 如果您提供的路徑無效，任務會失敗。 1. （選用） 選擇**完成報告**下的**啟用**，以在任務完成後產生任務完成報告。*任務完成報告*提供任務處理之檔案的詳細資訊，這些檔案符合**報告範圍中提供的範圍**。若要指定 Amazon FSx 交付報告的位置，請在報告路徑的連結 S3 資料儲存庫中輸入相對**路徑**。 1. 選擇**建立**。 **檔案系統**頁面頂端的通知會顯示您剛建立的任務。 若要檢視任務狀態和詳細資訊，請向下捲動至檔案系統**之資料儲存庫索引標籤中的資料儲存庫任務**窗格。 ****預設排序順序會在清單頂端顯示最新的任務。 若要從此頁面檢視任務摘要，請為您剛建立的任務選擇**任務 ID**。任務的**摘要**頁面隨即出現。 ## 匯入中繼資料變更 (CLI) + 使用 [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html) CLI 命令在 FSx for Lustre 檔案系統上匯入中繼資料變更。對應的 API 操作為 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html)。 ``` $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type IMPORT_METADATA_FROM_REPOSITORY \ --paths s3://bucketname1/dir1/path1 \ --report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY ``` 成功建立資料儲存庫任務後，Amazon FSx 會將任務描述傳回為 JSON。 建立任務以從連結的資料儲存庫匯入中繼資料後，您可以檢查匯入資料儲存庫任務的狀態。如需檢視資料儲存庫任務的詳細資訊，請參閱 [存取資料儲存庫任務](view-data-repo-tasks.md)。 # 將檔案預先載入您的檔案系統 您可以選擇將內容個別檔案或目錄預先載入檔案系統。 ## 使用 HSM 命令匯入檔案 第一次存取檔案時，Amazon FSx 會從 Amazon S3 資料儲存庫複製資料。由於這種方法，檔案的初始讀取或寫入會產生少量延遲。如果您的應用程式對此延遲敏感，而且您知道應用程式需要存取哪些檔案或目錄，您可以選擇預先載入個別檔案或目錄的內容。您可以使用 `hsm_restore`命令執行此操作，如下所示。 您可以使用 `hsm_action`命令 （由`lfs`使用者公用程式發出） 來驗證檔案的內容是否已完成載入至檔案系統。傳回值 `NOOP`表示檔案已成功載入。從已安裝 檔案系統的運算執行個體執行下列命令。將 *path/to/file* 取代為您預先載入至檔案系統的檔案路徑。 ``` sudo lfs hsm_restore path/to/file sudo lfs hsm_action path/to/file ``` 您可以使用下列命令，在檔案系統中預先載入整個檔案系統或整個目錄。（結尾的 ampers 並讓命令做為背景程序執行。) 如果您同時請求預先載入多個檔案，Amazon FSx 會從 Amazon S3 資料儲存庫平行載入您的檔案。如果檔案已載入檔案系統，則`hsm_restore`命令不會重新載入。 ``` nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore & ``` **注意** 如果您連結的 S3 儲存貯體大於檔案系統，您應該能夠將所有檔案中繼資料匯入檔案系統。不過，您只能載入與檔案系統剩餘儲存空間一樣多的實際檔案資料。當您嘗試存取檔案資料時，如果檔案系統上沒有剩餘的儲存空間，您將會收到錯誤。如果發生這種情況，您可以視需要增加儲存容量。如需詳細資訊，請參閱[管理儲存容量](managing-storage-capacity.md)。 ## 驗證步驟 您可以執行下列 bash 指令碼，以協助您探索有多少檔案或物件處於封存 （已發行） 狀態。 為了改善指令碼的效能，特別是在具有大量檔案的檔案系統中，CPU 執行緒會根據 `/proc/cpuproc` 檔案自動決定。也就是說，您會在較高的 vCPU 計數 Amazon EC2 執行個體中看到更快的效能。 1. 設定 bash 指令碼。 ``` #!/bin/bash # Check if a directory argument is provided if [ $# -ne 1 ]; then echo "Usage: $0 /path/to/lustre/mount" exit 1 fi # Set the root directory from the argument ROOT_DIR="$1" # Check if the provided directory exists if [ ! -d "$ROOT_DIR" ]; then echo "Error: Directory $ROOT_DIR does not exist." exit 1 fi # Automatically detect number of CPUs and set threads if command -v nproc &> /dev/null; then THREADS=$(nproc) elif [ -f /proc/cpuinfo ]; then THREADS=$(grep -c ^processor /proc/cpuinfo) else echo "Unable to determine number of CPUs. Defaulting to 1 thread." THREADS=1 fi # Output file OUTPUT_FILE="released_objects_$(date +%Y%m%d_%H%M%S).txt" echo "Searching in $ROOT_DIR for all released objects using $THREADS threads" echo "This may take a while depending on the size of the filesystem..." # Find all released files in the specified lustre directory using parallel # If you get false positives for file names/paths that include the word 'released', # you can grep 'released exists archived' instead of just 'released' time sudo lfs find "$ROOT_DIR" -type f | \ parallel --will-cite -j "$THREADS" -n 1000 "sudo lfs hsm_state {} | grep released" > "$OUTPUT_FILE" echo "Search complete. Released objects are listed in $OUTPUT_FILE" echo "Total number of released objects: $(wc -l <"$OUTPUT_FILE")" ``` 1. 讓指令碼可執行： ``` $ chmod +x find_lustre_released_files.sh ``` 1. 執行指令碼，如下列範例所示： ``` $ ./find_lustre_released_files.sh /fsxl/sample Searching in /fsxl/sample for all released objects using 16 threads This may take a while depending on the size of the filesystem... real 0m9.906s user 0m1.502s sys 0m5.653s Search complete. Released objects are listed in released_objects_20241121_184537.txt Total number of released objects: 30000 ``` 如果存在已發行的物件，請在所需的目錄上執行大量還原，將檔案從 S3 帶入 FSx for Lustre，如下列範例所示： ``` $ DIR=/path/to/lustre/mount $ nohup find $DIR -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore & ``` 請注意，有數百萬個檔案`hsm_restore`需要一些時間。 # 匯出變更至資料儲存庫 您可以將資料變更和 POSIX 中繼資料變更從 FSx for Lustre 檔案系統匯出至連結的資料儲存庫。關聯的 POSIX 中繼資料包括擁有權、許可和時間戳記。 若要從檔案系統匯出變更，請使用下列其中一種方法。 + 設定您的檔案系統，以自動將新的、已變更或刪除的檔案匯出至連結的資料儲存庫。如需詳細資訊，請參閱[自動匯出更新到您的 S3 儲存貯體](autoexport-data-repo-dra.md)。 + 使用隨需匯出資料儲存庫任務。如需詳細資訊，請參閱[使用資料儲存庫任務匯出變更](export-data-repo-task-dra.md) 自動匯出和匯出資料儲存庫任務無法同時執行。 **重要** 如果對應的物件存放在 S3 Glacier Flexible Retrieval 中，則自動匯出不會同步檔案系統上的下列中繼資料操作與 S3： chmod chown 重新命名 當您開啟資料儲存庫關聯的自動匯出時，檔案系統會在建立、修改或刪除檔案時自動匯出檔案資料和中繼資料變更。當您使用匯出資料儲存庫任務匯出檔案或目錄時，您的檔案系統只會匯出自上次匯出以來建立或修改的資料檔案和中繼資料。 自動匯出和匯出資料儲存庫任務都會匯出 POSIX 中繼資料。如需詳細資訊，請參閱[資料儲存庫的 POSIX 中繼資料支援](posix-metadata-support.md)。 **重要** 為了確保 FSx for Lustre 可以將您的資料匯出至 S3 儲存貯體，資料必須以 UTF-8 相容格式存放。 S3 物件金鑰的長度上限為 1，024 個位元組。FSx for Lustre 不會匯出其對應 S3 物件金鑰長度超過 1，024 位元組的檔案。 **注意** 自動匯出和匯出資料儲存庫任務建立的所有物件都會使用 S3 標準儲存類別寫入。 **Topics** + [自動匯出更新到您的 S3 儲存貯體](autoexport-data-repo-dra.md) + [使用資料儲存庫任務匯出變更](export-data-repo-task-dra.md) + [使用 HSM 命令匯出檔案](exporting-files-hsm.md) # 自動匯出更新到您的 S3 儲存貯體 您可以設定 FSx for Lustre 檔案系統，在檔案系統新增、變更或刪除檔案時自動更新連結 S3 儲存貯體的內容。FSx for Lustre 會在 S3 中建立、更新或刪除物件，對應於檔案系統中的變更。 **注意** FSx for Lustre 2.10 檔案系統或`Scratch 1`檔案系統不提供自動匯出。 您可以匯出至與 AWS 區域 檔案系統相同或不同 的資料儲存庫 AWS 區域。 您可以在建立資料儲存庫關聯時設定自動匯出，並使用 FSx 管理主控台 AWS CLI、 和 AWS API 隨時更新自動匯出設定。 **重要** 如果在已啟用所有自動匯出政策且自動匯入已停用的情況下在檔案系統中修改檔案，則該檔案的內容一律會匯出至 S3 中的對應物件。如果物件已存在於目標位置，則會覆寫物件。 如果在檔案系統和 S3 中修改檔案，並啟用所有自動匯入和自動匯出政策，檔案系統中的檔案或 S3 中的物件可能會被另一個覆寫。不保證某個位置的稍後編輯會覆寫另一個位置的較早編輯。如果您在檔案系統和 S3 儲存貯體中修改相同的檔案，您應該確保應用程式層級協調，以防止此類衝突。FSx for Lustre 無法防止多個位置中的寫入衝突。 匯出政策指定您希望 FSx for Lustre 在檔案系統中變更內容時，如何更新連結的 S3 儲存貯體。資料儲存庫關聯可以有下列其中一個自動匯出政策： + **新增** – FSx for Lustre 只有在檔案系統上建立新的檔案、目錄或符號連結時，才會自動更新 S3 資料儲存庫。 + **已變更** – FSx for Lustre 只有在變更檔案系統中的現有檔案時，才會自動更新 S3 資料儲存庫。對於檔案內容變更，檔案必須先關閉，才能傳播到 S3 儲存庫。中繼資料變更 （重新命名、所有權、許可和時間戳記） 會在操作完成時傳播。對於重新命名變更 （包括移動），會刪除現有 （預先重新命名） S3 物件，並使用新名稱建立新的 S3 物件。 + **已刪除** – 只有在檔案系統中刪除檔案、目錄或符號連結時，FSx for Lustre 才會自動更新 S3 資料儲存庫。 + **新增、變更和刪除的任意組合** – 當檔案系統中發生任何指定的動作時，FSx for Lustre 會自動更新 S3 資料儲存庫。例如，您可以指定在檔案新增至 檔案系統 (**新增**) 或從檔案系統移除 (**刪除**) 時更新 S3 儲存庫，而不是在檔案變更時更新。 + **未設定政策** – 從檔案系統新增、變更或刪除檔案時，FSx for Lustre 不會自動更新 S3 資料儲存庫。如果您未設定匯出政策，則會停用自動匯出。您仍然可以使用匯出資料儲存庫任務手動匯出變更，如中所述[使用資料儲存庫任務匯出變更](export-data-repo-task-dra.md)。 對於大多數使用案例，我們建議您設定**新**、**已變更**和**已刪除**的匯出政策。此政策可確保在檔案系統上進行的所有更新都會自動匯出至連結的 S3 資料儲存庫。 我們建議您[開啟](cw-event-logging.md#manage-logging) CloudWatch Logs 的記錄功能，以記錄無法自動匯出的任何檔案或目錄的相關資訊。日誌中的警告和錯誤包含失敗原因的相關資訊。如需詳細資訊，請參閱[資料儲存庫事件日誌](data-repo-event-logs.md)。 **注意** 當存取時間 (`atime`) 和修改時間 (`mtime`) 在匯出操作期間與 S3 同步時，單獨變更這些時間戳記不會觸發自動匯出。只有變更檔案內容或其他中繼資料 （例如擁有權或許可） 才會觸發自動匯出至 S3。 ## 更新匯出設定 您可以在建立資料儲存庫關聯時，將檔案系統的匯出設定設為連結的 S3 儲存貯體。如需詳細資訊，請參閱[建立 S3 儲存貯體的連結](create-linked-dra.md)。 您也可以隨時更新匯出設定，包括匯出政策。如需詳細資訊，請參閱[更新資料儲存庫關聯設定](update-dra-settings.md)。 ## 監控自動匯出 您可以使用一組發佈至 Amazon CloudWatch 的指標來監控啟用自動匯出的資料儲存庫關聯。`AgeOfOldestQueuedMessage` 指標代表尚未匯出至 S3 的檔案系統最舊更新的存留期。如果 長時間`AgeOfOldestQueuedMessage`大於零，建議您暫時減少對檔案系統主動進行的變更數量 （特別是目錄重新命名），直到訊息佇列減少為止。如需詳細資訊，請參閱[FSx for Lustre S3 儲存庫指標](fs-metrics.md#auto-import-export-metrics)。 **重要** 刪除已啟用自動匯出的資料儲存庫關聯或檔案系統時，您應該先確定 `AgeOfOldestQueuedMessage` 為零，這表示沒有尚未匯出的變更。當您刪除資料儲存庫關聯或檔案系統時，如果 `AgeOfOldestQueuedMessage` 大於零，則尚未匯出的變更將不會到達連結的 S3 儲存貯體。若要避免這種情況，請等待 `AgeOfOldestQueuedMessage` 達到零，再刪除資料儲存庫關聯或檔案系統。 # 使用資料儲存庫任務匯出變更 匯出資料儲存庫任務會匯出在您檔案系統中新增或變更的檔案。它會在 S3 中為檔案系統上的任何新檔案建立新的物件。對於在檔案系統上修改的任何檔案，或其中繼資料已修改的任何檔案，S3 中的對應物件會取代為具有新資料和中繼資料的新物件。對於已從檔案系統刪除的檔案，不會採取任何動作。 **注意** 使用匯出資料儲存庫任務時，請記住下列事項： 不支援使用萬用字元來包含或排除檔案以進行匯出。 執行`mv`操作時，即使沒有 UID、GID、許可或內容變更，移動後的目標檔案仍會匯出至 S3。 使用下列程序，透過 Amazon FSx 主控台和 CLI，將檔案系統上的資料和中繼資料變更匯出至連結的 S3 儲存貯體。請注意，您可以將一個資料儲存庫任務用於多個 DRAs。 ## 匯出變更 （主控台） 1. 開啟位於 https：//[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) 的 Amazon FSx 主控台。 1. 在導覽窗格中，選擇**檔案系統**，然後選擇您的Lustre檔案系統。 1. 選擇**資料儲存庫**索引標籤。 1. 在**資料儲存庫關聯**窗格中，選擇您要為其建立匯出任務的資料儲存庫關聯。 1. 針對**動作**，選擇**匯出任務**。如果檔案系統未連結至 S3 上的資料儲存庫，則無法使用此選項。**建立匯出資料儲存庫任務**對話方塊隨即出現。 1. （選用） 透過提供檔案系統路徑中要匯出的目錄或檔案路徑，指定最多 32 個要從 Amazon FSx **檔案系統匯出的**目錄或檔案。您提供的路徑必須相對於檔案系統的掛載點。如果掛載點是 `/mnt/fsx`，且 `/mnt/fsx/path1` 是您要匯出之檔案系統上的目錄或檔案，則提供的路徑為 `path1`。 **注意** 如果您提供的路徑無效，任務會失敗。 1. （選用） 選擇**完成報告**下的**啟用**，以在任務完成後產生任務完成報告。*任務完成報告*提供任務處理之檔案的詳細資訊，這些檔案符合**報告範圍中提供的範圍**。若要指定 Amazon FSx 交付報告的位置，請在檔案系統連結的 S3 資料儲存庫中輸入報告路徑的**相對路徑**。 1. 選擇**建立**。 **檔案系統**頁面頂端的通知會顯示您剛才建立的任務。 若要檢視任務狀態和詳細資訊，請向下捲動至檔案系統**之資料儲存庫索引標籤中的資料儲存庫任務**窗格。 ****預設排序順序會在清單頂端顯示最新的任務。 若要從此頁面檢視任務摘要，請為您剛建立的任務選擇**任務 ID**。任務的**摘要**頁面隨即出現。 ## 匯出變更 (CLI) + 使用 [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html) CLI 命令匯出 FSx for Lustre 檔案系統上的資料和中繼資料變更。對應的 API 操作為 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html)。 ``` $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type EXPORT_TO_REPOSITORY \ --paths path1,path2/file1 \ --report Enabled=true ``` 成功建立資料儲存庫任務後，Amazon FSx 會將任務描述傳回為 JSON，如下列範例所示。 ``` { "Task": { "TaskId": "task-123f8cd8e330c1321", "Type": "EXPORT_TO_REPOSITORY", "Lifecycle": "PENDING", "FileSystemId": "fs-0123456789abcdef0", "Paths": ["path1", "path2/file1"], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "CreationTime": "1545070680.120", "ClientRequestToken": "10192019-drt-12", "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321" } } ``` 建立將資料匯出至連結資料儲存庫的任務之後，您可以檢查匯出資料儲存庫任務的狀態。如需檢視資料儲存庫任務的詳細資訊，請參閱 [存取資料儲存庫任務](view-data-repo-tasks.md)。 # 使用 HSM 命令匯出檔案 **注意** 若要將 FSx for Lustre 檔案系統的資料和中繼資料中的變更匯出至 Amazon S3 上的耐用資料儲存庫，請使用中所述的自動匯出功能[自動匯出更新到您的 S3 儲存貯體](autoexport-data-repo-dra.md)。您也可以使用匯出資料儲存庫任務，如中所述[使用資料儲存庫任務匯出變更](export-data-repo-task-dra.md)。 若要將個別檔案匯出至資料儲存庫，並確認檔案已成功匯出至資料儲存庫，您可以執行下列命令。傳回值 `states: (0x00000009) exists archived`表示檔案已成功匯出。 ``` sudo lfs hsm_archive path/to/export/file sudo lfs hsm_state path/to/export/file ``` **注意** 您必須以根使用者身分或使用 執行 HSM 命令 （例如 `hsm_archive`)`sudo`。 若要匯出整個檔案系統或檔案系統中的整個目錄，請執行下列命令。如果您同時匯出多個檔案，Amazon FSx for Lustre 會將您的檔案平行匯出至 Amazon S3 資料儲存庫。 ``` nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive & ``` 若要判斷匯出是否已完成，請執行下列命令。 ``` find path/to/export/file -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_state | awk '!/\/ || /\/' | wc -l ``` 如果命令傳回的檔案剩餘為零，則匯出完成。 # 資料儲存庫任務 透過使用匯入和匯出資料儲存庫任務，您可以管理 FSx for Lustre 檔案系統與 Amazon S3 上任何耐久資料儲存庫之間的資料傳輸和中繼資料。 *資料儲存庫任務*可最佳化 FSx for Lustre 檔案系統和 S3 上的資料儲存庫之間的資料和中繼資料傳輸。其中一種方法是追蹤 Amazon FSx 檔案系統及其連結資料儲存庫之間的變更。他們也會使用平行傳輸技術，以高達數百 GBps 的速度傳輸資料。您可以使用 Amazon FSx 主控台、 和 Amazon FSx API 建立 AWS CLI和檢視資料儲存庫任務。 資料儲存庫任務會維護檔案系統的可攜式作業系統界面 (POSIX) 中繼資料，包括擁有權、許可和時間戳記。由於任務會維護此中繼資料，因此您可以在 FSx for Lustre 檔案系統及其連結的資料儲存庫之間實作和維護存取控制。 您可以使用發行資料儲存庫任務，透過釋出匯出至 Amazon S3 的檔案來釋放新檔案的檔案系統空間。已發行檔案的內容會移除，但已發行檔案的中繼資料會保留在檔案系統上。使用者和應用程式仍然可以透過再次讀取檔案來存取發行的檔案。當使用者或應用程式讀取發行的檔案時，FSx for Lustre 會透明地從 Amazon S3 擷取檔案內容。 ## 資料儲存庫任務的類型 資料儲存庫任務有三種類型： + 將****資料儲存庫任務從Lustre檔案系統匯出至連結的 S3 儲存貯體。 + **將**資料儲存庫任務從連結的 S3 儲存貯體匯入Lustre檔案系統。 + **釋出**資料儲存庫任務會從檔案系統釋出匯出至連結 S3 儲存貯體Lustre的檔案。 如需詳細資訊，請參閱[建立資料儲存庫任務](creating-data-repo-task.md)。 **Topics** + [資料儲存庫任務的類型](#data-repo-task-types) + [了解任務的狀態和詳細資訊](data-repo-task-status.md) + [使用資料儲存庫任務](managing-data-repo-task.md) + [使用任務完成報告](task-completion-report.md) + [對資料儲存庫任務失敗進行故障診斷](failed-tasks.md) # 了解任務的狀態和詳細資訊 資料儲存庫任務具有描述性資訊和生命週期狀態。 建立任務後，您可以使用 Amazon FSx 主控台、CLI 或 API 檢視資料儲存庫任務的下列詳細資訊： + 任務類型： + `EXPORT_TO_REPOSITORY` 表示匯出任務。 + `IMPORT_METADATA_FROM_REPOSITORY` 表示匯入任務。 + `RELEASE_DATA_FROM_FILESYSTEM` 表示發行任務。 + 任務執行所在的檔案系統。 + 任務建立時間。 + 任務狀態。 + 任務處理的檔案總數。 + 任務成功處理的檔案總數。 + 任務無法處理的檔案總數。當任務狀態為 FAILED 時，此值大於零。任務完成報告中提供了失敗檔案的詳細資訊。如需詳細資訊，請參閱[使用任務完成報告](task-completion-report.md)。 + 任務啟動的時間。 + 任務狀態上次更新的時間。任務狀態每 30 秒更新一次。 資料儲存庫任務可以有下列其中一種狀態： + **PENDING** 表示 Amazon FSx 尚未啟動任務。 + **EXECUTING** 表示 Amazon FSx 正在處理任務。 + **失敗**表示 Amazon FSx 未成功處理任務。例如，可能有任務無法處理的檔案。任務詳細資訊提供有關失敗的詳細資訊。如需失敗任務的詳細資訊，請參閱 [對資料儲存庫任務失敗進行故障診斷](failed-tasks.md)。 + **SUCCEEDED** 表示 Amazon FSx 已成功完成任務。 + **CANCELED** 表示任務已取消且未完成。 + **CANCELING** 表示 Amazon FSx 正在取消任務。 資料儲存庫任務資訊會在任務完成後保留 14 天。如需存取現有資料儲存庫任務的詳細資訊，請參閱 [存取資料儲存庫任務](view-data-repo-tasks.md)。 # 使用資料儲存庫任務 在下列各節中，您可以找到有關管理資料儲存庫任務的詳細資訊。您可以使用 Amazon FSx 主控台、CLI 或 API 建立、複製、檢視詳細資訊和取消資料儲存庫任務。 **Topics** + [建立資料儲存庫任務](creating-data-repo-task.md) + [複製任務](recreate-task.md) + [存取資料儲存庫任務](view-data-repo-tasks.md) + [取消資料儲存庫任務](cancel-data-repo-task.md) # 建立資料儲存庫任務 您可以使用 Amazon FSx 主控台、CLI 或 API 來建立資料儲存庫任務。建立任務之後，您可以使用主控台、CLI 或 API 來檢視任務的進度和狀態。 您可以建立三種類型的資料儲存庫任務： + **匯出**資料儲存庫任務會從Lustre檔案系統匯出至連結的 S3 儲存貯體。如需詳細資訊，請參閱[使用資料儲存庫任務匯出變更](export-data-repo-task-dra.md)。 + **匯入**資料儲存庫任務會從連結的 S3 儲存貯體匯入您的Lustre檔案系統。如需詳細資訊，請參閱[使用資料儲存庫任務匯入變更](import-data-repo-task-dra.md)。 + **發行**資料儲存庫任務會從已匯出至連結 S3 儲存貯體的檔案系統發行Lustre檔案。如需詳細資訊，請參閱[使用資料儲存庫任務來釋出檔案](release-files-task.md)。 # 複製任務 您可以在 Amazon FSx 主控台中複製現有的資料儲存庫任務。當您複製任務時，**建立匯入資料儲存庫任務**或**建立匯出資料儲存庫任務**頁面會顯示現有任務的確切副本。您可以在建立和執行新任務之前，視需要變更匯出或匯入的路徑。 **注意** 如果該任務的確切複本已執行，則執行重複任務的請求將會失敗。在匯出任務的情況下，任務的確切複本包含相同的檔案系統路徑或路徑，或在匯入任務的情況下包含相同的資料儲存庫路徑。 您可以從任務詳細資訊檢視、檔案系統**的資料儲存庫標籤中的資料儲存庫任務**窗格，或從**資料儲存庫任務**頁面複製任務。 **** **複製現有任務** 1. 在檔案系統**的資料儲存庫索引標籤的資料儲存庫任務**窗格中，選擇任務。 **** 1. 選擇**複製任務**。根據您選擇的任務類型，會顯示**建立匯入資料儲存庫任務**或**建立匯出資料儲存庫任務**頁面。新任務的所有設定與您正在複製的任務設定相同。 1. 變更或新增您要從中匯入或匯出的路徑。 1. 選擇**建立**。 # 存取資料儲存庫任務 建立資料儲存庫任務之後，您可以使用 Amazon FSx 主控台、CLI 和 API 來存取任務，以及帳戶中所有現有的任務。Amazon FSx 提供下列詳細任務資訊： + 所有現有的任務。 + 特定檔案系統的所有任務。 + 特定資料儲存庫關聯的所有任務。 + 具有特定生命週期狀態的所有任務。如需任務生命週期狀態值的詳細資訊，請參閱 [了解任務的狀態和詳細資訊](data-repo-task-status.md)。 您可以使用 Amazon FSx 主控台、CLI 或 API 存取帳戶中所有現有的資料儲存庫任務，如下所述。 ## 檢視資料儲存庫任務和任務詳細資訊 （主控台） 1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台。 1. 在導覽窗格中，選擇要檢視資料儲存庫任務的檔案系統。檔案系統詳細資訊頁面隨即出現。 1. 在檔案系統詳細資訊頁面上，選擇**資料儲存庫**索引標籤。此檔案系統的任何任務都會出現在**資料儲存庫任務**面板上。 1. 若要查看任務的詳細資訊，請在資料儲存庫任務面板中選擇任務 **ID** 或**任務名稱**。 ****任務詳細資訊頁面隨即出現。 ![\[資料儲存庫任務頁面\]](http://docs.aws.amazon.com/zh_tw/fsx/latest/LustreGuide/images/task-details-rprt.png) ## 擷取資料儲存庫任務和任務詳細資訊 (CLI) 使用 Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html) CLI 命令，您可以檢視帳戶中所有資料儲存庫任務及其詳細資訊。 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html)是同等的 API 命令。 + 使用下列命令來檢視您帳戶中的所有資料儲存庫任務物件。 ``` aws fsx describe-data-repository-tasks ``` 如果命令成功，Amazon FSx 會以 JSON 格式傳回回應。 ``` { "DataRepositoryTasks": [ { "Lifecycle": "EXECUTING", "Paths": [], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1591863862.288, "EndTime": , "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef3", "Status": { "SucceededCount": 4255, "TotalCount": 4200, "FailedCount": 55, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789a7", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3" }, { "Lifecycle": "FAILED", "Paths": [], "Report": { "Enabled": false, }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef1", "Status": { "SucceededCount": 1153, "TotalCount": 1156, "FailedCount": 3, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1" }, { "Lifecycle": "SUCCEEDED", "Paths": [], "Report": { "Path":"s3://dataset-04/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-04299453935122318", "Status": { "SucceededCount": 258, "TotalCount": 258, "FailedCount": 0, "LastUpdatedTime": 1771848950.012, }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1771848950.012, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0" } ] } ``` ## 依檔案系統檢視任務 您可以使用 Amazon FSx 主控台、CLI 或 API 檢視特定檔案系統的所有任務，如下所述。 ### 依檔案系統檢視任務 （主控台） 1. 在導覽窗格中選擇**檔案系統**。**檔案系統**頁面隨即出現。 1. 選擇您要檢視資料儲存庫任務的檔案系統。檔案系統詳細資訊頁面隨即出現。 1. 在檔案系統詳細資訊頁面上，選擇**資料儲存庫**索引標籤。此檔案系統的任何任務都會出現在**資料儲存庫任務**面板上。 ### 依檔案系統擷取任務 (CLI) + 使用下列命令來檢視檔案系統 的所有資料儲存庫任務`fs-0123456789abcdef0`。 ``` aws fsx describe-data-repository-tasks \ --filters Name=file-system-id,Values=fs-0123456789abcdef0 ``` 如果命令成功，Amazon FSx 會以 JSON 格式傳回回應。 ``` { "DataRepositoryTasks": [ { "Lifecycle": "FAILED", "Paths": [], "Report": { "Path":"s3://dataset-04/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef1", "Status": { "SucceededCount": 1153, "TotalCount": 1156, "FailedCount": 3, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1" }, { "Lifecycle": "SUCCEEDED", "Paths": [], "Report": { "Enabled": false, }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef0", "Status": { "SucceededCount": 258, "TotalCount": 258, "FailedCount": 0, "LastUpdatedTime": 1771848950.012, }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1771848950.012, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0" } ] } ``` # 取消資料儲存庫任務 您可以在資料儲存庫任務處於 PENDING 或 EXECUTING 狀態時取消該任務。當您取消任務時，會發生下列情況： + Amazon FSx 不會處理佇列中要處理的任何檔案。 + Amazon FSx 會繼續處理目前正在處理的任何檔案。 + Amazon FSx 不會還原任務已處理的任何檔案。 ## 取消資料儲存庫任務 （主控台） 1. 開啟位於 https：//[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) 的 Amazon FSx 主控台。 1. 按一下您要取消資料儲存庫任務的檔案系統。 1. 開啟**資料儲存庫**索引標籤，然後向下捲動以檢視**資料儲存庫任務**面板。 1. 為您要取消的任務選擇**任務 ID** 或**任務名稱**。 1. 選擇**取消任務**以取消任務。 1. 輸入任務 ID 以確認取消請求。 ## 取消資料儲存庫任務 (CLI) 使用 Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html) CLI 命令取消任務。 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html) 是對等的 API 命令。 + 使用下列命令取消資料儲存庫任務。 ``` aws fsx cancel-data-repository-task \ --task-id task-0123456789abcdef0 ``` 如果命令成功，Amazon FSx 會以 JSON 格式傳回回應。 ``` { "Status": "CANCELING", "TaskId": "task-0123456789abcdef0" } ``` # 使用任務完成報告 *任務完成報告*提供有關匯出、匯入或發行資料儲存庫任務結果的詳細資訊。報告包含任務處理的檔案結果，這些檔案符合報告的範圍。您可以使用 `Enabled` 參數指定是否要為任務產生報告。 Amazon FSx 會使用您在為任務啟用報告時指定的路徑，將報告傳送到 Amazon S3 中檔案系統的連結資料儲存庫。報告的檔案名稱`report.csv`適用於匯入任務，`failures.csv`也適用於匯出或發行任務。 報告格式是逗號分隔值 (CSV) 檔案，有三個欄位：`FilePath`、 `FileStatus`和 `ErrorCode`。 報告使用 RFC-4180-format編碼進行編碼，如下所示： + 以下列任何字元開頭的路徑包含在單引號中： `@ + - =` + 至少包含下列其中一個字元的字串包含在雙引號中： `" ,` + 所有雙引號都會以額外的雙引號逸出。 以下是報告編碼的一些範例： + `@filename.txt` 成為 `"""@filename.txt"""` + `+filename.txt` 成為 `"""+filename.txt"""` + `file,name.txt` 成為 `"file,name.txt"` + `file"name.txt` 成為 `"file""name.txt"` 如需 RFC-4180 編碼的詳細資訊，請參閱 IETF [網站上的逗號分隔值 (CSV) 檔案的 RFC-4180 - 常見格式和 MIME 類型](https://tools.ietf.org/html/rfc4180)。 以下是任務完成報告中提供的資訊範例，其中僅包含失敗的檔案。 ``` myRestrictedFile,failed,S3AccessDenied dir1/myLargeFile,failed,FileSizeTooLarge dir2/anotherLargeFile,failed,FileSizeTooLarge ``` 如需任務失敗及其解決方式的詳細資訊，請參閱 [對資料儲存庫任務失敗進行故障診斷](failed-tasks.md)。 # 對資料儲存庫任務失敗進行故障診斷 您可以[開啟記錄](cw-event-logging.md)到 CloudWatch Logs，以記錄有關使用資料儲存庫任務匯入或匯出檔案時遇到的任何失敗的資訊。如需 CloudWatch Logs 事件日誌的資訊，請參閱 [資料儲存庫事件日誌](data-repo-event-logs.md)。 當資料儲存庫任務失敗時，您可以在主控台**的任務狀態**頁面上，找到 Amazon FSx 在 檔案中**無法匯出的檔案**數目。或者，您可以使用 CLI 或 API 並檢視任務的 `Status: FailedCount` 屬性。如需存取此資訊的資訊，請參閱 [存取資料儲存庫任務](view-data-repo-tasks.md)。 對於資料儲存庫任務，Amazon FSx 也會選擇性地提供有關完成報告中失敗的特定檔案和目錄的資訊。任務完成報告包含檔案Lustre系統上失敗的檔案或目錄路徑、其狀態和失敗原因。如需詳細資訊，請參閱[使用任務完成報告](task-completion-report.md)。 資料儲存庫任務可能會因為多種原因而失敗，包括下列原因。 | 錯誤程式碼 | 說明 | | --- | --- | | `FileSizeTooLarge` | Amazon S3 支援的物件大小上限為 5 TiB。 | | `InternalError` | 匯入、匯出或發行任務的 Amazon FSx 檔案系統內發生錯誤。一般而言，此錯誤碼表示失敗任務執行的 Amazon FSx 檔案系統處於 FAILED 生命週期狀態。發生這種情況時，由於資料遺失，受影響的檔案可能無法復原。否則，您可以使用階層式儲存管理 (HSM) 命令，將檔案和目錄匯出至 S3 上的資料儲存庫。如需詳細資訊，請參閱[使用 HSM 命令匯出檔案](exporting-files-hsm.md)。 | | `OperationNotPermitted` | Amazon FSx 無法釋出檔案，因為它尚未匯出至連結的 S3 儲存貯體。您必須使用自動匯出或匯出資料儲存庫任務，以確保您的檔案先匯出至連結的 Amazon S3 儲存貯體。 | | `PathSizeTooLong` | 匯出路徑太長。S3 支援的物件金鑰長度上限為 1，024 個字元。 | | `ResourceBusy` | Amazon FSx 無法匯出或釋出檔案，因為檔案系統上的另一個用戶端正在存取該檔案。您可以在工作流程寫入檔案完成後重試 DataRepositoryTask。 | | `S3AccessDenied` | 拒絕對 Amazon S3 進行資料儲存庫匯出或匯入任務的存取。 對於匯出任務，Amazon FSx 檔案系統必須具有執行 `S3:PutObject`操作的許可，才能匯出至 S3 上連結的資料儲存庫。此許可是在`AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0`服務連結角色中授予。如需詳細資訊，請參閱[使用 Amazon FSx 的服務連結角色](using-service-linked-roles.md)。 對於匯出任務，因為匯出任務需要資料才能在檔案系統的 VPC 外部流動，如果目標儲存庫具有包含其中一個 `aws:SourceVpc`或 IAM `aws:SourceVpce` 全域條件金鑰的儲存貯體政策，則可能會發生此錯誤。 對於匯入任務，Amazon FSx 檔案系統必須具有執行 `S3:HeadObject`和 `S3:GetObject`操作的許可，才能從 S3 上連結的資料儲存庫匯入 。 對於匯入任務，如果您的 S3 儲存貯體使用伺服器端加密搭配存放在 AWS Key Management Service (SSE-KMS) 中的客戶受管金鑰，您必須遵循 中的政策組態[使用伺服器端加密的 Amazon S3 儲存貯體](s3-server-side-encryption-support.md)。 如果您的 S3 儲存貯體包含從與檔案系統連結的 S3 儲存貯體帳戶 AWS 帳戶 不同的 上傳的物件，您可以確保資料儲存庫任務可以修改 S3 中繼資料或覆寫 S3 物件，無論其上傳的帳戶為何。我們建議您為 S3 儲存貯體啟用 S3 物件擁有權功能。此功能可讓您取得其他 AWS 帳戶 上傳到儲存貯體的新物件的所有權，方法是強制上傳以提供`-/-acl bucket-owner-full-control`標準 ACL。您可以在 S3 儲存貯體中選擇**儲存貯體擁有者偏好的**選項，以啟用 S3 物件擁有權。如需詳細資訊，請參閱《Amazon [ S3 使用者指南》中的使用 S3 物件擁有權控制上傳物件的擁有權](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html)。 *Amazon S3 * | | `S3Error` | Amazon FSx 遇到非 的 S3-related錯誤`S3AccessDenied`。 | | `S3FileDeleted` | Amazon FSx 無法匯出硬連結檔案，因為來源檔案不存在於資料儲存庫中。 | | `S3ObjectInUnsupportedTier` | Amazon FSx 成功從 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別匯入非符號連結物件。`FileStatus` 將在`succeeded with warning`任務完成報告中。警告指出若要擷取資料，您必須先還原 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 物件，然後使用 `hsm_restore`命令匯入物件。 | | `S3ObjectNotFound` | Amazon FSx 無法匯入或匯出檔案，因為它不存在於資料儲存庫中。 | | `S3ObjectPathNotPosixCompliant` | Amazon S3 物件存在，但無法匯入，因為它不是 POSIX 相容物件。如需有關支援的 POSIX 中繼資料的資訊，請參閱 [資料儲存庫的 POSIX 中繼資料支援](posix-metadata-support.md)。 | | `S3ObjectUpdateInProgressFromFileRename` | Amazon FSx 無法釋出檔案，因為自動匯出正在處理檔案的重新命名。必須先完成自動匯出重新命名程序，才能釋出檔案。 | | `S3SymlinkInUnsupportedTier` | Amazon FSx 無法匯入符號連結物件，因為它位於不支援的 Amazon S3 儲存類別中，例如 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別。`FileStatus` 將在`failed`任務完成報告中。 | | `SourceObjectDeletedBeforeReleasing` | Amazon FSx 無法從檔案系統釋出檔案，因為檔案在可以釋出之前已從資料儲存庫中刪除。 | # 釋出檔案 釋出資料儲存庫任務 從您的 FSx for Lustre 檔案系統釋出檔案資料，以釋放新檔案的空間。釋出檔案會保留檔案清單和中繼資料，但會移除該檔案內容的本機副本。如果使用者或應用程式存取發行的檔案，資料會自動且透明地從連結的 Amazon S3 儲存貯體載入回檔案系統。 **注意** 發行資料儲存庫任務不適用於 FSx for Lustre 2.10 檔案系統。 參數 **要發佈的檔案系統路徑**和**自上次存取以來的最短持續時間**決定要發佈哪些檔案。 + **要發行的檔案系統路徑**：指定要發行檔案的路徑。 + **自上次存取以來的最短持續時間**：指定持續時間，以天為單位，因此任何在該持續時間內未存取的檔案都應釋出。自上次存取檔案以來的持續時間，計算方式為取得發行任務建立時間與上次存取檔案的時間之間的差異 （最大值為 `atime`、 `mtime`和 `ctime`)。 只有在檔案已匯出至 S3 且自上次存取以來的持續時間大於自上次存取值以來的最短持續時間時，才會沿著檔案路徑發佈檔案。提供自上次存取`0`天數以來的最短持續時間，將發行檔案，與自上次存取以來的持續時間無關。 **注意** 不支援使用萬用字元來包含或排除發行版本的檔案。 發行資料儲存庫任務只會從已匯出至連結 S3 資料儲存庫的檔案發行資料。您可以使用自動匯出功能、匯出資料儲存庫任務或 HSM 命令，將資料匯出至 S3。若要確認檔案已匯出至您的資料儲存庫，您可以執行下列命令。傳回值 `states: (0x00000009) exists archived`表示檔案已成功匯出。 ``` sudo lfs hsm_state path/to/export/file ``` **注意** 您必須以根使用者身分或使用 執行 HSM 命令`sudo`。 若要定期釋出檔案資料，您可以使用 Amazon EventBridge 排程器來排程週期性釋出資料儲存庫任務。如需詳細資訊，請參閱《Amazon [ EventBridge 排程器使用者指南》中的 EventBridge 排程器入門](https://docs.aws.amazon.com/scheduler/latest/UserGuide/getting-started.html)。 * EventBridge * **Topics** + [使用資料儲存庫任務來釋出檔案](release-files-task.md) # 使用資料儲存庫任務來釋出檔案 使用下列程序建立任務，使用 Amazon FSx 主控台和 CLI 從檔案系統釋出檔案。釋出檔案會保留檔案清單和中繼資料，但會移除該檔案內容的本機副本。 ## 釋出檔案 （主控台） 1. 開啟位於 https：//[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) 的 Amazon FSx 主控台。 1. 在左側導覽窗格中，選擇**檔案系統**，然後選擇您的Lustre檔案系統。 1. 選擇**資料儲存庫**索引標籤。 1. 在**資料儲存庫關聯**窗格中，選擇您要為其建立發行任務的資料儲存庫關聯。 1. 針對**動作**，選擇**建立發行任務**。只有在檔案系統連結至 S3 上的資料儲存庫時，才能使用此選項。**建立版本資料儲存庫任務**對話方塊隨即出現。 1. 在**要發行的檔案系統路徑中**，透過提供這些目錄或檔案的路徑，指定最多 32 個要從 Amazon FSx 檔案系統發行的目錄或檔案。您提供的路徑必須相對於檔案系統的掛載點。例如，如果掛載點是 `/mnt/fsx`且 `/mnt/fsx/path1` 是您要發行的檔案系統上的檔案，則提供的路徑為 `path1`。若要釋出檔案系統中的所有檔案，請指定正斜線 (/) 做為路徑。 **注意** 如果您提供的路徑無效，任務會失敗。 1. 對於**自上次存取以來的最短持續時間**，請指定持續時間，以天為單位，因此任何在該持續時間內未存取的檔案都應該釋出。上次存取時間的計算方式是使用 `atime`、 `mtime`和 的最大值`ctime`。上次存取持續時間大於上次存取後持續時間下限 （相對於任務建立時間） 的檔案將會釋出。上次存取持續時間少於此天數的檔案將不會釋出，即使它們位於**檔案系統釋出路徑**欄位中。提供釋出檔案的`0`持續時間，與上次存取之後的持續時間無關。 1. （選用） 在**完成報告**下，選擇**啟用**以產生任務完成報告，提供符合**報告**範圍中提供範圍之檔案的詳細資訊。若要指定 Amazon FSx 交付報告的位置，請在檔案系統連結的 S3 資料儲存庫中輸入報告路徑的**相對路徑**。 1. 選擇**建立資料儲存庫任務**。 **檔案系統**頁面頂端的通知會顯示您剛建立的任務。 若要檢視任務狀態和詳細資訊，請在**資料儲存庫**索引標籤中向下捲動至**資料儲存庫任務**。預設排序順序會在清單頂端顯示最新的任務。 若要從此頁面檢視任務摘要，請為您剛建立的任務選擇**任務 ID**。 ## 發行檔案 (CLI) + 使用 [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html) CLI 命令建立任務，在您的 FSx for Lustre 檔案系統上發行檔案。對應的 API 操作為 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html)。 設定下列參數： + 將 `--file-system-id`設定為您要從中釋出檔案的檔案系統 ID。 + `--paths` 將 設定為檔案系統上要從中釋出資料的路徑。如果指定目錄，則會釋出目錄中的檔案。如果指定檔案路徑，則只會釋出該檔案。若要釋出檔案系統中已匯出至連結 S3 儲存貯體的所有檔案，請為路徑指定正斜線 (/)。 + 將 `--type` 設定為 `RELEASE_DATA_FROM_FILESYSTEM`。 + 設定`--release-configuration DurationSinceLastAccess`選項，如下所示： + `Unit` – 設為 `DAYS`。 + `Value` – 指定代表持續時間的整數，以天為單位，因此任何在該持續時間內未存取的檔案都應釋出。在少於此天數期間存取的檔案將不會釋出，即使它們位於 `--paths` 參數中。提供釋出檔案的`0`天數，與上次存取之後的持續時間無關。 此範例命令指定匯出至連結 S3 儲存貯體且符合`--release-configuration`條件的檔案將從指定路徑中的目錄釋出。 ``` $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type RELEASE_DATA_FROM_FILESYSTEM \ --paths path1,path2/file1 \ --release-configuration '{"DurationSinceLastAccess":{"Unit":"DAYS","Value":10}}' \ --report Enabled=false ``` 成功建立資料儲存庫任務後，Amazon FSx 會將任務描述傳回為 JSON。 建立任務以釋出檔案後，您可以檢查任務的狀態。如需檢視資料儲存庫任務的詳細資訊，請參閱 [存取資料儲存庫任務](view-data-repo-tasks.md)。 # 將 Amazon FSx 與現場部署資料搭配使用 您可以使用 FSx for Lustre，透過雲端運算執行個體來處理內部部署資料。FSx for Lustre 支援透過 Direct Connect 和 VPN 進行存取，可讓您從內部部署用戶端掛載檔案系統。 **將 FSx for Lustre 與現場部署資料搭配使用** 1. 建立檔案系統。如需詳細資訊，請參閱入門練習[步驟 1：建立 FSx for Lustre 檔案系統](getting-started.md#getting-started-step1)中的 。 1. 從內部部署用戶端掛載檔案系統。如需詳細資訊，請參閱[從內部部署或對等 Amazon VPC 掛載 Amazon FSx 檔案系統](mounting-on-premises.md)。 1. 將您要處理的資料複製到 FSx for Lustre 檔案系統。 1. 在掛載檔案系統的雲端 Amazon EC2 執行個體上執行運算密集型工作負載。 1. 完成後，請將檔案系統的最終結果複製回內部部署資料位置，然後刪除 FSx for Lustre 檔案系統。 # 資料儲存庫事件日誌 您可以開啟記錄到 CloudWatch Logs，以記錄使用匯入、匯出、資料儲存庫任務和還原事件匯入或匯出檔案時遇到的任何失敗的相關資訊。如需詳細資訊，請參閱[使用 Amazon CloudWatch Logs 進行記錄](cw-event-logging.md)。 **注意** 當資料儲存庫任務失敗時，Amazon FSx 也會將失敗資訊寫入任務完成報告。如需完成報告中失敗資訊的詳細資訊，請參閱 [對資料儲存庫任務失敗進行故障診斷](failed-tasks.md)。 **Topics** + [匯入事件](#import-event-logging) + [匯出事件](#export-event-logging) + [HSM 還原事件](#hsm-restore-event-logging) ## 匯入事件 | 錯誤類型 | 日誌層級 | 日誌訊息 | 根本原因 | 完成報告中的錯誤碼 | | --- | --- | --- | --- | --- | | 列出物件失敗 | ERROR | 無法在 S3 儲存貯體 bucket\$1name 中列出字首為 的 S3 物件。 | Amazon FSx 無法列出 S3 儲存貯體中的 S3 物件。如果 S3 儲存貯體政策未提供足夠的 Amazon FSx 許可，就可能發生這種情況。 | N/A | | 不支援的 S3 儲存類別 | WARN | 由於不支援的層 S3\$1tier\$1name 中的 S3 物件，無法在 S3 bucket bucket\$1name 中匯入具有 key\$1value 的 S3 物件。 S3 S3 | Amazon FSx 無法匯入 S3 物件，因為它位於不支援的 Amazon S3 儲存類別中，例如 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別。 | S3ObjectInUnsupportedTier | | 不支援的符號連結儲存類別 | ERROR | 由於不支援的層 S3\$1tier\$1name 中的 S3 符號連結物件，無法在 S3 bucket bucket\$1name 中匯入具有 key\$1value 的 S3 物件。 S3 S3 | Amazon FSx 無法匯入符號連結物件，因為它位於不支援的 Amazon S3 儲存類別中，例如 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別。 | S3SymlinkInUnsupportedTier | | S3 存取遭拒 | ERROR | 無法在 S3 bucket\$1name 中使用 key\$1value 匯入 S3 物件，因為對 S3 物件的存取遭拒。 | 拒絕存取 Amazon S3 以進行資料儲存庫匯出匯入任務。 對於匯入任務，Amazon FSx 檔案系統必須具有執行 `s3:HeadObject`和 `s3:GetObject`操作的許可，才能從 S3 上連結的資料儲存庫匯入 。 對於匯入任務，如果您的 S3 儲存貯體使用伺服器端加密搭配存放在 AWS Key Management Service (SSE-KMS) 中的客戶受管金鑰，您必須遵循 中的政策組態[使用伺服器端加密的 Amazon S3 儲存貯體](s3-server-side-encryption-support.md)。 | S3AccessDenied | | 刪除存取遭拒 | ERROR | 無法刪除 S3 物件的本機檔案，且 S3 bucket bucket\$1name 中具有 key\$1value，因為對 S3 物件的存取遭拒。 | 自動匯入已拒絕存取 S3 物件。 | N/A | | 非 POSIX 相容物件 | ERROR | 無法在 S3 bucket\$1name 中使用 key\$1value 匯入 S3 物件，因為 S3 物件不符合 POSIX。 | Amazon S3 物件存在，但無法匯入，因為它不是 POSIX 相容物件。如需有關支援的 POSIX 中繼資料的資訊，請參閱 [資料儲存庫的 POSIX 中繼資料支援](posix-metadata-support.md)。 | S3ObjectPathNotPosixCompliant | | 物件類型不相符 | ERROR | 無法在 S3 bucket\$1name 中匯入具有 key\$1value 的 S3 物件，因為具有相同名稱的 S3 物件已匯入檔案系統。 | 匯入的 S3 物件與檔案系統中具有相同名稱的現有物件類型 （檔案或目錄） 不同。 | S3ObjectTypeMismatch | | 目錄中繼資料更新失敗 | ERROR | 由於內部錯誤，無法更新本機目錄中繼資料。 | 由於內部錯誤，無法匯入目錄中繼資料。 | N/A | | 找不到 S3 物件 | ERROR | 使用 key\$1value 匯入 S3 物件失敗，因為在 S3 儲存貯體 bucket\$1name 中找不到。 | Amazon FSx 無法匯入檔案中繼資料，因為對應的物件不存在於資料儲存庫中。 | S3FileDeleted | | 找不到 S3 儲存貯體 | ERROR | 由於儲存貯體不存在，無法在 S3 儲存貯體 bucket\$1name 中使用 key\$1value 匯入 S3 物件。 | Amazon FSx 無法自動將 S3 物件匯入檔案系統，因為 S3 儲存貯體不再存在。 | N/A | | 找不到 S3 儲存貯體 | ERROR | 由於儲存貯體不存在，無法刪除 S3 儲存貯體 bucket\$1name 中 key\$1value 之 S3 物件的本機檔案。 | Amazon FSx 無法刪除連結至檔案系統上 S3 物件的檔案，因為 S3 儲存貯體已不存在。 | N/A | | 目錄建立失敗 | ERROR | 由於內部錯誤，無法建立本機目錄。 | 由於內部錯誤，Amazon FSx 無法在檔案系統上自動匯入目錄建立。 | N/A | | 磁碟空間已滿 | ERROR | 因為檔案系統已滿，無法在 S3 儲存貯體 bucket\$1name 中匯入具有 key\$1value 的 S3 物件。 | 檔案系統在建立檔案或目錄時，會耗盡中繼資料伺服器上的磁碟空間 （多個）。 | N/A | ## 匯出事件 | 錯誤類型 | 日誌層級 | 日誌訊息 | 根本原因 | 完成報告中的錯誤碼 | | --- | --- | --- | --- | --- | | 存取遭拒 | ERROR | 匯出檔案失敗，因為對 S3 儲存貯體 bucket\$1name 中具有 key\$1value 的 S3 物件的存取遭拒。 | 拒絕 Amazon S3 存取資料儲存庫匯出任務。 對於匯出任務，Amazon FSx 檔案系統必須具有執行 `s3:PutObject`操作的許可，才能匯出至 S3 上連結的資料儲存庫。此許可是在`AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0`服務連結角色中授予。如需詳細資訊，請參閱[使用 Amazon FSx 的服務連結角色](using-service-linked-roles.md)。 由於匯出任務需要資料才能在檔案系統的 VPC 外部流動，如果目標儲存庫的儲存貯體政策包含其中一個 `aws:SourceVpc`或 IAM `aws:SourceVpce` 全域條件金鑰，則可能會發生此錯誤。 如果您的 S3 儲存貯體包含從與檔案系統連結的 S3 儲存貯體帳戶 AWS 帳戶 不同的 上傳的物件，您可以確保資料儲存庫任務可以修改 S3 中繼資料或覆寫 S3 物件，無論它們上傳的帳戶為何。我們建議您為 S3 儲存貯體啟用 S3 物件擁有權功能。此功能可讓您取得其他 AWS 帳戶 上傳到儲存貯體的新物件的所有權，方法是強制上傳以提供`--acl bucket-owner-full-control`標準 ACL。您可以在 S3 儲存貯體中選擇**儲存貯體擁有者偏好的**選項，以啟用 S3 物件擁有權。如需詳細資訊，請參閱《Amazon [ S3 使用者指南》中的使用 S3 物件擁有權控制上傳物件的擁有權](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html)。 *Amazon S3 * | S3AccessDenied | | 匯出路徑太長 | ERROR | 匯出檔案失敗，因為本機檔案路徑大小超過 S3 支援的物件金鑰長度上限。 | 匯出路徑太長。S3 支援的物件金鑰長度上限為 1，024 個字元。 | PathSizeTooLong | | 檔案太大 | ERROR | 匯出檔案失敗，因為檔案大小超過支援的 S3 物件大小上限。 | Amazon S3 支援的物件大小上限為 5 TiB。 | FileSizeTooLarge | | 找不到 KMS 金鑰 | ERROR | 無法在 S3 儲存貯體 bucket\$1name 中使用 key\$1value 匯出 S3 物件的檔案，因為找不到儲存貯體的 KMS 金鑰。 | 由於找不到 ，Amazon FSx AWS KMS key 無法匯出檔案。請務必使用 AWS 區域 與 S3 儲存貯體位於相同 的金鑰。如需建立 KMS 金鑰的詳細資訊，請參閱 AWS Key Management Service 《開發人員指南》中的[建立金鑰](https://docs.aws.amazon.com/kms/latest/developerguide/create-keys.html)。 | N/A | | 資源忙碌 | ERROR | 匯出檔案失敗，因為另一個程序正在使用該檔案。 | Amazon FSx 無法匯出檔案，因為檔案系統上的另一個用戶端正在修改該檔案。您可以在工作流程完成寫入檔案後重試任務。 | ResourceBusy | | 檔案已發行 | WARN | 匯出已略過：本機檔案處於已釋出狀態，且在儲存貯體 bucket\$1name 中找不到具有 key\$1value 的連結 S3 物件。 | Amazon FSx 無法匯出檔案，因為它在檔案系統上處於發行狀態。 | N/A | | 資料儲存庫路徑不相符 | WARN | 匯出已略過：本機檔案不屬於資料儲存庫連結的檔案系統路徑。 | Amazon FSx 無法匯出，因為物件不屬於連結至資料儲存庫的檔案系統路徑。 | N/A | | 內部錯誤 | ERROR | 匯出檔案系統物件時，自動匯出遇到內部錯誤 | 由於內部 (auto-export- 或 lustre-level) 錯誤，匯出失敗。 | N/A | | 完成報告上傳失敗 | ERROR | 無法將資料儲存庫任務完成報告上傳至 bucket\$1name | Amazon FSx 無法上傳完成報告。 | N/A | | 完成報告驗證失敗 | ERROR | 無法將資料儲存庫任務完成報告上傳至 bucket\$1name，因為完成報告路徑 report\$1path 不屬於與此檔案系統相關聯的資料儲存庫 | Amazon FSx 無法上傳完成報告，因為客戶提供的 S3 路徑不屬於連結的資料儲存庫。 | N/A | ## HSM 還原事件 | 錯誤類型 | 日誌層級 | 日誌訊息 | 根本原因 | | --- | --- | --- | --- | | 存取遭拒 | ERROR | 無法還原檔案，因為存取 S3 儲存貯體 bucket\$1name 中的 S3 物件 object\$1name 遭拒。 | 嘗試使用 HSM 命令還原檔案時，Amazon S3 的存取遭拒。檔案系統必須具有執行 `s3:HeadObject`和 `s3:GetObject`操作的許可，才能從 S3 上連結的資料儲存庫還原。 | | 不支援的 S3 儲存類別 | WARN | 無法還原檔案，因為 bucket\$1name 中的 S3 物件 object\$1name 位於不支援的 S3\$1storage\$1class \$1name。 | Amazon FSx 無法還原檔案，因為對應的 S3 物件位於 S3 不支援的儲存類別，例如 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive。您必須先從 Glacier 儲存類別還原物件，才能使用 `hsm_restore`。 | | 找不到 S3 物件 | ERROR | 無法還原檔案，因為在 S3 儲存貯體 bucket\$1name 中找不到具有 key\$1value 的 S3 物件。 | Amazon FSx 無法還原檔案，因為對應的 S3 物件不存在於資料儲存庫中。 | | 找不到 S3 儲存貯體 | ERROR | 無法還原檔案，因為 S3 儲存貯體 bucket\$1name 不存在。 | Amazon FSx 無法還原檔案，因為連結的 S3 儲存貯體已不存在。 | | 磁碟空間已滿 | ERROR | 無法還原檔案，因為檔案系統上沒有可用的儲存空間。 | 檔案系統用盡可用的儲存空間，同時嘗試從 S3 還原檔案資料。考慮增加檔案系統的儲存容量或釋放檔案以釋放空間。 | # 使用較舊的部署類型 本節適用於具有 Scratch 1 部署類型的檔案系統，也適用於具有不使用資料儲存庫關聯的 `Scratch 2`或 `Persistent 1` 部署類型的檔案系統。請注意，FSx for Lustre 檔案系統無法使用未使用資料儲存庫關聯的多個資料儲存庫的自動匯出和支援。 **Topics** + [將您的檔案系統連結至 Amazon S3 儲存貯體](#legacy-link-to-S3) + [從 S3 儲存貯體自動匯入更新](#legacy-auto-import-from-s3) ## 將您的檔案系統連結至 Amazon S3 儲存貯體 當您建立 Amazon FSx for Lustre 檔案系統時，您可以將其連結至 Amazon S3 中的耐用資料儲存庫。建立檔案系統之前，請確定您已建立要連結的 Amazon S3 儲存貯體。在**建立檔案系統**精靈中，您可以在選用的資料儲存庫**匯入/匯出窗格中設定下列資料儲存庫**組態屬性。 + 選擇建立檔案系統後，當您在 S3 儲存貯體中新增或修改物件時，Amazon FSx 如何讓您的檔案和目錄清單保持最新狀態。如需詳細資訊，請參閱[從 S3 儲存貯體自動匯入更新](#legacy-auto-import-from-s3)。 + **匯入儲存貯**體：輸入您用於連結儲存庫的 S3 儲存貯體名稱。 + **匯入字首**：如果您只想將 S3 儲存貯體中的某些檔案和目錄資料清單匯入檔案系統，請輸入選用的匯入字首。匯入字首會定義 S3 儲存貯體中要從何處匯入資料。 + **匯出字首**：定義 Amazon FSx 將檔案系統內容匯出至連結 S3 儲存貯體的位置。 您可以擁有 1：1 映射，其中 Amazon FSx 會將資料從 FSx for Lustre 檔案系統匯出回匯入來源的 S3 儲存貯體上的相同目錄。若要進行 1：1 映射，請在建立檔案系統時指定無任何字首的 S3 儲存貯體匯出路徑。 + 當您使用主控台建立檔案系統時，請選擇**匯出字首 > 您指定的字**首選項，並將字首欄位保留空白。 + 當您使用 CLI AWS 或 API 建立檔案系統時，請將匯出路徑指定為 S3 儲存貯體的名稱，不含任何其他字首，例如 `ExportPath=s3://amzn-s3-demo-bucket/`。 使用此方法，您可以在指定匯入路徑時包含匯入字首，且不會影響匯出的 1：1 映射。 ### 建立連結至 S3 儲存貯體的檔案系統 下列程序會逐步引導您使用 AWS 管理主控台和 AWS 命令列界面 (AWS CLI) 建立連結至 S3 儲存貯體的 Amazon FSx 檔案系統。 ------ #### [ Console ] 1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台。 1. 從儀表板中，選擇**建立檔案系統**。 1. 針對檔案系統類型，選擇 **FSx for Lustre**，然後選擇**下一步**。 1. 提供**檔案系統詳細資訊**以及**網路和安全**區段所需的資訊。如需詳細資訊，請參閱[步驟 1：建立 FSx for Lustre 檔案系統](getting-started.md#getting-started-step1)。 1. 您可以使用**資料儲存庫匯入/匯出**面板，在 Amazon S3 中設定連結的資料儲存庫。選取**從 匯入資料並將資料匯出至 S3**，以展開**資料儲存庫匯入/匯出**區段，並設定資料儲存庫設定。 ![\[用於在 Amazon S3 中設定連結資料儲存庫的資料儲存庫匯入和匯出面板。\]](http://docs.aws.amazon.com/zh_tw/fsx/latest/LustreGuide/images/legacy-data-repository-import-export.png) 1. 選擇當您在 S3 儲存貯體中新增或修改物件時，Amazon FSx 如何讓您的檔案和目錄清單保持最新狀態。建立檔案系統時，現有的 S3 物件會顯示為檔案和目錄清單。 + 當**物件新增至我的 S3 儲存貯體時，更新我的檔案和目錄清單**：（預設） Amazon FSx 會自動更新新增至連結 S3 儲存貯體且目前不存在於 FSx 檔案系統中的任何新物件的檔案和目錄清單。Amazon FSx 不會更新 S3 儲存貯體中已變更之物件的清單。Amazon FSx 不會刪除在 S3 儲存貯體中刪除的物件清單。 **注意** 使用 CLI 和 API 從連結的 S3 儲存貯體匯入資料的預設匯入偏好設定為 `NONE`。使用主控台時的預設匯入偏好設定是在將新物件新增至 S3 儲存貯體Lustre時更新。 + 在 S**S3儲存貯體中新增或變更物件時更新我的檔案和目錄清單**：Amazon FSx 會自動更新新增至 S3 儲存貯體的任何新物件的檔案和目錄清單，以及選擇此選項後在 S3 儲存貯體中變更的任何現有物件。Amazon FSx 不會刪除在 S3 儲存貯體中刪除的物件清單。 + 在**從 S3 儲存貯體新增、變更或刪除物件時更新我的檔案和目錄清單**：Amazon FSx 會自動更新新增至 S3 儲存貯體的任何新物件的檔案和目錄清單、在 S3 儲存貯體中變更的任何現有物件，以及在您選擇此選項後在 S3 儲存貯體中刪除的任何現有物件。 + **當從我的 S3 儲存貯體新增、變更或刪除物件時，請勿更新我的檔案並直接列出** - Amazon FSx 只會在建立檔案系統時，從連結的 S3 儲存貯體更新檔案和目錄清單。選擇此選項後，FSx 不會更新任何新物件、變更物件或刪除物件的檔案和目錄清單。 1. 如果您只想將 S3 儲存貯體中的部分檔案和目錄清單匯入檔案系統，請輸入選用的**匯入字首**。匯入字首會定義 S3 儲存貯體中要從何處匯入資料。如需詳細資訊，請參閱[從 S3 儲存貯體自動匯入更新](autoimport-data-repo-dra.md)。 1. 選擇其中一個可用的**匯出字首**選項： + **Amazon FSx 在您的儲存貯體中建立的唯一字**首：選擇此選項，使用 FSx for Lustre 產生的字首匯出新的和已變更的物件。字首如下所示：`/FSxLustrefile-system-creation- timestamp`。時間戳記使用 UTC 格式，例如 `FSxLustre20181105T222312Z`。 + **您從中匯入的相同字首 （將現有物件取代為更新的物件）**：選擇此選項以將現有物件取代為更新的物件。 + **您指定的字首**：選擇此選項可保留匯入的資料，並使用您指定的字首匯出新的和已變更的物件。若要在將資料匯出至 S3 儲存貯體時達成 1：1 映射，請選擇此選項並將字首欄位保留空白。FSx 會將資料匯出至匯入來源的相同目錄。 1. （選用） 設定**維護偏好設定**，或使用系統預設值。 1. 選擇**下一步**，然後檢閱檔案系統設定。視需要進行任何變更。 1. 選擇 **Create file system (建立檔案系統)**。 ------ #### [ AWS CLI ] 下列範例會建立連結至 的 Amazon FSx 檔案系統`amzn-s3-demo-bucket`，其匯入偏好設定會在建立檔案系統後，在連結的資料儲存庫中匯入任何新的、已變更和已刪除的檔案。 **注意** 使用 CLI 和 API 從連結的 S3 儲存貯體匯入資料的預設匯入偏好設定為 `NONE`，這與使用主控台時的預設行為不同。 若要建立 FSx for Lustre 檔案系統，請使用 Amazon FSx CLI 命令 [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html)，如下所示。對應的 API 操作為 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html)。 ``` $ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.10 \ --lustre-configuration AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s 3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export, PerUnitStorageThroughput=50 \ --storage-capacity 2400 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2 ``` 成功建立檔案系統後，Amazon FSx 會將檔案系統描述傳回為 JSON，如下列範例所示。 ``` { "FileSystems": [ { "OwnerId": "owner-id-string", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "FileSystemTypeVersion": "2.10", "Lifecycle": "CREATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 }, "PerUnitStorageThroughput": 50 } } ] } ``` ------ ### 檢視檔案系統的匯出路徑 您可以使用 FSx for Lustre 主控台、 CLI AWS 和 API 檢視檔案系統的匯出路徑。 ------ #### [ Console ] 1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台 1. 針對您要檢視匯出路徑的 FSx for Lustre 檔案系統，選擇檔案系統**名稱**或**檔案系統 ID**。 該檔案系統的檔案系統詳細資訊頁面隨即出現。 1. 選擇**資料儲存庫**索引標籤。 **資料儲存庫整合**面板隨即出現，顯示匯入和匯出路徑。 ![\[資料儲存庫整合面板中的資料儲存庫匯入和匯出路徑。\]](http://docs.aws.amazon.com/zh_tw/fsx/latest/LustreGuide/images/legacy-view-export-path.png) ------ #### [ CLI ] 若要判斷檔案系統的匯出路徑，請使用 AWS CLI [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) 命令。 ``` aws fsx describe-file-systems ``` 在回應`LustreConfiguration`中尋找 下的 `ExportPath` 屬性。 ``` { "OwnerId": "111122223333", "CreationTime": 1563382847.014, "FileSystemId": "", "FileSystemType": "LUSTRE", "Lifecycle": "AVAILABLE", "StorageCapacity": 2400, "VpcId": "vpc-6296a00a", "SubnetIds": [ "subnet-1111111" ], "NetworkInterfaceIds": [ "eni-0c288d5b8cc06c82d", "eni-0f38b702442c6918c" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre System" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": " NEW_CHANGED_DELETED", "Lifecycle": "AVAILABLE", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z", "ImportedFileChunkSize": 1024 } }, "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "6:09:30" } ``` ------ ### 資料儲存庫生命週期狀態 資料儲存庫生命週期狀態提供檔案系統連結資料儲存庫的狀態資訊。資料儲存庫可以有下列生命週期狀態。 + **建立**：Amazon FSx 正在建立檔案系統和連結資料儲存庫之間的資料儲存庫組態。資料儲存庫無法使用。 + **可用**：資料儲存庫可供使用。 + **更新**：資料儲存庫組態正在進行客戶啟動的更新，這可能會影響其可用性。 + **設定錯誤**：在更正資料儲存庫組態之前，Amazon FSx 無法自動從 S3 儲存貯體匯入更新。如需詳細資訊，請參閱[對設定錯誤的連結 S3 儲存貯體進行故障診斷](troubleshooting-misconfigured-data-repository.md)。 您可以使用 Amazon FSx 主控台、 AWS 命令列界面和 Amazon FSx API 檢視檔案系統連結的資料儲存庫生命週期狀態。在 Amazon FSx 主控台中，您可以在檔案系統的資料儲存庫標籤**的資料儲存庫整合**窗格中存取**資料儲存庫****生命週期狀態**。`Lifecycle` 屬性位於 CLI [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) 命令回應中的 `DataRepositoryConfiguration` 物件 （同等 API 動作為 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html))。 ## 從 S3 儲存貯體自動匯入更新 根據預設，當您建立新的檔案系統時，Amazon FSx 會在建立檔案系統時，匯入連結 S3 儲存貯體中物件的檔案中繼資料 （名稱、擁有權、時間戳記和許可）。您可以設定 FSx for Lustre 檔案系統，在建立檔案系統後自動匯入 S3 儲存貯體中新增、變更或刪除的物件中繼資料。FSx for Lustre 會在建立後更新變更物件的檔案和目錄清單，方式與檔案系統建立時匯入檔案中繼資料的方式相同。當 Amazon FSx 更新變更物件的檔案和目錄清單時，如果 S3 儲存貯體中的變更物件不再包含其中繼資料，Amazon FSx 會維護檔案目前的中繼資料值，而不是使用預設許可。 **注意** 在 2020 年 7 月 23 日東部時間下午 3：00 之後建立的 FSx for Lustre 檔案系統上，可以使用匯入設定。 您可以在建立新的檔案系統時設定匯入偏好設定，而且您可以使用 FSx 管理主控台、 AWS CLI 和 AWS API 在現有檔案系統上更新設定。建立檔案系統時，現有的 S3 物件會顯示為檔案和目錄清單。建立檔案系統之後，您希望如何在更新 S3 儲存貯體的內容時更新它？ 檔案系統可以有下列其中一個匯入偏好設定： **注意** FSx for Lustre 檔案系統及其連結的 S3 儲存貯體必須位於相同 AWS 區域，才能自動匯入更新。 + 當**物件新增至我的 S3 儲存貯體時，更新我的檔案和目錄清單**：（預設） Amazon FSx 會自動更新新增至連結 S3 儲存貯體且目前不存在於 FSx 檔案系統中的任何新物件的檔案和目錄清單。Amazon FSx 不會更新 S3 儲存貯體中已變更之物件的清單。Amazon FSx 不會刪除在 S3 儲存貯體中刪除的物件清單。 **注意** 使用 CLI 和 API 從連結的 S3 儲存貯體匯入資料的預設匯入偏好設定為 `NONE`。使用主控台時的預設匯入偏好設定是在將新物件新增至 S3 儲存貯體Lustre時更新。 + 在 S**S3儲存貯體中新增或變更物件時更新我的檔案和目錄清單**：Amazon FSx 會自動更新新增至 S3 儲存貯體的任何新物件的檔案和目錄清單，以及選擇此選項後在 S3 儲存貯體中變更的任何現有物件。Amazon FSx 不會刪除在 S3 儲存貯體中刪除的物件清單。 + 在**從 S3 儲存貯體新增、變更或刪除物件時更新我的檔案和目錄清單**：Amazon FSx 會自動更新新增至 S3 儲存貯體的任何新物件的檔案和目錄清單、在 S3 儲存貯體中變更的任何現有物件，以及在您選擇此選項後在 S3 儲存貯體中刪除的任何現有物件。 + **在從 S3 儲存貯體新增、變更或刪除物件時，請勿更新我的檔案並直接列出** - 建立檔案系統時，Amazon FSx 只會更新連結 S3 儲存貯體中的檔案和目錄清單。選擇此選項後，FSx 不會更新任何新物件、變更物件或刪除物件的檔案和目錄清單。 當您設定匯入偏好設定以根據連結 S3 儲存貯體中的變更更新檔案系統檔案和目錄清單時，Amazon FSx 會在名為 的連結 S3 儲存貯體上建立事件通知組態`FSx`。請勿修改或刪除 S3 儲存貯體上的`FSx`事件通知組態，如此可防止自動將新的或變更的檔案和目錄清單匯入至您的檔案系統。 當 Amazon FSx 更新在連結的 S3 儲存貯體上變更的檔案清單時，即使檔案已寫入鎖定，也會以更新版本覆寫本機檔案。同樣地，當 Amazon FSx 在連結的 S3 儲存貯體上刪除對應的物件時更新檔案清單時，即使檔案已寫入鎖定，也會刪除本機檔案。 Amazon FSx 會盡最大努力更新您的檔案系統。在下列情況中，Amazon FSx 無法在變更時更新檔案系統： + 當 Amazon FSx 沒有開啟已變更或新 S3 物件的許可時。 + 刪除或變更連結 S3 儲存貯體上的`FSx`事件通知組態時。 這兩種條件都會導致資料儲存庫生命週期狀態變成**設定錯誤**。如需詳細資訊，請參閱[資料儲存庫生命週期狀態](#legacy-data-lifecycle)。 ### 先決條件 Amazon FSx 需要下列條件，才能從連結的 S3 儲存貯體自動匯入新的、已變更或刪除的檔案： + 檔案系統及其連結的 S3 儲存貯體必須位於相同的 AWS 區域。 + S3 儲存貯體沒有設定錯誤的生命週期狀態。如需詳細資訊，請參閱[資料儲存庫生命週期狀態](#legacy-data-lifecycle)。 + 您的帳戶必須具有在連結的 S3 儲存貯體上設定和接收事件通知所需的許可。 ### 支援的檔案變更類型 Amazon FSx 支援將下列變更匯入至連結 S3 儲存貯體中發生的檔案和資料夾： + 檔案內容的變更 + 檔案或資料夾中繼資料的變更 + 符號連結目標或中繼資料的變更 ### 更新匯入偏好設定 您可以在建立新檔案系統時設定檔案系統的匯入偏好設定。如需詳細資訊，請參閱[將您的檔案系統連結至 Amazon S3 儲存貯體](create-dra-linked-data-repo.md)。 您也可以在使用 AWS 管理主控台、 CLI 和 Amazon FSx API AWS 建立檔案系統的匯入偏好設定後更新，如下列程序所示。 ------ #### [ Console ] 1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台。 1. 從儀表板中，選擇**檔案系統**。 1. 選取您要管理的檔案系統，以顯示檔案系統詳細資訊。 1. 選擇**資料儲存庫**以檢視資料儲存庫設定。如果生命週期狀態為**可用**或 **MISCONFIGURED**，您可以修改匯入偏好設定。如需詳細資訊，請參閱[資料儲存庫生命週期狀態](#legacy-data-lifecycle)。 1. 選擇**動作**，然後選擇**更新匯入偏好設定**以顯示**更新匯入偏好設定**對話方塊。 1. 選取新設定，然後選擇**更新**以進行變更。 ------ #### [ CLI ] 若要更新匯入偏好設定，請使用 CLI [https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html) 命令。對應的 API 操作為 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html)。 成功更新檔案系統的 後`AutoImportPolicy`，Amazon FSx 會將更新檔案系統的描述傳回為 JSON，如下所示： ``` { "FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "Lifecycle": "UPDATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 } "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "2:04:30" } } ] } ``` ------