使用 SOCI 加速容器啟動 - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 SOCI 加速容器啟動

SOCI (可擴展的開放容器計畫) 索引可在 Amazon SageMaker StudioAmazon SageMaker Unified Studio 中延遲載入自訂容器映像。SOCI 可大幅縮短自訂自帶映像 (BYOI)容器的啟動時間約 30-70%。延遲改善取決於映像的大小、託管執行個體可用性和其他應用程式相依性。SOCI 會建立索引,允許容器只使用必要的元件啟動,並視需要擷取其他檔案。

SOCI 解決容器啟動時間緩慢的問題,這會中斷自訂映像的反覆式機器學習 (ML) 開發工作流程。隨著 ML 工作負載變得越來越複雜,容器映像越來越大,造成啟動延遲,阻礙了開發週期。

主要優點

  • 更快速的反覆運算週期:根據映像和執行個體類型,減少容器啟動

  • 全域最佳化:將效能優勢擴展到 Studio 中的所有自訂 BYOI 容器

SOCI 索引的運作方式

SOCI 會建立特殊化中繼資料索引,以映射容器映像的內部檔案結構。此索引可讓您存取個別檔案,而無需下載整個映像。SOCI 索引會在 Amazon ECR 中儲存為符合 OCI (開放容器計畫) 的成品,並連結到原始容器映像,以保留映像摘要和簽章有效性。

當您在 Studio 中啟動容器時,系統會使用 SOCI 索引來僅識別和下載啟動所需的必要檔案。根據您的應用程式需求,會平行擷取其他元件。

架構元件

  • 原始容器映像:存放在 Amazon ECR 中的基礎容器

  • SOCI 索引成品:映射影像檔案結構的中繼資料

  • OCI 影像索引資訊清單:連結原始影像和 SOCI 索引

  • Finch 容器執行時間:啟用與 Studio 的延遲載入整合

支援的工具

工具 整合
nerdctl 需要容器化設定
Finch CLI 原生 SOCI 支援
Docker + SOCI CLI 所需的其他工具