View a markdown version of this page

Studio의 HyperPod 탭 - Amazon SageMaker AI
작업MetricsSettingsIDE 및 노트북세부 정보

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Studio의 HyperPod 탭

Amazon SageMaker Studio에서 HyperPod 클러스터의 컴퓨팅 아래에 있는 클러스터 중 하나로 이동하여 클러스터 목록을 볼 수 있습니다. 표시된 클러스터에는 작업, 하드웨어 지표, 설정 및 메타데이터 세부 정보와 같은 정보가 포함되어 있습니다. 이러한 가시성은 팀이 사전 훈련 워크로드 또는 미세 조정 워크로드에 적합한 후보를 식별하는 데 도움이 될 수 있습니다. 다음 섹션에서는 각 정보 유형에 대한 정보를 제공합니다.

작업

Amazon SageMaker HyperPod는 클러스터 작업에 대한 뷰를 제공합니다. 작업은 클러스터로 전송되는 작업입니다. 훈련, 실험 실행 또는 추론과 같은 기계 학습 작업일 수 있습니다. 다음 섹션에서는 HyperPod 클러스터 작업에 대한 정보를 제공합니다.

Amazon SageMaker Studio에서 HyperPod 클러스터의 컴퓨팅 아래에 있는 클러스터 중 하나로 이동하여 클러스터의 작업 정보를 볼 수 있습니다. 작업 보기에 문제가 있는 경우 문제 해결 섹션을 참조하세요.

작업 테이블에는 다음이 포함됩니다.

For Slurm clusters

Slurm 클러스터의 경우 현재 Slurm 작업 스케줄러 대기열에 있는 작업이 테이블에 표시됩니다. 각 작업에 대해 표시되는 정보에는 작업 이름, 상태, 작업 ID, 파티션, 런타임, 노드, 생성자 및 작업이 포함됩니다.

과거 작업에 대한 목록 및 세부 정보를 보려면 JupyterLab 또는 Code Editor 터미널에서 sacct 명령을 사용합니다. sacct 명령은 시스템에서 마쳤거나 완료된 작업에 대한 기록 정보를 보는 데 사용됩니다. 메모리 및 종료 상태와 같은 작업 리소스 사용량을 포함한 회계 정보를 제공합니다.

기본적으로 모든 Studio 사용자는 사용 가능한 모든 Slurm 작업을 보고 관리하고 상호 작용할 수 있습니다. Studio 사용자가 볼 수 있는 작업을 제한하려면 Studio에서 Slurm 클러스터에 대한 작업 보기 제한 섹션을 참조하세요.

For Amazon EKS clusters

Amazon EKS 클러스터의 경우 kubeflow(PyTorch, MPI, TensorFlow) 작업이 테이블에 나와 있습니다. PyTorch 작업은 기본적으로 표시됩니다. 작업 유형에서 PyTorch, MPI 및 TensorFlow를 정렬할 수 있습니다. 각 작업에 대해 표시되는 정보에는 작업 이름, 상태, 네임스페이스, 우선순위 클래스 및 생성 시간이 포함됩니다.

기본적으로 모든 사용자는 모든 네임스페이스에서 작업을 볼 수 있습니다. Studio 사용자가 볼 수 있는 Kubernetes 네임스페이스를 제한하려면 Studio에서 EKS 클러스터에 대한 작업 보기 제한 섹션을 참조하세요. 사용자가 작업을 볼 수 없고 네임스페이스를 제공하라는 메시지가 표시되면 관리자에게 해당 정보를 요청해야 합니다.

Metrics

Amazon SageMaker HyperPod는 Slurm 또는 Amazon EKS 클러스터 사용률 지표에 대한 뷰를 제공합니다. 다음은 HyperPod 클러스터 지표에 대한 정보를 제공합니다.

다음 지표를 보려면 Amazon EKS 추가 기능을 설치해야 합니다. 자세한 내용은 Amazon CloudWatch Observability EKS 추가 기능 설치를 참조하세요.

Amazon SageMaker Studio에서 HyperPod 클러스터의 컴퓨팅 아래에 있는 클러스터 중 하나로 이동하여 클러스터의 지표 세부 정보를 볼 수 있습니다. 지표는 하드웨어, 팀 및 작업 지표를 포함한 클러스터 사용률 지표에 대한 포괄적인 뷰를 제공합니다. 여기에는 컴퓨팅 가용성 및 사용량, 팀 할당 및 사용률, 작업 실행 및 대기 시간 정보가 포함됩니다.

Settings

Amazon SageMaker HyperPod는 클러스터 설정에 대한 뷰를 제공합니다. 다음은 HyperPod 클러스터 설정에 대한 정보를 제공합니다.

Amazon SageMaker Studio에서 HyperPod 클러스터의 컴퓨팅 아래에 있는 클러스터 중 하나로 이동하여 클러스터의 설정 정보를 볼 수 있습니다. 다음 정보가 포함됩니다.

  • 인스턴스 ID, 상태, 인스턴스 유형 및 인스턴스 그룹을 포함한 인스턴스 세부 정보

  • 인스턴스 그룹 이름, 유형, 개수 및 컴퓨팅 정보를 포함한 인스턴스 그룹 세부 정보

  • 오케스트레이터, 버전 및 인증 기관을 포함한 오케스트레이션 세부 정보

  • 클러스터 복원력 세부 정보

  • 서브넷 및 보안 그룹을 포함한 보안 세부 정보

IDE 및 노트북

Amazon SageMaker HyperPod는 클러스터에서 실행되는 개발 공간을 보여줍니다. 스페이스는 HyperPod EKS 클러스터에서 JupyterLab 또는 Code Editor IDEs 직접 실행하기 위한 독립형 환경입니다. Studio에서 직접 스페이스를 생성, 구성, 시작, 중지 및 열 수 있습니다.

Amazon SageMaker Studio에서 HyperPod 클러스터(컴퓨팅 아래)의 클러스터 중 하나로 이동하여 IDE 및 노트북 탭을 선택합니다.

Studio를 통해 사용할 수 있는 주요 기능은 다음과 같습니다.

  • 가이드 양식을 통해 구성 가능한 컴퓨팅, 스토리지 및 이미지 설정으로 공간을 생성합니다.

  • 이름, 애플리케이션 유형, 상태, 액세스 유형, 스토리지, GPU 및 vCPU 할당을 보여주는 검색 가능한 테이블의 모든 공간을 봅니다.

  • 클릭 한 번으로 스페이스를 시작하고 중지하여 컴퓨팅 비용을 관리합니다.

  • 브라우저(JupyterLab 또는 코드 편집기)에서 직접 스페이스를 열거나 원격 IDE를 통해 연결합니다. 자세한 내용은 SageMaker Spaces에 대한 원격 액세스 단원을 참조하십시오.

  • 더 이상 필요하지 않은 공백을 삭제합니다.

  • 네임스페이스를 선택하여 리소스 할당량 및 거버넌스 설정으로 팀별로 공간을 구성합니다.

  • 팀 간에 일관된 스페이스 구성을 위한 템플릿을 적용합니다.

도메인 생성에 대한 자세한 내용은 Amazon SageMaker AI 설정 가이드 섹션을 참조하세요.

사전 조건

  • 클러스터에 HyperPod 추가 기능을 설치합니다. 자세한 내용은 SageMaker AI Spaces 추가 기능 설치 단원을 참조하십시오.

  • Studio에서 사용할 클러스터를 설정합니다. 자세한 내용은 Studio에서 Amazon EKS 클러스터 설정 단원을 참조하십시오.

  • 실행 역할이 동일한 사용자 간에 프라이빗 공간을 활성화하려면 ExecutionRoleSessionNameMode 플래그가 로 설정되어 있는지 확인해야 합니다USER_IDENTITY. HyperPod Spaces 기능을 사용하면 스페이스 내에서 사용되는 사용자 이름이 Studio 인증 컨텍스트에서 자동으로 파생되므로 사용자는 추가 로그인 없이 Studio 및 HyperPod Spaces에서 일관된 ID를 가질 수 있습니다.

    IAM 인증 모드로 구성된 Studio 도메인의 경우 Spaces 사용자 이름은 IAM 역할 세션 이름에서 파생됩니다. 이는 AWS 관리 콘솔 또는 미리 서명된 Studio URL을 통해 Studio를 시작하는 데 사용되는 IAM 세션에 해당합니다. IAM Identity Center 인증 모드로 구성된 Studio 도메인의 경우 Spaces 사용자 이름은 삭제된 인증된 IAM Identity Center 사용자 이름입니다.

    이는 새 도메인에 대해 기본적으로 설정되며 이전 도메인에 대해 재정의할 수 있습니다. 각 사용자 프로필에 대해이 설정을 재정의할 수도 있습니다. 자세한 내용은 실행 역할 세션 이름 모드 단원을 참조하십시오.

작동 방식

추가 기능이 설치되고 액세스가 구성되면 Studio에서 HyperPod 클러스터로 이동하여 IDE 및 노트북 탭을 선택하여 스페이스 관리 인터페이스를 확인합니다.

스페이스 생성

새 스페이스를 생성하려면 스페이스 생성을 선택합니다. 생성 양식을 사용하면 다음을 구성할 수 있습니다.

  • 네임스페이스: 리소스 할당량 및 거버넌스 설정을 사용하여 팀 네임스페이스를 선택합니다. 이렇게 하면 사용 가능한 컴퓨팅 할당이 결정됩니다.

  • 스페이스 설정:

    • 템플릿: 사전 구성된 템플릿(예: JupyterLab 또는 코드 편집기)을 선택하여 기본 설정을 적용합니다.

    • 컴퓨팅: GPU, vCPUs 및 메모리를 세밀하게 제어할 수 있는 GPUs 및 CPU 구성 중에서 선택합니다.

    • GPU 파티션: 분할 GPU가 활성화된 경우 워크스페이스에 사용할 파티션을 선택할 수 있습니다.

    • 이미지: 사용 가능한 컨테이너 이미지 또는 관리자가 구성한 사용자 지정 이미지 중에서 선택합니다.

    • EBS 공간 스토리지: 노트북 및 데이터에 대한 영구 스토리지를 구성합니다.

  • 작업 거버넌스: 네임스페이스에 대해 활성화된 경우 스페이스는 리소스 관리 및 우선 순위 예약을 위해 HyperPod 작업 거버넌스와 통합됩니다. 자세한 내용은 HyperPod의 대화형 스페이스에 대한 작업 거버넌스 단원을 참조하십시오.

스페이스 관리

스페이스 테이블은 상태 및 리소스 할당을 포함하여 모든 환경에 대한 통합 보기를 제공합니다.

작업 열에서 다음을 수행할 수 있습니다.

  • EBS 스토리지에 데이터를 보존하면서 실행 중인 공간을 중지하여 컴퓨팅 리소스를 해제합니다.

  • 브라우저에서 공간을 열어 JupyterLab 또는 Code Editor 웹 인터페이스를 시작합니다.

  • 원격 IDE를 사용하여 연결합니다. 자세한 내용은 SageMaker Spaces에 대한 원격 액세스 단원을 참조하십시오.

스페이스에 연결

스페이스는 두 가지 연결 방법을 지원합니다.

웹 UI 액세스

스페이스 테이블에서 열기를 선택하여 브라우저에서 IDE를 직접 시작합니다. 그러면 HyperPod 클러스터에서 호스팅되는 전체 기능 JupyterLab 또는 코드 편집기 인터페이스가 열립니다. 웹 브라우저 외에는 로컬 소프트웨어를 설치할 필요가 없습니다. 이는 빠른 반복, 노트북 기반 탐색 및 협업 작업에 적합합니다. 클러스터에서 웹 UI 액세스를 활성화하려면 섹션을 참조하세요웹 브라우저 액세스.

원격 IDE 연결

스페이스 테이블에서 원격 IDE에서 열기를 선택하여 로컬 IDE를 HyperPod에서 실행되는 스페이스에 연결합니다. 이렇게 하면 SSH 키를 관리하거나 포트 22를 노출할 필요 없이 보안 연결이 가능합니다. HyperPod 클러스터 컴퓨팅에서 코드를 실행하는 동안 로컬 개발 환경의 모든 기능을 활용할 수 있습니다. 자세한 내용은 SageMaker Spaces에 대한 원격 액세스 단원을 참조하십시오.

세부 정보

Amazon SageMaker HyperPod는 클러스터 메타데이터 세부 정보에 대한 뷰를 제공합니다. 다음 단락에서는 HyperPod 클러스터 세부 정보를 가져오는 방법에 대한 정보를 제공합니다.

Amazon SageMaker Studio에서 HyperPod 클러스터의 컴퓨팅 아래에 있는 클러스터 중 하나로 이동하여 클러스터의 세부 정보를 볼 수 있습니다. 여기에는 태그, 로그 및 메타데이터가 포함됩니다.