기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# SageMaker Neo를 사용한 모델 성능 최적화
<a name="neo"></a>

Neo는 기계 학습 모델을 한 번 훈련시키며 클라우드와 엣지의 어디서나 실행할 수 있는 Amazon SageMaker AI의 기능입니다.

SageMaker Neo를 처음 사용하는 경우 [엣지 장치 시작하기](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-getting-started-edge.html) 섹션을 확인하여 컴파일하고 엣지 장치에 배포하는 방법에 대한 단계별 지침을 숙지하는 것을 권장합니다.

## SageMaker Neo란?
<a name="neo-what-it-is"></a>

일반적으로, 여러 플랫폼에서 추론을 위한 기계 학습 모델을 최적화하는 것은 각 플랫폼의 특정 하드웨어와 소프트웨어 구성에 맞춰 모델을 수동으로 조정해야 하기 때문에 어렵습니다. 주어진 워크로드에 대해 최적의 성능을 얻으려는 경우에는 여러 요소 중에서도 하드웨어 아키텍처, 명령 세트, 메모리 액세스 패턴 및 입력 데이터 셰이프에 대해 알아야 합니다. 기존에 소프트웨어를 개발하는 경우에는 컴파일러 및 프로파일러 등과 같은 도구가 개발 프로세스를 간소화합니다. 기계 학습의 경우 대부분의 도구는 프레임워크 또는 하드웨어와 관련이 있습니다. 따라서 개발자가 신뢰할 수 없고 생산성이 떨어지는 시행착오 과정을 직접 수행할 수 밖에 없습니다.

Neo는 Ambarella, ARM, Intel, Nvidia, NXP, Qualcomm, Texas Instruments 및 Xilinx의 프로세서를 기반으로 Android, Linux 및 Windows 머신에서 추론하기 위해 Gluon, Keras, MXNet, PyTorch, TensorFlow, TensorFlow-Lite 및 ONNX 모델을 자동으로 최적화합니다. Neo는 프레임워크에서 Model Zoo에 사용할 수 있는 컴퓨터 비전 모델로 테스트합니다. SageMaker Neo는 클라우드 인스턴스(Inferentia 포함) 및 엣지 장치라는 두 가지 주요 플랫폼에 대한 컴파일 및 배포를 지원합니다.

지원되는 프레임워크 및 배포할 수 있는 클라우드 인스턴스 유형에 대한 자세한 내용은 클라우드 인스턴스를 위한 [지원되는 인스턴스 유형 및 프레임워크](neo-supported-cloud.md)을 참고하세요.

엣지 디바이스용으로 SageMaker Neo가 테스트한 지원되는 프레임워크, 엣지 디바이스, 운영 체제, 칩 아키텍처, 일반적인 기계 학습 모델에 대한 자세한 내용은 엣지 디바이스를 위한 [지원되는 프레임워크, 디바이스, 시스템, 아키텍처](neo-supported-devices-edge.md) 섹션을 참조하세요.

## 작동 방식
<a name="neo-how-it-works"></a>

Neo는 컴파일러와 런타임으로 이루어져 있습니다. 먼저, Neo 컴파일 API는 여러 프레임워크에서 내보낸 모델을 읽고, 프레임워크별 함수와 작업을 프레임워크와 무관한 중간 표시로 변환합니다. 다음에는 일련의 최적화를 수행합니다. 이 API는 최적화된 작업에 대한 바이너리 코드를 생성해 공유 객체 라이브러리에 기록하고, 모델 정의 및 파라미터를 별도 파일에 저장합니다. 또한 Neo는 컴파일된 모델을 로드 및 실행하는 각 대상 플랫폼에 런타임을 제공합니다.

![SageMaker AI에서 Neo가 작동하는 방식.](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/neo/neo_how_it_works.png)


SageMaker AI 콘솔, AWS Command Line Interface (AWS CLI), Python 노트북 또는 SageMaker AI SDK에서 Neo 컴파일 작업을 만들 수 있습니다. 모델을 컴파일하는 방법에 대한 자세한 내용은 [Neo를 사용한 모델 컴파일](neo-job-compilation.md) 섹션을 참조하세요. 몇 가지 CLI 명령, API 호출 또는 몇 번의 클릭을 실행하면 선택한 플랫폼에 맞춰 모델을 변환할 수 있습니다. SageMaker AI 엔드포인트 또는 AWS IoT Greengrass 디바이스에 모델을 빠르게 배포할 수 있습니다.

Neo는 FP32 또는 INT8의 파라미터 또는 FP16 비트 너비로 양자화된 파라미터를 사용하여 모델을 최적화할 수 있습니다.

**Topics**
+ [SageMaker Neo란?](#neo-what-it-is)
+ [작동 방식](#neo-how-it-works)
+ [Neo를 사용한 모델 컴파일](neo-job-compilation.md)
+ [클라우드 인스턴스](neo-cloud-instances.md)
+ [엣지 디바이스](neo-edge-devices.md)
+ [오류 문제 해결](neo-troubleshooting.md)