기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # Amazon MWAA의 Apache Airflow 성능 튜닝 이 주제에서는 [Amazon MWAA에서 Apache Airflow 구성 옵션 사용](configuring-env-variables.md)을 사용하여 Amazon Managed Workflows for Apache Airflow 환경의 성능을 조정할 때 권장하는 모범 사례를 설명합니다. **Contents** + [Apache Airflow 구성 옵션 추가](#best-practices-tuning-console-add) + [Apache Airflow 스케줄러](#best-practices-tuning-scheduler) + [파라미터](#best-practices-tuning-scheduler-params) + [한도](#best-practices-tuning-scheduler-limits) + [DAG 폴더](#best-practices-tuning-dag-folders) + [파라미터](#best-practices-tuning-dag-folders-params) + [DAG 파일](#best-practices-tuning-dag-files) + [파라미터](#best-practices-tuning-dag-files-params) + [작업](#best-practices-tuning-tasks) + [파라미터](#best-practices-tuning-tasks-params) ## Apache Airflow 구성 옵션 추가 다음 절차를 사용하여 Airflow 구성 옵션을 환경에 추가하세요. 1. Amazon MWAA 콘솔에서 [환경 페이지](https://console.aws.amazon.com/mwaa/home#/environments)를 엽니다. 1. 환경을 선택합니다. 1. **편집**을 선택합니다. 1. **다음**을 선택합니다. 1. **Airflow 구성 옵션** 창에서 **사용자 지정 구성 추가**를 선택합니다. 1. 드롭다운 목록에서 구성을 선택하고 값을 입력하거나, 사용자 정의 구성을 입력하고 값을 입력합니다. 1. 추가하려는 각 구성에 대해 **사용자 정의 구성 추가**를 선택합니다. 1. **저장**을 선택합니다. 자세한 내용은 [Amazon MWAA에서 Apache Airflow 구성 옵션 사용](configuring-env-variables.md) 섹션을 참조하세요. ## Apache Airflow 스케줄러 Apache Airflow 스케줄러는 Apache Airflow의 핵심 구성 요소입니다. 스케줄러에 문제가 있으면 DAG가 파싱되지 않고 작업이 예약되지 않을 수 있습니다. Apache Airflow 스케줄러 조정에 대한 자세한 내용은 Apache Airflow 문서 웹사이트의 [스케줄러 성능 미세 조정](https://airflow.apache.org/docs/apache-airflow/2.2.2/concepts/scheduler.html#fine-tuning-your-scheduler-performance)을 참조하세요. ### 파라미터 이 섹션에서는 Apache Airflow 스케줄러(Apache Airflow v2 이상)에 사용할 수 있는 구성 옵션과 해당 사용 사례에 대해 설명합니다. ------ #### [ Apache Airflow v3 ] | 구성 | 사용 사례: | | --- | --- | | **[celery.sync\$1parallelism](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#parallelism)** Celery Executor가 작업 상태를 동기화하는 데 사용하는 프로세스 수입니다. **기본값**: 1 | 이 옵션을 사용하면 Celery Executor가 사용하는 프로세스를 제한하여 대기열 충돌을 방지할 수 있습니다. 기본적으로, 이 값은 CloudWatch Log에 작업 로그를 전송할 때 오류가 발생하지 않도록 `1`로 설정됩니다. 값을 `0`으로 설정하는 것은 최대 프로세스 수를 사용하는 것을 의미하지만, 작업 로그 전달 시 오류가 발생할 수 있습니다. | | **[scheduler.scheduler\$1idle\$1sleep\$1time](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#scheduler-idle-sleep-time)** 스케줄러 ‘루프’에서 연속적인 DAG 파일 프로세싱 사이에 대기해야 하는 초 단위 시간입니다. **기본값**: 1 | 이 옵션을 사용하면 *실행기*에서 DAG 파싱 결과 검색, 작업 찾기, 대기열에 작업 저장, 대기열의 작업 실행을 완료한 후, 스케줄러가 대기 상태로 유지되는 시간을 **늘려** 스케줄러의 CPU 사용량을 줄일 수 있습니다. 이 값을 늘리면 Apache Airflow v2용 와 Apache Airflow v3용 `dag_processor.parsing_processes` 환경에서 실행되는 스케줄러 스레드 수가 소모됩니다. 이렇게 하면 스케줄러의 DAG 파싱 용량이 줄어들어 DAG가 웹 서버에 표시되는 데 걸리는 시간이 늘어날 수 있습니다. | | **[scheduler.max\$1dagruns\$1to\$1create\$1per\$1loop](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#max-dagruns-to-create-per-loop)** 스케줄러 ‘루프’당 *DagRuns*를 생성할 수 있는 최대 DAG 수입니다. **기본값**: 10 | 이 옵션을 사용하면 스케줄러 ‘루프’의 최대 *DAGrun* 수를 **줄여** 작업 스케줄링에 필요한 리소스를 확보할 수 있습니다. | | **[dag\$1processor.parsing\$1processes](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#parsing-processes)** 스케줄러가 DAG를 스케줄링하기 위해 병렬로 실행할 수 있는 스레드 수입니다. **기본값:** `(2 * number of vCPUs) - 1` 사용 | 이 옵션을 사용하면 스케줄러가 DAG를 파싱하기 위해 병렬로 실행하는 프로세스 수를 **줄여** 리소스를 확보할 수 있습니다. DAG 파싱이 작업 스케줄링에 영향을 미치는 경우, 이 수치를 낮게 유지하는 것이 좋습니다. 사용자 환경의 vCPU 수보다 적은 값을 **지정해야** 합니다. 자세한 내용은 [제한](#best-practices-tuning-scheduler-limits) 섹션을 참조하세요. | ------ #### [ Apache Airflow v2 ] | 구성 | 사용 사례: | | --- | --- | | **[celery.sync\$1parallelism](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#parallelism)** Celery Executor가 작업 상태를 동기화하는 데 사용하는 프로세스 수입니다. **기본값**: 1 | 이 옵션을 사용하면 Celery Executor가 사용하는 프로세스를 제한하여 대기열 충돌을 방지할 수 있습니다. 기본적으로, 이 값은 CloudWatch Log에 작업 로그를 전송할 때 오류가 발생하지 않도록 `1`로 설정됩니다. 값을 `0`으로 설정하는 것은 최대 프로세스 수를 사용하는 것을 의미하지만, 작업 로그 전달 시 오류가 발생할 수 있습니다. | | **[scheduler.idle\$1sleep\$1time](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#scheduler-idle-sleep-time)** 스케줄러 ‘루프’에서 연속적인 DAG 파일 프로세싱 사이에 대기해야 하는 초 단위 시간입니다. **기본값**: 1 | 이 옵션을 사용하면 *실행기*에서 DAG 파싱 결과 검색, 작업 찾기, 대기열에 작업 저장, 대기열의 작업 실행을 완료한 후, 스케줄러가 대기 상태로 유지되는 시간을 **늘려** 스케줄러의 CPU 사용량을 줄일 수 있습니다. 이 값을 늘리면 Apache Airflow v2용 와 Apache Airflow v3용 `scheduler.parsing_processes` 환경에서 실행되는 스케줄러 스레드 수가 소모됩니다. 이렇게 하면 스케줄러의 DAG 파싱 용량이 줄어들어 DAG가 웹 서버에 표시되는 데 걸리는 시간이 늘어날 수 있습니다. | | **[scheduler.max\$1dagruns\$1to\$1create\$1per\$1loop](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#max-dagruns-to-create-per-loop)** 스케줄러 ‘루프’당 *DagRuns*를 생성할 수 있는 최대 DAG 수입니다. **기본값**: 10 | 이 옵션을 사용하면 스케줄러 ‘루프’의 최대 *DAGrun* 수를 **줄여** 작업 스케줄링에 필요한 리소스를 확보할 수 있습니다. | | **[scheduler.parsing\$1processes](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#parsing-processes)** 스케줄러가 DAG를 스케줄링하기 위해 병렬로 실행할 수 있는 스레드 수입니다. **기본값:** `(2 * number of vCPUs) - 1` 사용 | 이 옵션을 사용하면 스케줄러가 DAG를 파싱하기 위해 병렬로 실행하는 프로세스 수를 **줄여** 리소스를 확보할 수 있습니다. DAG 파싱이 작업 스케줄링에 영향을 미치는 경우, 이 수치를 낮게 유지하는 것이 좋습니다. 사용자 환경의 vCPU 수보다 적은 값을 **지정해야** 합니다. 자세한 내용은 [제한](#best-practices-tuning-scheduler-limits) 섹션을 참조하세요. | ------ ### 한도 이 섹션에서는 스케줄러의 기본 파라미터를 조정할 때 고려할 제한에 대해 설명합니다. **scheduler.parsing\$1processes, scheduler.max\$1threads(v2에만 해당)** 환경 클래스의 경우 vCPU당 스레드 2개가 허용됩니다. 환경 클래스의 스케줄러용으로 하나 이상의 스레드를 예약해야 합니다. 작업을 예약하는 데 지연이 발생하는 경우, [환경 클래스](environment-class.md)를 늘려야 할 수 있습니다. 예를 들어, 대규모 환경에는 스케줄러용으로 4개의 vCPU Fargate 컨테이너 인스턴스가 있습니다. 즉, 최대 `7`개의 스레드를 다른 프로세스에 사용할 수 있습니다. 즉, 2개의 스레드 곱하기 4개의 vCPU에서 스케줄러 자체용으로 하나를 뺀 것입니다. 다음에 나열된 바와 같이 `scheduler.max_threads`(v2에만 해당) 및 `scheduler.parsing_processes`에서 지정하는 값은 환경 클래스에 사용할 수 있는 스레드 수를 초과해서는 안 됩니다. + **mw1.small** - 다른 프로세스의 경우 `1` 스레드를 초과해서는 안 됩니다. 나머지 스레드는 스케줄러용으로 예약되어 있습니다. + **mw1.medium** - 다른 프로세스의 경우 `3` 스레드를 초과해서는 안 됩니다. 나머지 스레드는 스케줄러용으로 예약되어 있습니다. + **mw1.large** - 다른 프로세스의 경우 `7` 스레드를 초과해서는 안 됩니다. 나머지 스레드는 스케줄러용으로 예약되어 있습니다. ## DAG 폴더 Apache Airflow 스케줄러는 사용자 환경의 DAG 폴더를 지속적으로 스캔합니다. 포함된 모든 `plugins.zip` 파일, 또는 ‘airflow’ 가져오기 명령문이 포함된 Python(`.py`) 파일 이어서, 나머지 모든 Python DAG 객체를 *DagBag*에 배치함으로써 스케줄러가 해당 파일을 처리하여 스케줄링이 필요한 작업(있는 경우)을 결정합니다. Dag 파일 구문 분석은 파일에 실행 가능한 DAG 객체가 포함되어 있는지 여부에 관계없이 수행됩니다. ### 파라미터 이 섹션에서는 DAG 폴더(Apache Airflow v2 이상)에 사용할 수 있는 구성 옵션과 해당 사용 사례에 대해 설명합니다. ------ #### [ Apache Airflow v3 ] | 구성 | 사용 사례: | | --- | --- | | **[dag\$1processor.refresh\$1interval](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#config-dag-processor-refresh-interval)** DAG 폴더에서 새 파일을 검색해야 하는 시간(초)입니다. **기본값**: 300초 | 이 옵션을 사용하면 DAG 폴더를 파싱하는 데 걸리는 초 단위 시간을 **늘려** 리소스를 확보할 수 있습니다. DAG 폴더에 파일이 너무 많아 `total_parse_time metrics`의 파싱 시간이 오래 걸리면 이 값을 늘리는 것이 좋습니다. | | **[dag\$1processor.min\$1file\$1process\$1interval](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#min-file-process-interval)** 스케줄러가 DAG를 파싱하고 DAG에 대한 업데이트가 반영되기까지 걸리는 초 단위 시간입니다. **기본값**: 30초 | 이 옵션을 사용하면 스케줄러가 DAG를 파싱하기 전에 대기하는 초 단위 시간을 **늘려** 리소스를 확보할 수 있습니다. 예를 들면, `30`의 값을 지정하면 30초마다 DAG 파일 파싱이 이뤄집니다. 사용자 환경의 CPU 사용량을 줄이려면 이 수치를 높게 유지하는 것이 좋습니다. | ------ #### [ Apache Airflow v2 ] | 구성 | 사용 사례: | | --- | --- | | **[scheduler.dag\$1dir\$1list\$1interval](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#dag-dir-list-interval)** DAG 폴더에서 새 파일을 검색해야 하는 시간(초)입니다. **기본값**: 300초 | 이 옵션을 사용하면 DAG 폴더를 파싱하는 데 걸리는 초 단위 시간을 **늘려** 리소스를 확보할 수 있습니다. DAG 폴더에 파일이 너무 많아 `total_parse_time metrics`의 파싱 시간이 오래 걸리면 이 값을 늘리는 것이 좋습니다. | | **[scheduler.min\$1file\$1process\$1interval](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#min-file-process-interval)** 스케줄러가 DAG를 파싱하고 DAG에 대한 업데이트가 반영되기까지 걸리는 초 단위 시간입니다. **기본값**: 30초 | 이 옵션을 사용하면 스케줄러가 DAG를 파싱하기 전에 대기하는 초 단위 시간을 **늘려** 리소스를 확보할 수 있습니다. 예를 들면, `30`의 값을 지정하면 30초마다 DAG 파일 파싱이 이뤄집니다. 사용자 환경의 CPU 사용량을 줄이려면 이 수치를 높게 유지하는 것이 좋습니다. | ------ ## DAG 파일 Apache Airflow 스케줄러 루프의 일부로 개별 DAG 파일을 구문 분석하여 DAG Python 객체를 추출합니다. Apache Airflow v2 이상에서는 스케줄러가 동시에 최대 수의 [파싱 프로세스](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#parsing-processes)를 파싱합니다. 동일한 파일을 다시 파싱하려면 `scheduler.min_file_process_interval`(v2) 또는 `dag_processor.min_file_process_interval`(v3)에 지정된 시간(초)이 경과해야 합니다. ### 파라미터 이 섹션에서는 Apache Airflow DAG 파일(Apache Airflow v2 이상)에 사용할 수 있는 구성 옵션과 해당 사용 사례에 대해 설명합니다. ------ #### [ Apache Airflow v3 ] | 구성 | 사용 사례: | | --- | --- | | **[dag\$1processor.dag\$1file\$1processor\$1timeout](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#dag-file-processor-timeout)** *DagFileProcessor*의 DAG 파일 프로세싱 시간이 초과되기까지 걸리는 초 단위 시간입니다. **기본값**: 50초 | 이 옵션을 사용하면 *DAGFileProcessor* 제한 시간이 초과될 때까지 걸리는 시간을 **늘려** 리소스를 확보할 수 있습니다. DAG 프로세싱 로그에 시간 초과가 발생하여 실행 가능한 DAG가 로드되지 않는 경우, 이 값을 늘리는 것이 좋습니다. | | **[core.dagbag\$1import\$1timeout](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#dagbag-import-timeout)** Python 파일을 가져오기하는 데 걸리는 시간이 초과되기 까지의 초 단위 시간입니다. **기본값**: 30초 | 이 옵션을 사용하면 Python 파일을 가져와서 DAG 객체를 추출하는 동안 스케줄러의 시간이 초과될 때까지 걸리는 시간을 **늘려** 리소스를 확보할 수 있습니다. 이 옵션은 스케줄러 '루프'의 일부로 처리되며 `dag_processor.dag_file_processor_timeout`에 지정된 값보다 작은 값을 포함해야 합니다. | | **[core.min\$1serialized\$1dag\$1update\$1interval](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#min-serialized-dag-update-interval)** 데이터베이스의 직렬화된 DAG가 업데이트되기까지 걸리는 초 단위 최소 시간입니다. **기본값:** 30 | 이 옵션을 사용하면 데이터베이스의 직렬화된 DAG가 업데이트기까지 걸리는 초 단위 시간을 **늘려** 리소스를 확보할 수 있습니다. DAG가 많거나 DAG가 복잡한 경우, 이 값을 늘리는 것이 좋습니다. 이 값을 늘리면 DAG가 직렬화될 때 스케줄러와 데이터베이스의 부하가 줄어듭니다. | | **[core.min\$1serialized\$1dag\$1fetch\$1interval](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#min-serialized-dag-fetch-interval)** 직렬화된 DAG가 DagBag에 이미 로드되어 있는 경우 데이터베이스에서 다시 페치되는 데 걸리는 초 단위 시간입니다. **기본값**: 10 | 이 옵션을 사용하면 직렬화된 DAG를 다시 페치하는 초 단위 시간을 **늘려** 리소스를 확보할 수 있습니다. 데이터베이스 ‘쓰기’ 속도를 줄이려면 이 값이 `core.min_serialized_dag_update_interval`에 지정된 값보다 커야 합니다. 이 값을 늘리면 DAG가 직렬화될 때 웹 서버와 데이터베이스의 부하가 줄어듭니다. | ------ #### [ Apache Airflow v2 ] | 구성 | 사용 사례: | | --- | --- | | **[core.dag\$1file\$1processor\$1timeout](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#dag-file-processor-timeout)** *DagFileProcessor*의 DAG 파일 프로세싱 시간이 초과되기까지 걸리는 초 단위 시간입니다. **기본값**: 50초 | 이 옵션을 사용하면 *DAGFileProcessor* 제한 시간이 초과될 때까지 걸리는 시간을 **늘려** 리소스를 확보할 수 있습니다. DAG 프로세싱 로그에 시간 초과가 발생하여 실행 가능한 DAG가 로드되지 않는 경우, 이 값을 늘리는 것이 좋습니다. | | **[core.dagbag\$1import\$1timeout](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#dagbag-import-timeout)** Python 파일을 가져오기하는 데 걸리는 시간이 초과되기 까지의 초 단위 시간입니다. **기본값**: 30초 | 이 옵션을 사용하면 Python 파일을 가져와서 DAG 객체를 추출하는 동안 스케줄러의 시간이 초과될 때까지 걸리는 시간을 **늘려** 리소스를 확보할 수 있습니다. 이 옵션은 스케줄러 '루프'의 일부로 처리되며 `core.dag_file_processor_timeout`에 지정된 값보다 작은 값을 포함해야 합니다. | | **[core.min\$1serialized\$1dag\$1update\$1interval](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#min-serialized-dag-update-interval)** 데이터베이스의 직렬화된 DAG가 업데이트되기까지 걸리는 초 단위 최소 시간입니다. **기본값:** 30 | 이 옵션을 사용하면 데이터베이스의 직렬화된 DAG가 업데이트기까지 걸리는 초 단위 시간을 **늘려** 리소스를 확보할 수 있습니다. DAG가 많거나 DAG가 복잡한 경우, 이 값을 늘리는 것이 좋습니다. 이 값을 늘리면 DAG가 직렬화될 때 스케줄러와 데이터베이스의 부하가 줄어듭니다. | | **[core.min\$1serialized\$1dag\$1fetch\$1interval](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#min-serialized-dag-fetch-interval)** 직렬화된 DAG가 DagBag에 이미 로드되어 있는 경우 데이터베이스에서 다시 페치되는 데 걸리는 초 단위 시간입니다. **기본값**: 10 | 이 옵션을 사용하면 직렬화된 DAG를 다시 페치하는 초 단위 시간을 **늘려** 리소스를 확보할 수 있습니다. 데이터베이스 ‘쓰기’ 속도를 줄이려면 이 값이 `core.min_serialized_dag_update_interval`에 지정된 값보다 커야 합니다. 이 값을 늘리면 DAG가 직렬화될 때 웹 서버와 데이터베이스의 부하가 줄어듭니다. | ------ ## 작업 Apache Airflow 스케줄러와 작업자는 모두 대기열 생성 및 대기열 제거 작업에 관여합니다. 스케줄러는 파싱된 작업을 **없음** 상태에서 **예약됨** 상태로 전환하여 스케줄링할 수 있습니다. 실행기는 Fargate의 스케줄러 컨테이너에서도 실행되며, 해당 작업을 대기열에 넣고 상태를 **대기** 상태로 설정합니다. 작업자가 작업 용량을 확보하면, 대기열에서 작업을 가져와 상태를 **실행 중**으로 설정합니다. 그러면 작업의 성공 또는 실패 여부에 따라 상태가 **성공** 또는 **실패로** 변경됩니다. ### 파라미터 이 섹션에서는 Apache Airflow 작업에 사용할 수 있는 구성 옵션과 해당 사용 사례에 대해 설명합니다. Amazon MWAA에서 재정의하는 기본 구성 옵션은 *빨간색*으로 표시됩니다. ------ #### [ Apache Airflow v3 ] | 구성 | 사용 사례: | | --- | --- | | **[core.parallelism](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#parallelism)** `Running` 상태를 가질 수 있는 작업 인스턴스의 최대 수입니다. **기본값:** `(maxWorkers * maxCeleryWorkers) / schedulers * 1.5`를 기반으로 동적으로 설정됩니다. | 이 옵션을 사용하면 동시에 실행할 수 있는 작업 인스턴스 수를 **늘려** 리소스를 확보할 수 있습니다. 지정된 값은 가용한 작업자 수에 작업자의 작업 밀도를 곱한 값이어야 합니다. 이 값은 ‘실행 중’ 또는 ‘대기 중’ 상태에서 멈춘 작업이 많은 경우에만 변경하는 것이 좋습니다. | | **[core.execute\$1tasks\$1new\$1python\$1interpreter](https://airflow.apache.org/docs/apache-airflow/3.0.6/configurations-ref.html#execute-tasks-new-python-interpreter)** Apache Airflow가 상위 프로세스를 분기하여 작업을 실행할 것인지 아니면 새 Python 프로세스를 생성하여 작업을 실행할 것인지를 결정합니다. **기본값**: `True` | `True`로 설정하면, Apache Airflow는 플러그인에 대한 변경 사항을 작업을 실행하기 위해 생성된 새로운 Python 프로세스로 인식합니다. | | **[celery.worker\$1concurrency](https://airflow.apache.org/docs/apache-airflow-providers-celery/stable/configurations-ref.html#worker-concurrency)** Amazon MWAA는 이 옵션에 대한 Airflow 기본 설치를 재정의하여 자동 확장 구성 요소의 일부로서 작업자를 크기를 조정합니다. **기본값:** 해당 사항 없음 | *이 옵션에 지정된 모든 값은 무시됩니다.* | | **[celery.worker\$1autoscale](https://airflow.apache.org/docs/apache-airflow-providers-celery/stable/configurations-ref.html#worker-autoscale)** 작업자 태스크의 동시성 **기본값:** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/mwaa/latest/userguide/best-practices-tuning.html) | 이 옵션을 사용하면 작업자의 `minimum`, `maximum` 태스크 동시성을 **줄여** 리소스를 확보할 수 있습니다. 작업자는 충분한 리소스가 있는지 여부에 관계없이 구성된 최대 개의 `maximum` 동시 작업을 수락합니다. 리소스가 충분하지 않은 상태에서 태스크를 예약하면 작업이 즉시 실패합니다. 리소스를 많이 사용하는 태스크의 경우, 이 값을 기본값보다 작게 줄여 작업당 용량을 늘릴 수 있도록 변경하는 것이 좋습니다. | ------ #### [ Apache Airflow v2 ] | 구성 | 사용 사례: | | --- | --- | | **[core.parallelism](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#parallelism)** `Running` 상태를 가질 수 있는 작업 인스턴스의 최대 수입니다. **기본값:** `(maxWorkers * maxCeleryWorkers) / schedulers * 1.5`를 기반으로 동적으로 설정됩니다. | 이 옵션을 사용하면 동시에 실행할 수 있는 작업 인스턴스 수를 **늘려** 리소스를 확보할 수 있습니다. 지정된 값은 가용한 작업자 수에 작업자의 작업 밀도를 곱한 값이어야 합니다. 이 값은 ‘실행 중’ 또는 ‘대기 중’ 상태에서 멈춘 작업이 많은 경우에만 변경하는 것이 좋습니다. | | **[core.dag\$1concurrency](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#dag-concurrency)** 각 DAG에서 동시에 실행할 수 있는 작업 인스턴스의 수입니다. **기본값:** 10000 | 이 옵션을 사용하면 동시에 실행할 수 있는 작업 인스턴스 수를 **늘려** 리소스를 확보할 수 있습니다. 예를 들어, 10개의 병렬 작업이 있는 100개의 DAG가 있고, 모든 DAG를 동시에 실행하고자 하는 경우, 가용 작업자 수에 `celery.worker_concurrency`에 있는 작업자 작업 밀도를 ‘곱한’ 값을 DAG 수로 나누어 최대 병렬도를 계산할 수 있습니다. | | **[core.execute\$1tasks\$1new\$1python\$1interpreter](https://airflow.apache.org/docs/apache-airflow/2.10.3/configurations-ref.html#execute-tasks-new-python-interpreter)** Apache Airflow가 상위 프로세스를 분기하여 작업을 실행할 것인지 아니면 새 Python 프로세스를 생성하여 작업을 실행할 것인지를 결정합니다. **기본값**: `True` | `True`로 설정하면, Apache Airflow는 플러그인에 대한 변경 사항을 작업을 실행하기 위해 생성된 새로운 Python 프로세스로 인식합니다. | | **[celery.worker\$1concurrency](https://airflow.apache.org/docs/apache-airflow-providers-celery/stable/configurations-ref.html#worker-concurrency)** Amazon MWAA는 이 옵션에 대한 Airflow 기본 설치를 재정의하여 자동 확장 구성 요소의 일부로서 작업자를 크기를 조정합니다. **기본값:** 해당 사항 없음 | *이 옵션에 지정된 모든 값은 무시됩니다.* | | **[celery.worker\$1autoscale](https://airflow.apache.org/docs/apache-airflow-providers-celery/stable/configurations-ref.html#worker-autoscale)** 작업자 태스크의 동시성 **기본값:** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/mwaa/latest/userguide/best-practices-tuning.html) | 이 옵션을 사용하면 작업자의 `minimum`, `maximum` 태스크 동시성을 **줄여** 리소스를 확보할 수 있습니다. 작업자는 충분한 리소스가 있는지 여부에 관계없이 구성된 최대 개의 `maximum` 동시 작업을 수락합니다. 리소스가 충분하지 않은 상태에서 태스크를 예약하면 작업이 즉시 실패합니다. 리소스를 많이 사용하는 태스크의 경우, 이 값을 기본값보다 작게 줄여 작업당 용량을 늘릴 수 있도록 변경하는 것이 좋습니다. | ------