As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# SDK para Python (Boto3)
As regras integradas do Amazon SageMaker Debugger podem ser configuradas para um trabalho de treinamento usando a [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_training_job](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_training_job)função do cliente AWS SageMaker Boto3 AI. Você precisa especificar o URI da imagem correto no parâmetro `RuleEvaluatorImage` e os exemplos a seguir demonstram como configurar o corpo da solicitação para a função [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_training_job](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_training_job).
O código a seguir mostra um exemplo completo de como configurar o Debugger para o corpo da `create_training_job()` solicitação e iniciar um trabalho de treinamento em`us-west-2`, supondo que um script `entry_point/train.py` de treinamento seja preparado usando. TensorFlow Para encontrar um exemplo completo de notebook, consulte [Profiling TensorFlow Multi GPU Multi Node Training Job with Amazon Debugger](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-debugger/tensorflow_profiling/tf-resnet-profiling-multi-gpu-multi-node-boto3.html) (Boto3). SageMaker
**nota**
Certifique-se de usar as imagens de contêiner do Docker corretas. Para encontrar imagens de contêineres de aprendizado AWS profundo [disponíveis, consulte Imagens de contêineres de aprendizado profundo disponíveis](https://github.com/aws/deep-learning-containers/blob/master/available_images.md). Para encontrar uma lista completa das imagens do Docker disponíveis para usar as regras do Debugger, consulte [Imagens do Docker para regras do Depurador](debugger-reference.md#debugger-docker-images-rules).
```
import sagemaker, boto3
import datetime, tarfile
# Start setting up a SageMaker session and a Boto3 SageMaker client
session = sagemaker.Session()
region = session.boto_region_name
bucket = session.default_bucket()
# Upload a training script to a default Amazon S3 bucket of the current SageMaker session
source = 'source.tar.gz'
project = '{{debugger-boto3-test}}'
tar = tarfile.open(source, 'w:gz')
tar.add ('{{entry_point/train.py}}') # Specify the directory and name of your training script
tar.close()
s3 = boto3.client('s3')
s3.upload_file(source, bucket, project+'/'+source)
# Set up a Boto3 session client for SageMaker
sm = boto3.Session(region_name=region).client("sagemaker")
# Start a training job
sm.create_training_job(
TrainingJobName='debugger-boto3-'+datetime.datetime.now().strftime('%Y-%m-%d-%H-%M-%S'),
HyperParameters={
'sagemaker_submit_directory': 's3://'+bucket+'/'+project+'/'+source,
'sagemaker_program': '{{/entry_point/train.py}}' # training scrip file location and name under the sagemaker_submit_directory
},
AlgorithmSpecification={
# Specify a training Docker container image URI (Deep Learning Container or your own training container) to TrainingImage.
'TrainingImage': '{{763104351884.dkr.ecr.us-west-2.amazonaws.com/tensorflow-training:2.4.1-gpu-py37-cu110-ubuntu18.04}}',
'TrainingInputMode': '{{File}}',
'EnableSageMakerMetricsTimeSeries': {{False}}
},
RoleArn='arn:aws:iam::111122223333:role/service-role/AmazonSageMaker-ExecutionRole-20201014T161125',
OutputDataConfig={'S3OutputPath': 's3://'+bucket+'/'+project+'/output'},
ResourceConfig={
'InstanceType': '{{ml.p3.8xlarge}}',
'InstanceCount': {{1}},
'VolumeSizeInGB': 30
},
StoppingCondition={
'MaxRuntimeInSeconds': 86400
},
DebugHookConfig={
'S3OutputPath': 's3://'+bucket+'/'+project+'/debug-output',
'CollectionConfigurations': [
{
'CollectionName': '{{losses}}',
'CollectionParameters' : {
'train.save_interval': '{{500}}',
'eval.save_interval': '{{50}}'
}
}
]
},
DebugRuleConfigurations=[
{
'RuleConfigurationName': '{{LossNotDecreasing}}',
'RuleEvaluatorImage': '{{895741380848.dkr.ecr.us-west-2.amazonaws.com/sagemaker-debugger-rules:latest}}',
'RuleParameters': {'rule_to_invoke': '{{LossNotDecreasing}}'}
}
],
ProfilerConfig={
'S3OutputPath': 's3://'+bucket+'/'+project+'/profiler-output',
'ProfilingIntervalInMilliseconds': 500,
'ProfilingParameters': {
'DataloaderProfilingConfig': '{"StartStep": 5, "NumSteps": 3, "MetricsRegex": ".*", }',
'DetailedProfilingConfig': '{"StartStep": 5, "NumSteps": 3, }',
'PythonProfilingConfig': '{"StartStep": 5, "NumSteps": 3, "ProfilerName": "cprofile", "cProfileTimer": "total_time"}',
'LocalPath': '/opt/ml/output/profiler/' # Optional. Local path for profiling outputs
}
},
ProfilerRuleConfigurations=[
{
'RuleConfigurationName': 'ProfilerReport',
'RuleEvaluatorImage': '{{895741380848.dkr.ecr.us-west-2.amazonaws.com/sagemaker-debugger-rules:latest}}',
'RuleParameters': {'rule_to_invoke': 'ProfilerReport'}
}
]
)
```
## Para configurar uma regra do Debugger para depurar os parâmetros do modelo
Os exemplos de código a seguir mostram como configurar uma `VanishingGradient` regra integrada usando essa SageMaker API.
**Para habilitar o Debugger para coletar tensores de saída**
Especifique a configuração do hook do Debugger da seguinte forma:
```
DebugHookConfig={
'S3OutputPath': '{{s3:////debug-output}}',
'CollectionConfigurations': [
{
'CollectionName': '{{gradients}}',
'CollectionParameters' : {
'train.save_interval': '{{500}}',
'eval.save_interval': '{{50}}'
}
}
]
}
```
Isso fará com que a tarefa de treinamento salve uma coleção, `gradients`, a cada `save_interval` de 500 etapas. Para encontrar `CollectionName` os valores disponíveis, consulte [Debugger Built-in Collections](https://github.com/awslabs/sagemaker-debugger/blob/master/docs/api.md#built-in-collections) na documentação da biblioteca cliente *SMDebug*. Para encontrar as chaves e valores de `CollectionParameters` parâmetros disponíveis, consulte a [https://sagemaker.readthedocs.io/en/stable/api/training/debugger.html#sagemaker.debugger.CollectionConfig](https://sagemaker.readthedocs.io/en/stable/api/training/debugger.html#sagemaker.debugger.CollectionConfig)classe na documentação do *SDK do SageMaker Python*.
**Para habilitar as regras do Debugger para depurar os tensores de saída**
O exemplo de API `DebugRuleConfigurations` a seguir mostra como executar a regra integrada do`VanishingGradient` na coleção `gradients` salva.
```
DebugRuleConfigurations=[
{
'RuleConfigurationName': '{{VanishingGradient}}',
'RuleEvaluatorImage': '{{895741380848.dkr.ecr.us-west-2.amazonaws.com/sagemaker-debugger-rules:latest}}',
'RuleParameters': {
'rule_to_invoke': '{{VanishingGradient}}',
'threshold': '{{20.0}}'
}
}
]
```
Com uma configuração como a desse exemplo, o Debugger inicia uma tarefa de avaliação de regra para a tarefa de treinamento usando a regra `VanishingGradient` na coleção do tensor de `gradients`. Para encontrar uma lista completa das imagens do Docker disponíveis para usar as regras do Debugger, consulte [Imagens do Docker para regras do Depurador](debugger-reference.md#debugger-docker-images-rules). Para encontrar os pares de valores-chave para `RuleParameters`, consulte [Lista de regras integradas do Depurador](debugger-built-in-rules.md).
## Para configurar a regra integrada do Debugger para criar perfis do sistema e métricas do framework
O código de exemplo a seguir mostra como especificar a operação da ProfilerConfig API para permitir a coleta de métricas do sistema e da estrutura.
**Para habilitar a criação de perfil do Debugger para coletar métricas do sistema e da estrutura**
------
#### [ Target Step ]
```
ProfilerConfig={
'S3OutputPath': '{{s3:////profiler-output}}', # Optional. Path to an S3 bucket to save profiling outputs
# Available values for ProfilingIntervalInMilliseconds: 100, 200, 500, 1000 (1 second), 5000 (5 seconds), and 60000 (1 minute) milliseconds.
'ProfilingIntervalInMilliseconds': {{500}},
'ProfilingParameters': {
'DataloaderProfilingConfig': '{
"StartStep": {{5}},
"NumSteps": {{3}},
"MetricsRegex": ".*"
}',
'DetailedProfilingConfig': '{
"StartStep": {{5}},
"NumSteps": {{3}}
}',
'PythonProfilingConfig': '{
"StartStep": {{5}},
"NumSteps": {{3}},
"ProfilerName": "{{cprofile}}", # Available options: cprofile, pyinstrument
"cProfileTimer": "{{total_time}}" # Include only when using cprofile. Available options: cpu, off_cpu, total_time
}',
'LocalPath': '/opt/ml/output/profiler/' # Optional. Local path for profiling outputs
}
}
```
------
#### [ Target Time Duration ]
```
ProfilerConfig={
'S3OutputPath': '{{s3:////profiler-output}}', # Optional. Path to an S3 bucket to save profiling outputs
# Available values for ProfilingIntervalInMilliseconds: 100, 200, 500, 1000 (1 second), 5000 (5 seconds), and 60000 (1 minute) milliseconds.
'ProfilingIntervalInMilliseconds': {{500}},
'ProfilingParameters': {
'DataloaderProfilingConfig': '{
"StartTimeInSecSinceEpoch": {{12345567789}},
"DurationInSeconds": {{10}},
"MetricsRegex": ".*"
}',
'DetailedProfilingConfig': '{
"StartTimeInSecSinceEpoch": {{12345567789}},
"DurationInSeconds": {{10}}
}',
'PythonProfilingConfig': '{
"StartTimeInSecSinceEpoch": {{12345567789}},
"DurationInSeconds": {{10}},
"ProfilerName": "{{cprofile}}", # Available options: cprofile, pyinstrument
"cProfileTimer": "{{total_time}}" # Include only when using cprofile. Available options: cpu, off_cpu, total_time
}',
'LocalPath': '/opt/ml/output/profiler/' # Optional. Local path for profiling outputs
}
}
```
------
**Para habilitar as regras do Debugger para criar perfil das métricas**
O código de exemplo a seguir mostra como configurar a regra `ProfilerReport`.
```
ProfilerRuleConfigurations=[
{
'RuleConfigurationName': 'ProfilerReport',
'RuleEvaluatorImage': '{{895741380848.dkr.ecr.us-west-2.amazonaws.com/sagemaker-debugger-rules:latest}}',
'RuleParameters': {
'rule_to_invoke': 'ProfilerReport',
'CPUBottleneck_cpu_threshold': '{{90}}',
'IOBottleneck_threshold': '{{90}}'
}
}
]
```
Para encontrar uma lista completa das imagens do Docker disponíveis para usar as regras do Debugger, consulte [Imagens do Docker para regras do Depurador](debugger-reference.md#debugger-docker-images-rules). Para encontrar os pares de valores-chave para `RuleParameters`, consulte [Lista de regras integradas do Depurador](debugger-built-in-rules.md).
## Atualizar a configuração de perfil do Debugger usando a operação de API `UpdateTrainingJob`
A configuração do perfil do depurador pode ser atualizada enquanto seu trabalho de treinamento está em execução usando a [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.update_training_job](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.update_training_job)função do cliente Boto3 AI. AWS SageMaker Configure novos [ProfilerRuleConfiguration](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProfilerRuleConfiguration.html)objetos [ProfilerConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProfilerConfig.html)e especifique o nome do trabalho de treinamento para o `TrainingJobName` parâmetro.
```
ProfilerConfig={
'DisableProfiler': {{boolean}},
'ProfilingIntervalInMilliseconds': {{number}},
'ProfilingParameters': {
'{{string}}' : '{{string}}'
}
},
ProfilerRuleConfigurations=[
{
'RuleConfigurationName': '{{string}}',
'RuleEvaluatorImage': '{{string}}',
'RuleParameters': {
'string' : '{{string}}'
}
}
],
TrainingJobName='{{your-training-job-name-YYYY-MM-DD-HH-MM-SS-SSS}}'
```
## Adicionar configuração de regra personalizada do Debugger à operação da API CreateTrainingJob
Uma regra personalizada pode ser configurada para um trabalho de treinamento usando os [ DebugRuleConfiguration](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DebugRuleConfiguration.html)objetos [ DebugHookConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DebugHookConfig.html)e usando a função do [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_training_job](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_training_job)cliente AWS Boto3 SageMaker AI. O exemplo de código a seguir mostra como configurar uma `ImproperActivation` regra personalizada escrita com a biblioteca *smdebug* usando essa operação de SageMaker API. Este exemplo pressupõe que você tenha escrito a regra personalizada no arquivo *custom\_rules.py* e o tenha carregado em um bucket do Amazon S3. O exemplo fornece imagens pré-criadas do Docker que podem ser usadas para executar as regras personalizadas. Elas estão listadas em [URIs de imagem do Amazon SageMaker Debugger para avaliadores de regras personalizadas](debugger-reference.md#debuger-custom-rule-registry-ids). Você especifica o endereço de registro de URL para a imagem pré-criada do Docker no parâmetro `RuleEvaluatorImage`.
```
DebugHookConfig={
'S3OutputPath': '{{s3:////debug-output}}',
'CollectionConfigurations': [
{
'CollectionName': '{{relu_activations}}',
'CollectionParameters': {
'include_regex': '{{relu}}',
'save_interval': '{{500}}',
'end_step': '{{5000}}'
}
}
]
},
DebugRulesConfigurations=[
{
'RuleConfigurationName': '{{improper_activation_job}}',
'RuleEvaluatorImage': '{{552407032007.dkr.ecr.ap-south-1.amazonaws.com/sagemaker-debugger-rule-evaluator:latest}}',
'InstanceType': '{{ml.c4.xlarge}}',
'VolumeSizeInGB': {{400}},
'RuleParameters': {
'source_s3_uri': '{{s3://bucket/custom_rules.py}}',
'rule_to_invoke': '{{ImproperActivation}}',
'collection_names': '{{relu_activations}}'
}
}
]
```
Para encontrar uma lista completa das imagens do Docker disponíveis para usar as regras do Debugger, consulte [Imagens do Docker para regras do Depurador](debugger-reference.md#debugger-docker-images-rules). Para encontrar os pares de valores-chave para `RuleParameters`, consulte [Lista de regras integradas do Depurador](debugger-built-in-rules.md).