As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Configure seu fornecedor de modelo
**nota**
Nesta seção, presumimos que a linguagem e os modelos de incorporação que você planeja usar já estejam implantados. Para modelos fornecidos pela AWS, você já deve ter o ARN do seu endpoint de SageMaker IA ou acesso ao Amazon Bedrock. Para outros fornecedores de modelos, você deve ter a chave de API usada para autenticar e autorizar solicitações para seu modelo.
O Jupyter AI oferece apoio a uma ampla variedade de fornecedores de modelos e modelos de linguagem. Consulte a lista de [modelos compatíveis](https://jupyter-ai.readthedocs.io/en/latest/users/index.html#model-providers) para se manter atualizado sobre os modelos mais recentes disponíveis. Para obter informações sobre como implantar um modelo fornecido pela JumpStart, consulte [Implantar um modelo](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-deploy.html) na JumpStart documentação. Você precisa solicitar acesso ao [Amazon Bedrock](https://aws.amazon.com/bedrock/) para usá-lo como seu fornecedor de modelos.
A configuração do Jupyter AI varia dependendo se você está usando a interface de usuário de chat ou comandos mágicos.
## Configure seu fornecedor de modelo na interface de usuário de chat
**nota**
Você pode configurar vários LLMs e modelos de incorporação seguindo as mesmas instruções. No entanto, você deve configurar pelo menos um **modelo de linguagem**.
**Para configurar sua interface de usuário de chat**
1. Em JupyterLab, acesse a interface de bate-papo escolhendo o ícone de bate-papo () no painel de navegação esquerdo.
1. Selecione o ícone de configuração () no canto superior direito do painel esquerdo. Isso abrirá o painel de configuração do Jupyter AI.
1. Preencha os campos relacionados ao seu fornecedor de serviços.
+ **Para modelos fornecidos pela JumpStart Amazon Bedrock**
+ Na lista suspensa do **modelo de linguagem**, selecione modelos implantados com JumpStart ou `sagemaker-endpoint` `bedrock` para modelos gerenciados pelo Amazon Bedrock.
+ Os parâmetros diferem com base no fato de seu modelo ser implantado no SageMaker AI ou no Amazon Bedrock.
+ Para modelos implantados com JumpStart:
+ [**Insira o nome do seu endpoint em Nome do **endpoint e, em seguida, o nome** Região da AWS no qual seu modelo está implantado em Nome da região.**](sagemaker-jupyterai-use.md#sagemaker-jupyterai-region-name) Para recuperar o ARN dos endpoints de SageMaker IA, navegue [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/) até e **escolha** Inferência **e** endpoints no menu à esquerda.
+ Cole o JSON do [**Esquema de solicitação**](sagemaker-jupyterai-use.md#sagemaker-jupyterai-request-schema) personalizado para seu modelo e o [**Caminho de resposta**](sagemaker-jupyterai-use.md#sagemaker-jupyterai-response-path) correspondente para analisar a saída do modelo.
**nota**
Você pode encontrar o formato de solicitação e resposta de vários modelos de JumpStart fundação nos seguintes [exemplos de cadernos](https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models). Cada caderno tem o nome do modelo que ele demonstra.
+ [**Para modelos gerenciados pelo Amazon Bedrock: adicione o AWS perfil que armazena suas AWS credenciais em seu sistema (opcional) e, em seguida, o perfil Região da AWS no qual seu modelo está implantado no nome da região.**](sagemaker-jupyterai-use.md#sagemaker-jupyterai-region-name)
+ (Opcional) Selecione um [modelo de incorporação](sagemaker-jupyterai-overview.md#sagemaker-jupyterai-embedding-model) ao qual você tenha acesso. Os modelos de incorporação são usados para capturar informações adicionais de documentos locais, permitindo que o modelo de geração de texto responda às perguntas dentro do contexto desses documentos.
+ Selecione **Salvar alterações** e navegue até o ícone de seta para a esquerda () no canto superior esquerdo do painel esquerdo. Isso abrirá a interface de usuário de chat do Jupyter AI. Você pode começar a interagir com seu modelo.
+ **Para modelos hospedados por fornecedores terceirizados**
+ Na lista suspensa do **modelo de idioma**, selecione seu ID de fornecedor. Você pode encontrar os detalhes de cada fornecedor, incluindo seu ID, na [lista de fornecedores de modelos](https://jupyter-ai.readthedocs.io/en/latest/users/index.html#model-providers) do Jupyter AI.
+ (Opcional) Selecione um [modelo de incorporação](sagemaker-jupyterai-overview.md#sagemaker-jupyterai-embedding-model) ao qual você tenha acesso. Os modelos de incorporação são usados para capturar informações adicionais de documentos locais, permitindo que o modelo de geração de texto responda às perguntas dentro do contexto desses documentos.
+ Insira as chaves de API dos seus modelos.
+ Selecione **Salvar alterações** e navegue até o ícone de seta para a esquerda () no canto superior esquerdo do painel esquerdo. Isso abrirá a interface de usuário de chat do Jupyter AI. Você pode começar a interagir com seu modelo.
O instantâneo a seguir é uma ilustração do painel de configuração da interface do usuário do chat definido para invocar um Flan-t5-small modelo fornecido JumpStart e implantado na IA. SageMaker
### Passe parâmetros extras do modelo e parâmetros personalizados para sua solicitação
Seu modelo pode precisar de parâmetros extras, como um atributo personalizado para aprovação do contrato do usuário ou ajustes em outros parâmetros do modelo, como temperatura ou duração da resposta. Recomendamos definir essas configurações como uma opção de inicialização do seu JupyterLab aplicativo usando uma configuração de ciclo de vida. Para obter informações sobre como criar uma configuração de ciclo de vida e anexá-la ao seu domínio ou a um perfil de usuário do [console de SageMaker IA](https://console.aws.amazon.com/sagemaker/), consulte [Criar e associar uma configuração de ciclo de vida](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html). Você pode escolher seu script de LCC ao criar um espaço para seu JupyterLab aplicativo.
Use o seguinte esquema JSON para configurar seus [parâmetros extras](sagemaker-jupyterai-use.md#sagemaker-jupyterai-extra-model-params):
```
{
"AiExtension": {
"model_parameters": {
":": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
}
}
}
}
```
O script a seguir é um exemplo de um arquivo de configuração JSON que você pode usar ao criar uma LCC de JupyterLab aplicativo para definir o tamanho máximo de um [ Jurassic-2 modelo do AI21 Labs](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-jurassic2.html) implantado no Amazon Bedrock. Aumentar o comprimento da resposta gerada pelo modelo pode evitar o truncamento sistemático da resposta do seu modelo.
```
#!/bin/bash
set -eux
mkdir -p /home/sagemaker-user/.jupyter
json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}
# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"
#jupyter --paths
# Write JSON to file
echo "$json" > "$file_path"
# Confirmation message
echo "JSON written to $file_path"
restart-jupyter-server
# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30
```
O script a seguir é um exemplo de um arquivo de configuração JSON para criar um JupyterLab aplicativo LCC usado para definir parâmetros de modelo adicionais para um modelo [Anthropic Claude implantado](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-claude.html) no Amazon Bedrock.
```
#!/bin/bash
set -eux
mkdir -p /home/sagemaker-user/.jupyter
json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}
# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"
#jupyter --paths
# Write JSON to file
echo "$json" > "$file_path"
# Confirmation message
echo "JSON written to $file_path"
restart-jupyter-server
# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30
```
Depois de anexar sua LCC ao seu domínio ou perfil de usuário, adicione-a ao seu espaço ao iniciar seu JupyterLab aplicativo. Para garantir que seu arquivo de configuração seja atualizado pela LCC, execute `more ~/.jupyter/jupyter_jupyter_ai_config.json` em um terminal. O conteúdo do arquivo deve corresponder ao conteúdo do arquivo JSON passado para a LCC.
## Configure seu fornecedor de modelos em um caderno
**`Para invocar um modelo via Jupyter AI em JupyterLab notebooks Studio Classic usando os comandos mágicos %%ai e %ai`**
1. Instale as bibliotecas de cliente específicas do seu fornecedor de modelos no ambiente de caderno. Por exemplo, ao usar modelos OpenAI, você precisa instalar a biblioteca de cliente do `openai`. Você pode encontrar a lista das bibliotecas de cliente necessárias por fornecedor na coluna de *pacotes Python* da [lista de fornecedores](https://jupyter-ai.readthedocs.io/en/latest/users/index.html#model-providers) do Jupyter AI.
**nota**
Para modelos hospedados por AWS, já `boto3` está instalado na imagem de distribuição de SageMaker IA usada por JupyterLab, ou em qualquer imagem de ciência de dados usada com o Studio Classic.
1.
+ **Para modelos hospedados por AWS**
Certifique-se de que sua função de execução tenha a permissão para invocar seu endpoint de SageMaker IA para modelos fornecidos JumpStart ou que você tenha acesso ao Amazon Bedrock.
+ **Para modelos hospedados por fornecedores terceirizados**
Exporte a chave de API do seu fornecedor no ambiente de caderno usando variáveis de ambiente. É possível usar o seguinte comando mágico: Substitua a `provider_API_key` no comando pela variável de ambiente encontrada na coluna *Variável de ambiente* da [lista de fornecedores](https://jupyter-ai.readthedocs.io/en/latest/users/index.html#model-providers) do Jupyter AI Model para seu fornecedor.
```
%env provider_API_key=your_API_key
```