Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Amazon Bedrock Marketplace Verwenden Sie Amazon Bedrock Marketplace, um über 100 beliebte, neue und spezialisierte Foundation-Modelle zu entdecken, zu testen und zu verwenden (FMs). Diese Modelle ergänzen die Auswahl an branchenführenden Modellen in Amazon Bedrock. Informationen zu den Modellen finden Sie in einem einzelnen Katalog. Nachdem Sie das Modell entdeckt haben, können Sie es abonnieren und es auf einem von SageMaker KI verwalteten Endpunkt bereitstellen. Sie können über Amazon Bedrock's APIs auf die Modelle zugreifen, die Sie bereitgestellt haben. Wenn Sie über Amazon Bedrock auf die Modelle zugreifen, APIs können Sie sie nativ mit den Tools von Amazon Bedrock wie Agents, Knowledge Bases und Guardrails verwenden. Eine Liste der Modelle von Amazon Bedrock Marketplace finden Sie unter [Kompatibilität des Modells](bedrock-marketplace-model-reference.md). Der Zugriff auf die Modelle von Amazon Bedrock Marketplace erfolgt über: + [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)-Operation + den Vorgang [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) + die Amazon-Bedrock-Konsole Informationen zum Einrichten von Amazon Bedrock Marketplace finden Sie unter [Einrichten von Amazon Bedrock Marketplace](setup-amazon-bedrock-marketplace.md). Informationen zu den Lizenzbedingungen für einzelne Modelle finden Sie unter [Serverless-Modelle von Drittanbietern in Amazon Bedrock](https://aws.amazon.com/legal/bedrock/third-party-models/). **Wichtig** Nachdem Sie Amazon Bedrock Marketplace eingerichtet haben, können Sie entweder den von uns bereitgestellten Code für Ihren gesamten Workflow verwenden oder erste Schritte mit der Verwendung von AWS-Managementkonsole machen. Code, der einen Workflow ausführt, finden Sie unter. end-to-end [End-to-end Arbeitsablauf](bedrock-marketplace-end-to-end-workflow.md) Informationen zu den ersten Schritten bei der Verwendung der AWS-Managementkonsole finden Sie unter [Ermitteln eines Modells](bedrock-marketplace-discover-a-model.md). **Topics** + [Einrichten von Amazon Bedrock Marketplace](setup-amazon-bedrock-marketplace.md) + [Steuern des Zugriffs auf die Modelle von Amazon Bedrock Marketplace](control-amazon-bedrock-marketplace.md) + [End-to-end Arbeitsablauf](bedrock-marketplace-end-to-end-workflow.md) + [Ermitteln eines Modells](bedrock-marketplace-discover-a-model.md) + [Abonnieren eines Modells](bedrock-marketplace-subscribe-to-a-model.md) + [Bereitstellen eines Modells](bedrock-marketplace-deploy-a-model.md) + [Verwenden eines eigenen Endpunkts](bedrock-marketplace-bring-your-own-endpoint.md) + [Aufrufen des Endpunkts](bedrock-marketplace-call-the-endpoint.md) + [Verwalten von Endpunkten](bedrock-marketplace-manage-your-endpoints.md) + [Kompatibilität des Modells](bedrock-marketplace-model-reference.md) # Einrichten von Amazon Bedrock Marketplace Sie können die [Amazon Bedrock Full Access-Richtlinie](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonBedrockFullAccess.html) verwenden, um SageMaker KI Berechtigungen zu erteilen. Wir empfehlen die Verwendung der verwalteten Richtlinie. Wenn Sie diese jedoch nicht verwenden können, stellen Sie sicher, dass Ihre IAM-Rolle über die folgenden Berechtigungen verfügt. Im Folgenden sind die Berechtigungen aufgeführt, die in der AmazonBedrockFullAccess-Richtlinie vorgesehen sind. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "BedrockAll", "Effect": "Allow", "Action": [ "bedrock:*" ], "Resource": "*" }, { "Sid": "DescribeKey", "Effect": "Allow", "Action": [ "kms:DescribeKey" ], "Resource": "arn:*:kms:*:::*" }, { "Sid": "APIsWithAllResourceAccess", "Effect": "Allow", "Action": [ "iam:ListRoles", "ec2:DescribeVpcs", "ec2:DescribeSubnets", "ec2:DescribeSecurityGroups" ], "Resource": "*" }, { "Sid": "MarketplaceModelEndpointMutatingAPIs", "Effect": "Allow", "Action": [ "sagemaker:CreateEndpoint", "sagemaker:CreateEndpointConfig", "sagemaker:CreateModel", "sagemaker:CreateInferenceComponent", "sagemaker:DeleteInferenceComponent", "sagemaker:DeleteEndpoint", "sagemaker:UpdateEndpoint" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*", "arn:aws:sagemaker:*:*:endpoint-config/*", "arn:aws:sagemaker:*:*:model/*" ], "Condition": { "StringEquals": { "aws:CalledViaLast": "bedrock.amazonaws.com" } } }, { "Sid": "BedrockEndpointTaggingOperations", "Effect": "Allow", "Action": [ "sagemaker:AddTags", "sagemaker:DeleteTags" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*", "arn:aws:sagemaker:*:*:endpoint-config/*", "arn:aws:sagemaker:*:*:model/*" ] }, { "Sid": "MarketplaceModelEndpointNonMutatingAPIs", "Effect": "Allow", "Action": [ "sagemaker:DescribeEndpoint", "sagemaker:DescribeEndpointConfig", "sagemaker:DescribeModel", "sagemaker:DescribeInferenceComponent", "sagemaker:ListEndpoints", "sagemaker:ListTags" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*", "arn:aws:sagemaker:*:*:endpoint-config/*", "arn:aws:sagemaker:*:*:model/*" ], "Condition": { "StringEquals": { "aws:CalledViaLast": "bedrock.amazonaws.com" } } }, { "Sid": "BedrockEndpointInvokingOperations", "Effect": "Allow", "Action": [ "sagemaker:InvokeEndpoint", "sagemaker:InvokeEndpointWithResponseStream" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*" ], "Condition": { "StringEquals": { "aws:CalledViaLast": "bedrock.amazonaws.com" } } }, { "Sid": "DiscoveringMarketplaceModel", "Effect": "Allow", "Action": [ "sagemaker:DescribeHubContent" ], "Resource": [ "arn:aws:sagemaker:*:aws:hub-content/SageMakerPublicHub/Model/*", "arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub" ] }, { "Sid": "AllowMarketplaceModelsListing", "Effect": "Allow", "Action": [ "sagemaker:ListHubContents" ], "Resource": "arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub" }, { "Sid": "RetrieveSubscribedMarketplaceLicenses", "Effect": "Allow", "Action": [ "license-manager:ListReceivedLicenses" ], "Resource": [ "*" ] }, { "Sid": "PassRoleToSageMaker", "Effect": "Allow", "Action": [ "iam:PassRole" ], "Resource": [ "arn:aws:iam::*:role/*Sagemaker*ForBedrock*" ], "Condition": { "StringEquals": { "iam:PassedToService": [ "sagemaker.amazonaws.com", "bedrock.amazonaws.com" ] } } }, { "Sid": "PassRoleToBedrock", "Effect": "Allow", "Action": [ "iam:PassRole" ], "Resource": "arn:aws:iam::*:role/*AmazonBedrock*", "Condition": { "StringEquals": { "iam:PassedToService": [ "bedrock.amazonaws.com" ] } } } ] } ``` ------ **Wichtig** Die AmazonBedrockFullAccess-Richtlinie gewährt nur Berechtigungen für die Amazon Bedrock API. Um Amazon Bedrock in der verwenden zu könnenAWS-Managementkonsole, muss Ihre IAM-Rolle außerdem über die folgenden Berechtigungen verfügen: ``` { "Sid": "AllowConsoleS3AccessForBedrockMarketplace", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetBucketCORS", "s3:ListBucket", "s3:ListBucketVersions", "s3:GetBucketLocation" ], "Resource": "*" } ``` Wenn Sie Ihre eigene Richtlinie erstellen, müssen Sie die Richtlinienerklärung beifügen, die Aktionen in Amazon Bedrock Marketplace für die Ressource ermöglicht. Die folgende Richtlinie ermöglicht es Amazon Bedrock beispielsweise, den `InvokeModel`-Vorgang für ein Modell zu verwenden, das Sie auf einem Endpunkt bereitgestellt haben. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "BedrockAll", "Effect": "Allow", "Action": [ "bedrock:InvokeModel" ], "Resource": [ "arn:aws:bedrock:us-east-1:111122223333:marketplace/model-endpoint/all-access" ] }, { "Sid": "VisualEditor1", "Effect": "Allow", "Action": ["sagemaker:InvokeEndpoint"], "Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/*", "Condition": { "StringEquals": { "aws:ResourceTag/project": "example-project-id", "aws:CalledViaLast": "bedrock.amazonaws.com" } } } ] } ``` ------ Weitere Informationen zum Einrichten von Amazon Bedrock finden Sie unter [Quickstart](getting-started.md). Möglicherweise möchten Sie einen AWS Key Management Service Schlüssel verwenden, um den Endpunkt zu verschlüsseln, auf dem Sie das Modell bereitgestellt haben. Sie müssen die vorhergehende Richtlinie ändern, um über Berechtigungen zum Verwenden des AWS KMS-Schlüssels zu verfügen. Der AWS KMS Schlüssel muss außerdem über Berechtigungen zum Verschlüsseln des Endpunkts verfügen. Sie müssen die AWS KMS-Ressourcenrichtlinie ändern, um den Endpunkt zu verschlüsseln. Weitere Informationen zum Ändern der Richtlinie finden Sie unter [Verwenden von IAM-Richtlinien](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies) mit. AWS Key Management Service Ihr AWS KMS Schlüssel muss außerdem über `CreateGrant` Berechtigungen verfügen. Das folgende Beispiel zeigt Berechtigungen, die in einer Schlüsselrichtlinie enthalten sein müssen. ``` { "Sid": "Allow access for AmazonSageMaker-ExecutionRole", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/SagemakerExecutionRole" }, "Action": "kms:CreateGrant", "Resource": "*" } ``` Weitere Informationen zur Bereitstellung von Create Grant-Berechtigungen finden Sie unter [Erteilen von CreateGrant Berechtigungen](https://docs.aws.amazon.com/kms/latest/developerguide/create-grant-overview.html#grant-creategrant). # Steuern des Zugriffs auf die Modelle von Amazon Bedrock Marketplace Sie können die [Amazon Bedrock Full Access-Richtlinie](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonBedrockFullAccess.html) verwenden, um SageMaker KI Berechtigungen zu erteilen. Verwenden Sie eine Ablehnungsrichtlinie, um zu verhindern, dass Benutzer auf bestimmte Bedrock-Marketplace-Modelle zugreifen, während ihr Zugriff auf alle anderen Modelle erhalten bleibt. Die folgende Richtlinie zeigt, wie Sie den Zugriff auf ein bestimmtes Modell verweigern können. Zugriff auf bestimmte Modelle verweigern: **Wichtig** Diese Richtlinie verweigert ausdrücklich den Zugriff auf das angegebene Modell und ermöglicht gleichzeitig den Zugriff auf alle anderen Bedrock-Marketplace-Modelle (vorausgesetzt, dass andere erforderliche Berechtigungen vorhanden sind). **Zugriff nur auf bestimmte Modelle erlauben** Mit Zulassungsrichtlinie mit expliziten Modellspezifikationen können Sie den Benutzerzugriff auf bestimmte Bedrock-Marketplace-Modelle beschränken. Die folgende Richtlinie zeigt, wie Sie den Zugriff auf ein bestimmtes Modell erlauben können. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "MarketplaceModelAllow", "Effect": "Allow", "Action": [ "sagemaker:CreateEndpoint", "sagemaker:CreateEndpointConfig", "sagemaker:CreateModel", "sagemaker:DeleteEndpoint", "sagemaker:UpdateEndpoint" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*", "arn:aws:sagemaker:*:*:endpoint-config/*", "arn:aws:sagemaker:*:*:model/*" ], "Condition": { "StringEquals": { "aws:CalledViaLast": "bedrock.amazonaws.com", "aws:ResourceTag/sagemaker-sdk:bedrock": "compatible" }, "StringLike": { "aws:ResourceTag/sagemaker-studio:hub-content-arn": "arn:aws:sagemaker:*:aws:hub-content/SageMakerPublicHub/Model//*" } } }, { "Sid": "BedrockEndpointTaggingOperations", "Effect": "Allow", "Action": [ "sagemaker:AddTags", "sagemaker:DeleteTags" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*", "arn:aws:sagemaker:*:*:endpoint-config/*", "arn:aws:sagemaker:*:*:model/*" ], "Condition": { "StringLike": { "aws:ResourceTag/sagemaker-studio:hub-content-arn": "arn:aws:sagemaker:*:aws:hub-content/SageMakerPublicHub/Model//*" } } } ] } ``` ------ Diese Richtlinie ermöglicht nur den Zugriff auf das angegebene Modell und verweigert den Zugriff auf alle anderen Modelle. Wenn Ihre Richtlinie nicht auf der Anweisung `AmazonBedrockFullAccess` basiert, sollte diese die Anweisungen `MarketplaceModelEndpointMutatingAPIs` und `BedrockEndpointTaggingOperations` ersetzen. # End-to-end Arbeitsablauf Nachdem Sie Amazon Bedrock Marketplace eingerichtet haben, können Sie den folgenden Beispielcode in Ihrem end-to-end Workflow verwenden. Wenn Sie mehr Kontext benötigen, lesen Sie die Abschnitte, die dem Code folgen. ``` from botocore.exceptions import ClientError import pprint from datetime import datetime import json import time import sys import boto3 import argparse SM_HUB_NAME = 'SageMakerPublicHub' DELIMITER = "\n\n\n\n================================================================================================" class Bedrock: def __init__(self, region_name) -> None: self.region_name = region_name self.boto3_session = boto3.session.Session() self.sagemaker_client = self.boto3_session.client( service_name='sagemaker', region_name=self.region_name, ) self.bedrock_client = self.boto3_session.client( service_name='bedrock', region_name=self.region_name ) self.endpoint_paginator = self.bedrock_client.get_paginator('list_marketplace_model_endpoints') self.bedrock_runtime_client = self.boto3_session.client( service_name='bedrock-runtime', region_name=self.region_name) def list_models(self): SM_RESPONSE_FIELD_NAME = 'HubContentSummaries' SM_HUB_CONTENT_TYPE = 'Model' response = self.sagemaker_client.list_hub_contents( MaxResults=100, HubName=SM_HUB_NAME, HubContentType=SM_HUB_CONTENT_TYPE ) all_models = Bedrock.extract_bedrock_models(response[SM_RESPONSE_FIELD_NAME]) while ("NextToken" in response) and response["NextToken"]: response = self.sagemaker_client.list_hub_contents( MaxResults=100, HubName=SM_HUB_NAME, HubContentType=SM_HUB_CONTENT_TYPE, NextToken=response['NextToken'] ) extracted_models = Bedrock.extract_bedrock_models(response[SM_RESPONSE_FIELD_NAME]) if not extracted_models: # Bedrock enabled models always appear first, therefore can return when results are empty. return all_models all_models.extend(extracted_models) time.sleep(1) return all_models def describe_model(self, hub_name: str, hub_content_name: str): return self.sagemaker_client.describe_hub_content( HubName=hub_name, HubContentType='Model', HubContentName=hub_content_name ) def list_endpoints(self): for response in self.endpoint_paginator.paginate(): for endpoint in response['marketplaceModelEndpoints']: yield endpoint def list_endpoints_for_model(self, hub_content_arn: str): for response in self.endpoint_paginator.paginate( modelSourceEquals=hub_content_arn): for endpoint in response['marketplaceModelEndpoints']: yield endpoint # acceptEula needed only for gated models def create_endpoint(self, model, endpoint_config, endpoint_name: str, tags = []): model_arn = model['HubContentArn'] if self._requires_eula(model=model): return self.bedrock_client.create_marketplace_model_endpoint( modelSourceIdentifier=model_arn, endpointConfig=endpoint_config, endpointName=endpoint_name, acceptEula=True, tags=tags ) else: return self.bedrock_client.create_marketplace_model_endpoint( modelSourceIdentifier=model_arn, endpointConfig=endpoint_config, endpointName=endpoint_name, tags=tags ) def delete_endpoint(self, endpoint_arn: str): return self.bedrock_client.delete_marketplace_model_endpoint(endpointArn=endpoint_arn) def describe_endpoint(self, endpoint_arn: str): return self.bedrock_client.get_marketplace_model_endpoint(endpointArn=endpoint_arn)['marketplaceModelEndpoint'] def update_endpoint(self, endpoint_arn: str, endpoint_config): return self.bedrock_client.update_marketplace_model_endpoint(endpointArn=endpoint_arn, endpointConfig=endpoint_config) def register_endpoint(self, endpoint_arn: str, model_arn: str): return self.bedrock_client.register_marketplace_model_endpoint(endpointIdentifier=endpoint_arn, modelSourceIdentifier=model_arn)['marketplaceModelEndpoint']['endpointArn'] def deregister_endpoint(self, endpoint_arn: str): return self.bedrock_client.deregister_marketplace_model_endpoint(endpointArn=endpoint_arn) def invoke(self, endpoint_arn: str, body): response = self.bedrock_runtime_client.invoke_model(modelId=endpoint_arn, body=body, contentType='application/json') return json.loads(response["body"].read()) def invoke_with_stream(self, endpoint_arn: str, body): return self.bedrock_runtime_client.invoke_model_with_response_stream(modelId=endpoint_arn, body=body) def converse(self, endpoint_arn: str, conversation): return self.bedrock_runtime_client.converse(modelId=endpoint_arn, messages=conversation) def converse_with_stream(self, endpoint_arn: str, conversation): return self.bedrock_runtime_client.converse_stream(modelId=endpoint_arn, messages=conversation, inferenceConfig={"maxTokens": 4096, "temperature": 0.5, "topP": 0.9}) def wait_for_endpoint(self, endpoint_arn: str): endpoint = self.describe_endpoint(endpoint_arn=endpoint_arn) while endpoint['endpointStatus'] in ['Creating', 'Updating']: print( f"Endpoint {endpoint_arn} status is still {endpoint['endpointStatus']}. Waiting 10 seconds before continuing...") time.sleep(10) endpoint = self.describe_endpoint(endpoint_arn=endpoint_arn) print(f"Endpoint status: {endpoint['status']}") def _requires_eula(self, model): if 'HubContentDocument' in model: hcd = json.loads(model['HubContentDocument']) if ('HostingEulaUri' in hcd) and hcd['HostingEulaUri']: return True return False @staticmethod def extract_bedrock_models(hub_content_summaries): models = [] for content in hub_content_summaries: if ('HubContentSearchKeywords' in content) and ( '@capability:bedrock_console' in content['HubContentSearchKeywords']): print(f"ModelName: {content['HubContentDisplayName']}, modelSourceIdentifier: {content['HubContentArn']}") models.append(content) return models def run_script(sagemaker_execution_role: str, region: str): # Script params model_arn = 'arn:aws:sagemaker:AWS-Region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/hub-content-arn' model_name = 'example-model-name' sample_endpoint_name = f'test-ep-{datetime.now().strftime("%Y-%m-%d%H%M%S")}' sagemaker_execution_role = sagemaker_execution_role conversation = [ { "role": "user", "content": [ { "text": "whats the best park in the US?" } ] } ] bedrock = Bedrock(region_name=region) ### ### Model discovery ### # List all models - no new Bedrock Marketplace API here. Uses existing SageMaker APIs print(DELIMITER) print("All models:") all_models = bedrock.list_models() # Describe a model - no new Bedrock Marketplace API here. Uses existing SageMaker APIs # Examples: # bedrock.describe_model("SageMakerPublicHub", "huggingface-llm-amazon-mistrallite") # bedrock.describe_model("SageMakerPublicHub", "huggingface-llm-gemma-2b-instruct") print(DELIMITER) print(f'Describing model: {model_name}') model = bedrock.describe_model(SM_HUB_NAME, model_name) pprint.pprint(model) ## If customer wants to use a proprietary model, they need to subscribe to it first ## If customer wants to use a gated model, they need to accept EULA. Note: EULA Acceptance is on-creation, and needs ## to be provided on every call. Cannot un-accept a EULA ## If customer wants to use an open weight model, they can proceed to deploy ### ### Model deployment to create endpoints ### # # Create endpoint - uses Bedrock Marketplace API endpoint_arn = bedrock.create_endpoint( endpoint_name=sample_endpoint_name, endpoint_config={ "sageMaker": { "initialInstanceCount": 1, "instanceType": "ml.g5.2xlarge", "executionRole": sagemaker_execution_role # Other fields: # kmsEncryptionKey: KmsKeyId # vpc: VpcConfig } }, # Optional: # tags: TagList model=model )['marketplaceModelEndpoint']['endpointArn'] # # Describe endpoint - uses Bedrock Marketplace API endpoint = bedrock.describe_endpoint(endpoint_arn=endpoint_arn) print(DELIMITER) print('Created endpoint:') pprint.pprint(endpoint) # Wait while endpoint is being created print(DELIMITER) bedrock.wait_for_endpoint(endpoint_arn=endpoint_arn) ### ### Currently, customers cannot use self-hosted endpoints with Bedrock Runtime APIs and tools. They can only pass a model ID to the APIs. ### Bedrock Marketplace will enable customers to use self-hosted endpoints through existing Bedrock Runtime APIs and tools ### See below examples of calling invoke_model, invoke_model_with_response_stream, converse and converse_stream ### Customers will be able to use the endpoints with Bedrock dev tools also (Guardrails, Model eval, Agents, Knowledge bases, Prompt flows, Prompt management) - examples not shown below ### # Prepare sample data for invoke calls by getting default payload in model metadata model_data = json.loads(bedrock.describe_model('SageMakerPublicHub', model_name)['HubContentDocument']) payload = list(model_data["DefaultPayloads"].keys())[0] invoke_body = model_data["DefaultPayloads"][payload]["Body"] invoke_content_field_name = 'generated_text' # Invoke model (text) - without stream - uses existing Bedrock Runtime API print(DELIMITER) print(f'Invoking model with body: {invoke_body}') invoke_generated_response = bedrock.invoke(endpoint_arn=endpoint_arn, body=json.dumps(invoke_body)) print(f'Generated text:') print(invoke_generated_response[invoke_content_field_name]) sys.stdout.flush() # Converse with model (chat) - without stream - uses existing Bedrock Runtime API print(DELIMITER) print(f'Converse model with conversation: {conversation}') print(bedrock.converse(endpoint_arn=endpoint_arn, conversation=conversation)['output']) ### ## Other endpoint management operations ### # List all endpoints - uses Bedrock Marketplace API print(DELIMITER) print('Listing all endpoints') for endpoint in bedrock.list_endpoints(): pprint.pprint(endpoint) # List endpoints for a model # Example: bedrock.list_endpoints_for_model(hub_content_arn='arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/huggingface-textgeneration1-mpt-7b-storywriter-bf16/3.2.0') print(DELIMITER) print(f"Listing all endpoints for model: {model_arn}") for endpoint in bedrock.list_endpoints_for_model(hub_content_arn=model_arn): pprint.pprint(endpoint) # # Update endpoint - uses new API provided by Bedrock Marketplace updated_endpoint_arn = bedrock.update_endpoint( endpoint_arn=endpoint_arn, endpoint_config={ "sageMaker": { "initialInstanceCount": 2, # update to increase instance count "instanceType": "ml.g5.2xlarge", "executionRole": sagemaker_execution_role # Other fields: # kmsEncryptionKey: KmsKeyId # vpc: VpcConfig } # Optional: # tags: TagList } )['marketplaceModelEndpoint']['endpointArn'] # Wait while endpoint is being updated print(DELIMITER) bedrock.wait_for_endpoint(endpoint_arn=updated_endpoint_arn) # Confirm endpoint update updated_endpoint = bedrock.describe_endpoint(endpoint_arn=updated_endpoint_arn) print(f'Updated endpoint: {updated_endpoint}') assert updated_endpoint['endpointConfig']['sageMaker']['initialInstanceCount'] == 2 print(DELIMITER) print(f'Confirmed that updated endpoint\'s initialInstanceCount config changed from 1 to 2') # Wait while endpoint is being updated print(DELIMITER) bedrock.wait_for_endpoint(endpoint_arn=updated_endpoint_arn) # Deregister endpoint - uses Bedrock Marketplace API print(DELIMITER) print(f'De-registering endpoint: {updated_endpoint_arn}') bedrock.deregister_endpoint(endpoint_arn=updated_endpoint_arn) try: pprint.pprint(bedrock.describe_endpoint(endpoint_arn=updated_endpoint_arn)) except ClientError as err: assert err.response['Error']['Code'] == 'ResourceNotFoundException' print(f"Confirmed that endpoint {updated_endpoint_arn} was de-registered") # Re-register endpoint - uses Bedrock Marketplace API print(DELIMITER) print(f'Registered endpoint: {bedrock.register_endpoint(endpoint_arn=updated_endpoint_arn, model_arn=model_arn)}') pprint.pprint(bedrock.describe_endpoint(endpoint_arn=updated_endpoint_arn)) # Delete endpoint - uses Bedrock Marketplace API print(DELIMITER) print(f'Deleting endpoint: {updated_endpoint_arn}') bedrock.delete_endpoint(endpoint_arn=updated_endpoint_arn) try: pprint.pprint(bedrock.describe_endpoint(endpoint_arn=updated_endpoint_arn)) except ClientError as err: assert err.response['Error']['Code'] == 'ResourceNotFoundException' print(f"Confirmed that endpoint {updated_endpoint_arn} was deleted") if __name__ == '__main__': parser = argparse.ArgumentParser() parser.add_argument('--sagemaker-execution-role', required=True) parser.add_argument('--region', required=True) args = parser.parse_args() run_script(args.sagemaker_execution_role, args.region) ``` # Ermitteln eines Modells Sie können sowohl Modelle für Amazon Bedrock Marketplace als auch Serverless-Modelle für Amazon Bedrock aus dem Modellkatalog ermitteln. Gehen Sie wie folgt vor, um ein Modell für Amazon Bedrock Marketplace zu ermitteln. **So ermitteln Sie ein Modell für Amazon Bedrock Marketplace** 1. Melden Sie sich bei der Rolle AWS-Managementkonsole Using an IAM mit Amazon Bedrock-Berechtigungen an. 1. Geben Sie in der Suchleiste „Amazon Bedrock“ ein und wählen Sie aus der Dropdown-Liste den Eintrag **Amazon Bedrock** aus. 1. Wählen Sie im Navigationsbereich **Modellkatalog** aus. 1. Filtern Sie die Spalte **Modellsammlung** nach **Bedrock Marketplace**, um Modelle für Amazon Bedrock Marketplace zu laden. 1. Alternativ können Sie auch direkt in der Suchleiste nach einem Modellnamen suchen. **Anmerkung** Sie müssen proprietäre Modelle in Amazon Bedrock Marketplace abonnieren, um Zugriff auf sie zu erhalten. # Abonnieren eines Modells Wenn Sie ein Modell von Amazon Bedrock Marketplace verwenden möchten, müssen Sie dieses abonnieren. Wenn Sie ein öffentlich verfügbares Modell verwenden, z. B. ein HuggingFace Modell, benötigen Sie kein Abonnement. Modelle können öffentlich verfügbar oder urheberrechtlich geschützt sein. Wenn Sie ein Modell abonnieren, überprüfen und akzeptieren Sie die Preise und die Preise EULAs des Modellanbieters. **Anmerkung** Aufgrund der automatischen Aktivierung ist vor dem ersten Aufruf kein Abonnement erforderlich. Amazon Bedrock initiiert den Abonnementvorgang automatisch im Hintergrund. API-Aufrufe können vorübergehend erfolgreich sein, während das Abonnement abgeschlossen wird. Schlägt das Abonnement jedoch fehl, schlagen nachfolgende Anfragen fehl, siehe[Zugriff auf Amazon-Bedrock-Basismodelle](model-access.md). **So abonnieren Sie ein Modell** 1. Melden Sie sich bei der Rolle AWS-Managementkonsole Using an IAM mit Amazon Bedrock-Berechtigungen an. 1. Geben Sie in der Suchleiste „Amazon Bedrock“ ein und wählen Sie aus der Dropdown-Liste den Eintrag **Amazon Bedrock** aus. 1. Wählen Sie im Navigationsbereich „Modellkatalog“ aus. 1. Filtern Sie die Spalte **Modellsammlung** nach **Bedrock Marketplace**, um Modelle für Amazon Bedrock Marketplace zu laden. 1. Alternativ können Sie auch direkt in der Suchleiste nach einem Modellnamen suchen. 1. Wählen Sie die Modellkarte aus, um die Seite mit den **Modelldetails** zu öffnen. 1. Wählen Sie **Abonnementoptionen anzeigen** aus, um das Abonnementmodal zu öffnen. 1. Sehen Sie sich die Angebote und die Kosten an. 1. Lesen Sie die Nutzungsbedingungen. 1. Wählen Sie **Subscribe (Abonnieren)** aus. Der Abschluss des Abonnementvorgangs dauert in der Regel zwischen 10 und 15 Minuten; diese Zeit jedoch je nach den Anforderungen des Anbieters variieren. Die genannten Kosten beziehen sich nur auf die Software. Ihnen werden separate SageMaker KI-Infrastrukturkosten für den Instance-Typ und die Anzahl der von Ihnen ausgewählten Instances in Rechnung gestellt. # Bereitstellen eines Modells Nachdem Sie ein Modell abonniert haben, stellen Sie es auf einem SageMaker KI-Endpunkt bereit. Sie senden Inferenzrufe an den Endpunkt. Das Modell wird von SageMaker KI gehostet. Während der Bereitstellung müssen Sie folgende Informationen angeben: + Der Name des SageMaker KI-Endpunkts + Die Anzahl der Instances, die Inferenzrufe an den Endpunkt entgegennehmen + Der Instance-Typ des Endpunkts Sie können auch optionale erweiterte Optionen wie Tags konfigurieren. Es wird automatisch eine SageMaker KI-Servicerolle erstellt, damit SageMaker KI in Ihrem Namen Aktionen übernimmt und ausführt. Weitere Informationen zu Amazon SageMaker AI-Berechtigungen finden Sie unter [So verwenden Sie SageMaker KI-Ausführungsrollen](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-roles.html ). Sie können eine vorhandene Rolle auswählen oder eine neue erstellen. Um zu erfahren, wie Sie ein Modell für Amazon Bedrock Marketplace bereitstellen, wählen Sie die Registerkarte, die Ihrer bevorzugten Methode entspricht, und befolgen Sie die aufgeführten Schritte. **So stellen Sie ein Modell bereit** 1. Melden Sie sich bei der Rolle AWS-Managementkonsole Using an IAM mit Amazon Bedrock-Berechtigungen an. 1. Geben Sie in der Suchleiste „Amazon Bedrock“ ein und wählen Sie aus der Dropdown-Liste den Eintrag **Amazon Bedrock** aus. 1. Wählen Sie im Navigationsbereich **Modellkatalog** aus. 1. Wählen Sie die Modellkarte für das Modell aus, das Sie bereitstellen. 1. Wählen Sie **Bereitstellen**. 1. Geben Sie unter **Endpunktname** den Namen des Endpunkts an. 1. Wählen Sie die Anzahl der Instances sowie einen Instance-Typ aus. 1. Unter **Erweiterte Einstellungen** haben Sie folgende Optionen: 1. Einrichten Ihrer VPC 1. Konfigurieren der Servicezugriffsrolle 1. Anpassen der Verschlüsselungseinstellungen 1. Hinzufügen von Tags 1. Wählen Sie **Deploy**, um Ihr Amazon Bedrock Marketplace-Modell auf einem SageMaker KI-Endpunkt bereitzustellen. Dieser Vorgang dauert in der Regel 10 bis 15 Minuten. Verwenden Sie zum Erstellen eines Endpunkts die `CreateMarketplaceModelEndpoint`-Operation. Einige Modelle verfügen über eine Endbenutzer-Lizenzvereinbarung (EULA). Um die EULA zu akzeptieren, setzen Sie den Wert für `AcceptEula` auf `True`. Im folgenden Beispiel wird ein AWS Command Line Interface Beispielbefehl verwendet, um einen Endpunkt zu erstellen: ``` aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name" ``` **Anmerkung** Die Antworten für die Operationen `CreateMarketplaceModelEndpoint`, `UpdateMarketplaceModelEndpoint` und `RegisterMarketplaceModelEndpoint` sind identisch. ``` {"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}} ``` Sie können den Endpunkt sowohl in Amazon Bedrock Marketplace als auch in Amazon SageMaker AI ändern. Wir empfehlen, den Endpunkt nur in Amazon Bedrock zu ändern. Wenn Sie den Endpunkt in SageMaker AI ändern, können Sie den Endpunkt möglicherweise nicht in Amazon Bedrock verwenden. Die folgenden Änderungen können dazu führen, dass der Endpunkt in Amazon Bedrock ausfällt: + Einstellung auf [EnableNetworkIsolation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html#sagemaker-CreateModel-request-EnableNetworkIsolation)`False` + Ändern der Modelldefinition innerhalb des [PrimaryContainer](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html#sagemaker-CreateModel-request-PrimaryContainer)Objekts Damit der Endpunkt funktionsfähig ist, muss er registriert und in Betrieb sein. Sie können den folgenden AWS Command Line Interface Befehl verwenden, um den Status des Endpunkts zu überprüfen. ``` aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name ``` Der Endpunkt muss den folgenden Status aufweisen, damit Sie ihn mit Amazon Bedrock verwenden können: ``` endpointStatus: InService status: REGISTERED ``` Wenn Sie eine Änderung vorgenommen haben, die zum Ausfall des Endpunkts geführt hat, können Sie den Endpunkt abmelden und erneut registrieren. Mit der Operation `DeregisterEndpoint` melden Sie den Endpunkt ab. Mit der Operation `RegisterEndpoint` registrieren Sie ihn erneut. ``` aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name ``` ``` aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier HubContentArn ``` # Verwenden eines eigenen Endpunkts Sie können einen Endpunkt registrieren, der ein Amazon Bedrock AWS Marketplace Marketplace-Modell hostet, das Sie in SageMaker KI erstellt haben. Während des Registrierungsprozesses werden die Modelle auf Kompatibilität mit den Anforderungen von Amazon Bedrock Marketplace überprüft. In den Endpunkten muss die Netzwerkisolierung aktiviert sein. Darüber hinaus können Sie die Modellartefakte des vom Anbieter bereitgestellten Basismodells nicht ändern. Weitere Informationen zur Registrierung des Endpunkts finden Sie unter [Verwenden Sie Ihre SageMaker JumpStart KI-Modelle in Amazon Bedrock](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-use-studio-updated-register-bedrock) # Aufrufen des Endpunkts Sie das Modell verwenden, sobald Sie es in einem Endpunkt bereitgestellt haben. Rufen Sie die Modelle mit der Operation `Converse` oder `InvokeModel` auf. Eine Liste der Modelle, die von der Operation `Converse` unterstützt werden, finden Sie unter [Kompatibilität des Modells](bedrock-marketplace-model-reference.md). Informationen zu Agenten finden Sie unter [Automatisieren von Aufgaben in einer Anwendung mithilfe von KI-Agenten](agents.md). Informationen über Wissensdatenbanken finden Sie unter [Abrufen von Daten und Generieren von KI-Antworten mit Wissensdatenbanken für Amazon Bedrock](knowledge-base.md). **So verwenden Sie ein Modell** 1. Melden Sie sich bei der Rolle AWS-Managementkonsole Using an IAM mit Amazon Bedrock-Berechtigungen an. 1. Geben Sie in der Suchleiste „Amazon Bedrock“ ein und wählen Sie **Amazon Bedrock** aus der Dropdown-Liste aus. 1. Wählen Sie das Tool aus, das Sie verwenden. Mit **Playground** greifen Sie am schnellsten auf das bereitgestellte Modell zu. 1. Klicken Sie auf **Modell auswählen**. 1. Wählen Sie den Endpunkt Ihres Modells aus. Sie können auch die folgenden AWS Command Line Interface Beispielbefehle verwenden, um den Endpunkt aufzurufen. ``` aws bedrock-runtime converse --model-id arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --messages '[{"role": "user", "content": [{"text": "Describe the purpose of a \"hello world\" program in one line."}]}]' ``` ``` aws bedrock-runtime invoke-model --model-id arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --body '{"inputs": "Hello? How are you?", "parameters": {"details": true}}' --cli-binary-format raw-in-base64-out test.txt ``` # Verwalten von Endpunkten Sie können die Endpunkte von Modellen für Amazon Bedrock Marketplace auf folgende Weise anzeigen und verwalten: + Bearbeiten der Anzahl von Instances oder der Instance-Typen + Ändern der Tags + Löschen eines Endpunkts Sie können auch Endgeräte von Amazon Bedrock Marketplace-Modellen, die Sie mit KI erstellt haben, registrieren und deren Registrierung aufheben. SageMaker **So verwalten Sie Endpunkte** 1. Melden Sie sich bei der Rolle AWS-Managementkonsole Using an IAM mit Amazon Bedrock-Berechtigungen an. 1. Geben Sie in der Suchleiste „Amazon Bedrock“ ein und wählen Sie **Amazon Bedrock** aus der Dropdown-Liste aus. 1. Wählen Sie unter **Basismodelle** die Option **Marketplace-Bereitstellungen** aus. 1. Wählen Sie in der Leiste **Aktionen** die Option **Registrieren**, **Bearbeiten** oder **Löschen** aus. 1. Um weitere Details zu sehen, wählen Sie den Endpunkt aus. Sie können den folgenden AWS Command Line Interface Befehl verwenden, um den Endpunkt zu löschen. ``` aws bedrock delete-marketplace-model-endpoint --endpoint-arn "arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint" ``` Der vorherige Befehl gibt keine Antwort zurück. Sie können den folgenden AWS Command Line Interface Befehl verwenden, um den Endpunkt zu aktualisieren. ``` aws bedrock update-marketplace-model-endpoint --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":2,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/service-role/example-sagemaker-service-role\"}}" --endpoint-arn "arn:aws:sagemaker:region:account-number:endpoint/example-endpoint-name" ``` **Anmerkung** Die Antworten für die Operationen `CreateMarketplaceModelEndpoint`, `RegisterMarketplaceModelEndpoint` und `UpdateMarketplaceModelEndpoint` sind identisch. # Kompatibilität des Modells Die `InvokeModel`-Operation kann von allen Modellen verwendet werden. Die `Converse`-Operation kann von einigen Modellen verwendet werden. Verwenden Sie für Modelle für Amazon Bedrock Marketplace die [ApplyGuardrail](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ApplyGuardrail.html)-API, um den Integritätsschutz von Amazon Bedrock zu verwenden. Die folgende Tabelle enthält die verfügbaren Modelle und gibt an, ob sie die Operation `Converse` verwenden können: | Name | Converse-API-Unterstützung | Streaming-Unterstützung | | --- | --- | --- | | Arcee Lite | Ja | Ja | | Arcee Nova | Ja | Ja | | Arcee SuperNova | Ja | Ja | | Arcee Virtuoso Small | Ja | Ja | | Aya 101 | Nein | Ja | | Bart Large CNN samsum | Nein | Nein | | Bloom 1b1 | Nein | Ja | | Bloom 1b7 | Nein | Ja | | Bloom 3B | Nein | Ja | | Bloom 560m | Nein | Ja | | Bloom 7B1 | Nein | Ja | | Bloomz 1b1 | Nein | Ja | | Bloomz 1b7 | Nein | Ja | | BloomZ 3B FP16 | Nein | Ja | | BloomZ 7B1 FP16 | Nein | Ja | | Bria 2.2HD Commercial | Nein | Nein | | Bria 2.3 Commercial | Nein | Nein | | Bria 2.3 Fast Commercial | Nein | Nein | | CyberAgentLM3-22B-Chat (CALM3-22B-Chat) | Ja | Ja | | DBRX Base | Nein | Ja | | DBRX Instruct | Ja | Ja | | DeepSeek-R1-Distill-Llama-70B | Nein | Ja | | DeepSeek-R1-Distill-Llama-8B | Nein | Ja | | DeepSeek-R1-Distill-Qwen-32B | Nein | Ja | | DeepSeek-R1-Distill-Qwen-14B | Nein | Ja | | DeepSeek-R1-Distill-Qwen-7B | Nein | Ja | | DeepSeek-R1-Distill-Qwen-1.5B | Nein | Ja | | DeepSeek-R1 | Nein | Ja | | Distilbart CNN 12-6 | Nein | Nein | | Distilbart CNN 6-6 | Nein | Nein | | Distilbart xsum 12-3 | Nein | Nein | | DistilGPT 2 | Nein | Ja | | Dolly V2 12b BF16 | Nein | Ja | | Dolly V2 3b BF16 | Nein | Ja | | Dolly V2 7b BF16 | Nein | Ja | | Dolphin 2.2.1 Mistral 7B | Ja | Ja | | Dolphin 2.5 Mixtral 8 7B | Ja | Ja | | EleutherAI GPT Neo 1.3B | Nein | Ja | | EleutherAI GPT Neo 2.7B | Nein | Ja | | ESM3-open | Nein | Nein | | EXAONE\$1v3.0 7.8B Instruct | Ja | Nein | | Falcon 40B BF16 | Nein | Ja | | Falcon Lite | Nein | Ja | | Falcon Lite 2 | Nein | Ja | | Falcon RW 1B | Nein | Ja | | Falcon3 1B Instruct | Ja | Ja | | Falcon3 3B Base | Nein | Ja | | Falcon3 3B Instruct | Ja | Ja | | Falcon3 7B Base | Nein | Ja | | Falcon3 7B Instruct | Ja | Ja | | Falcon3 10B Base | Nein | Ja | | Falcon3 10B Instruct | Ja | Ja | | FLAN-T5 Base | Nein | Ja | | Flan-T5-Basismodell mit Optimierung für Samsum-Datensatz | Nein | Ja | | FLAN-T5 Large | Nein | Ja | | FLAN-T5 Small | Nein | Ja | | Gemma 2 27B | Nein | Ja | | Gemma 2 27B Instruct | Ja | Ja | | Gemma 2 2B | Nein | Ja | | Gemma 2 2B Instruct | Ja | Ja | | Gemma 2 9B | Nein | Ja | | Gemma 2 9B Instruct | Ja | Ja | | Gemma 2B | Nein | Ja | | Gemma 2B Instruct | Ja | Ja | | Gemma 7B | Nein | Ja | | Gemma 7B Instruct | Ja | Ja | | GPT 2 | Nein | Ja | | GPT NeoX 20B FP16 | Nein | Ja | | GPT-2 XL | Nein | Ja | | GPT-J 6B | Nein | Ja | | GPT-Neo 1.3B | Nein | Ja | | GPT-Neo 125M | Nein | Ja | | GPT-NEO 2.7B | Nein | Ja | | Granite 3.0 2B Instruct | Ja | Ja | | Granite 3.0 8B Instruct | Ja | Ja | | Gretel Navigator Tabular | Ja | Ja | | IBM Granite 20B Code Instruct - 8K | Ja | Ja | | IBM Granite 34B Code Instruct - 8K | Ja | Ja | | IBM Granite 3B Code Instruct - 128K | Ja | Ja | | IBM Granite 8B Code Instruct - 128K | Ja | Ja | | KARAKURI LM 8x7b instruct | Nein | Ja | | Liquid | Ja | Ja | | Llama 3.1 SuperNova Lite | Ja | Ja | | Lama Spark | Ja | Ja | | Llama-3-Varco-Offsetbias-8B | Nein | Ja | | Llama3 8B SEA-Lion v2.1 Instruct | Ja | Ja | | MARS6 | Nein | Nein | | Medical LLM - Medium | Nein | Nein | | Medical LLM - Small | Nein | Nein | | Medical Text Translation (EN-ES) | Nein | Nein | | Mistral 7B OpenOrca AWQ | Ja | Ja | | Mistral 7B OpenOrca GPTQ | Ja | Ja | | Mistral 7B SFT Alpha | Ja | Ja | | Mistral 7B SFT Beta | Ja | Ja | | Mistral Lite | Ja | Ja | | Mistral Nemo Base 2407 | Nein | Ja | | Mistral Nemo Instruct 2407 | Ja | Ja | | Mistral Trix V1 | Nein | Ja | | MPT 7B BF16 | Nein | Ja | | MPT 7B Instruct BF16 | Nein | Ja | | MPT 7B StoryWriter-65k\$1 BF16 | Nein | Ja | | Multilingual GPT | Nein | Ja | | NVIDIA Nemotron-4 15B NIM Microservice | Ja | Nein | | Open Hermes 2 Mistral 7B | Ja | Ja | | Phi-2 | Nein | Ja | | Phi-3-Mini-128K-Instruct | Ja | Ja | | Phi-3-Mini-4K-Instruct | Ja | Ja | | Phi-3.5-mini-instruct | Ja | Ja | | Pixtral 12B 2409 | Ja | Ja | | PLaMo API | Nein | Ja | | Snowflake Arctic Instruct Vllm | Ja | Ja | | Solar Mini Chat | Ja | Ja | | Solar Mini Chat - Quant | Ja | Ja | | Solar Mini Chat ja | Ja | Ja | | Solar Mini Chat ja - Quant | Ja | Ja | | Solar Pro | Ja | Ja | | Solar Pro (Quantized) | Ja | Ja | | Stable Diffusion 3.5 Large | Nein | Nein | | Stockmark-LLM-13b | Nein | Nein | | Textzusammenfassung | Nein | Nein | | VARCO LLM KO/EN-13B-IST | Ja | Nein | | Whisper Large V3 Turbo | Nein | Ja | | Widn Llama3-Tower Vesuvius | Ja | Ja | | Widn Tower Anthill | Ja | Ja | | Widn Tower Sugarloaf | Ja | Ja | | Writer Palmyra Small | Nein | Ja | | Writer Palmyra-Fin-70B-32K | Ja | Ja | | Writer Palmyra-Med-70B-32K | Ja | Ja | | YARN Mistral 7B 128k | Nein | Ja | | Yi-1.5-34B | Nein | Ja | | Yi-1.5-34B-Chat | Ja | Ja | | Yi-1.5-6B | Nein | Ja | | Yi-1.5-6B-Chat | Ja | Ja | | Yi-1.5-9B | Nein | Ja | | Yi-1.5-9B-Chat | Ja | Ja | | Zephyr 7B Alpha | Nein | Ja | | Zephyr 7B Beta | Nein | Ja | | Zephyr 7B Gemma | Nein | Ja |