View a markdown version of this page

Fehler bei der Bereitstellung des Modells Hugging Face Hub - Amazon SageMaker KI
Diagnose von Bereitstellungsfehlern bei Hugging FaceUngültiges oder abgelaufenes Hugging Face Face-TokenFehler bei der NetzwerkkonnektivitätModell wurde nicht gefunden

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehler bei der Bereitstellung des Modells Hugging Face Hub

Überblick: Bei der Bereitstellung von Modellen aus Hugging Face Hub unter Verwendung des huggingface Modellquelltyps kann die Bereitstellung während der Modell-Download-Phase fehlschlagen. In diesem Abschnitt werden häufige Ausfallszenarien und deren Diagnose mithilfe von Kubernetes-Ereignissen und Pod-Logs behandelt.

Diagnose von Bereitstellungsfehlern bei Hugging Face

Schritte zur Problembehebung:

  1. Überprüfen Sie den InferenceEndpointConfig Status und die Ereignisse auf Fehlerdetails:

    kubectl describe inferenceendpointconfig <name> -n <namespace>

    Suchen Sie nach Ereignissen mit dem Grund HuggingFaceDownloadFailed und der DeploymentFailed Bedingung im Status, die spezifische Fehlermeldungen enthalten.

  2. Wenn der Init-Container ausfällt (Pod zeigt Init:CrashLoopBackOff oderInit:Error), überprüfen Sie die Init-Container-Logs:

    kubectl logs <pod-name> -c hf-model-downloader -n <namespace>

  3. Überprüfen Sie den Pod-Status auf Exit-Codes für den Init-Container:

    kubectl get pod <pod-name> -n <namespace> -o jsonpath='{.status.initContainerStatuses[0].state}'

Ungültiges oder abgelaufenes Hugging Face Face-Token

Symptome: Die Initialisierung des Containers schlägt mit oder mit 401 Unauthorized Fehlern fehl. Access denied Der Pod wird geöffnetCrashLoopBackOff.

Grundursache:

  • Das Hugging Face API-Token im Kubernetes Secret ist ungültig, abgelaufen oder gesperrt.

  • Das Token hat keinen Zugriff auf das Gated-Modell.

Auflösung

  1. Generieren Sie ein neues Token bei Huggingface. co/settings/Tokens.

  2. Stellen Sie bei geschlossenen Modellen sicher, dass Sie die Lizenzvereinbarung des Modells auf der Hugging Face Hub-Modellseite akzeptiert haben.

  3. Aktualisieren Sie das Kubernetes-Secret mit dem neuen Token:

    kubectl delete secret <secret-name> -n <namespace>
kubectl create secret generic <secret-name> \
  --from-literal=token=hf_NEW_TOKEN_HERE \
  -n <namespace>

  4. Löschen Sie den fehlgeschlagenen Pod, um einen neuen Download-Versuch auszulösen:

    kubectl delete pod -l app=<iec-name> -n <namespace>

Fehler bei der Netzwerkkonnektivität

Symptome: Der Init-Container schlägt fehl und es kommt zu Verbindungstimeout- oder DNS-Auflösungsfehlern. Der Pod wird geöffnet. CrashLoopBackOff

Hauptursache: Die Clusterknoten haben keinen ausgehenden Internetzugang zu Hugging Face Face-Domänen (*.huggingface.cound). *.hf.co Dies ist in privaten Subnetzen ohne NAT-Gateway üblich.

Auflösung

  1. Stellen Sie sicher, dass in Ihrer VPC ein NAT-Gateway für die privaten Subnetze konfiguriert ist, in denen Ihre Clusterknoten ausgeführt werden.

  2. Stellen Sie sicher, dass Sicherheitsgruppen ausgehenden HTTPS-Verkehr (Port 443) zulassen.

  3. Stellen Sie sicher, dass Netzwerk-ACLs ausgehenden Datenverkehr ins Internet zulassen.

  4. Testen Sie die Konnektivität innerhalb des Clusters:

    kubectl run test-connectivity --image=curlimages/curl --rm -it --restart=Never -- \
  curl -sI https://huggingface.co
Anmerkung

Wenn kein ausgehender Internetzugang verfügbar ist, sollten Sie stattdessen Amazon S3 oder Amazon FSx als Modellquelle verwenden. Laden Sie das Modell zuerst auf Amazon S3 herunter und stellen Sie es dann mithilfe des Quelltyps des s3 Modells bereit.

Modell wurde nicht gefunden

Symptome: Die Initialisierung des Containers schlägt fehl Repository Not Found oder es 404 treten Fehler auf.

Hauptursache:

  • Das modelId ist falsch oder das Modell existiert nicht auf Hugging Face Hub.

  • Das Modell ist privat und das Token hat keinen Zugriff.

Auflösung

  1. Vergewissern Sie sich, dass die Modell-ID existiert, indem Sie sie https://huggingface.co/<org>/<model> in Ihrem Browser aufrufen.

  2. Vergewissern Sie modelId InferenceEndpointConfig sich, dass Ihre Eingabe das richtige org/model Format hat (z. B.mistralai/Mistral-7B-Instruct-v0.3).