本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
# 自定义语言模型
自定义语言模型旨在提高特定领域语音的转录准确性。这包括您在正常的日常对话中听到的内容之外的任何内容。例如，如果您要转录科学会议的文献，标准转录不太可能识别主持人使用的许多科学术语。在这种情况下，您可以训练自定义语言模型来识别您的专业领域中使用的专业术语。
与自定义词汇表不同，自定义词汇表通过提供提示（例如发音）来提高对单词的识别，而自定义语言模型则学习与给定单词相关的上下文。这包括单词的使用方式和时间，以及单词与其它单词的关系。例如，如果您使用气候科学研究论文训练模型，您的模型可能会发现“ice floe”比“ice flow”更有可能是一对词。
要查看自定义语言模型支持的语言，请参阅[支持的语言和特定语言的特征](supported-languages.md)。请注意，如果您在请求中包含自定义语言模型，则无法启用语言识别（必须指定语言代码）。
**特定于自定义语言模型的 API 操作**
[https://docs.aws.amazon.com/transcribe/latest/APIReference/API_CreateLanguageModel.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_CreateLanguageModel.html), [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_DeleteLanguageModel.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_DeleteLanguageModel.html), [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_DescribeLanguageModel.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_DescribeLanguageModel.html), [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_ListLanguageModels.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_ListLanguageModels.html)
## 数据来源
您可以使用任何类型的文本数据来训练模型。但是，文本内容离音频内容越近，模型就越准确。因此，选择的文本数据务必与音频使用相同的上下文和相同的术语。
训练模型的最佳数据是准确的转录。这被视为领域内数据。领域内文本数据与您要转录的音频具有完全相同的术语、用法和上下文。
如果您的转录不准确，请使用期刊文章、技术报告、白皮书、会议文献、说明手册、新闻文章、网站内容以及任何其它包含所需术语的文本，这些术语与音频的上下文类似。这被视为与领域相关的数据。
创建强大的自定义语言模型可能需要大量的文本数据，这些数据必须包含音频中使用的术语。您最多可以为 Amazon Transcribe 提供 2 GB 的文本数据来训练模型，这称为**训练数据**。或者，当您没有（或有很少）的领域内转录时，可以为 Amazon Transcribe 提供最多 200 MB 的文本数据来调整模型，这称为**调整数据**。
## 训练与调整数据
训练数据的目的是教导 Amazon Transcribe 识别新术语并了解使用这些术语的上下文环境。为了创建稳健的模型，Amazon Transcribe 可能需要大量相关的文本数据。强烈建议提供尽可能多的训练数据，上限不超过 2 GB。
调整数据的目的是帮助完善和优化从训练数据中了解到的情境关系。创建自定义语言模型不需要调整数据。
您可以决定如何最好地选择训练以及调整数据（可选）。每种情况都是不一样的，取决于您拥有的数据类型和数量。如果您缺少领域内训练数据，建议您使用调整数据。
如果您选择同时包含这两种数据类型，请**不要**让训练和调整数据重叠；训练和调整数据应是唯一的。数据重叠可能会使您的自定义语言模型产生偏差和偏颇，从而影响其准确性。
作为一般指导，我们建议尽可能使用准确的领域内文本作为训练数据。以下是一些按优先顺序列出的常规场景：
+ 如果您有超过 1 万字的准确领域内转录文本，请将其用作训练数据。在这种情况下，无需包含调整数据。这是训练自定义语言模型的理想场景。
+ 如果您的领域内转录文本包含的单词少于 1 万个，没有得到预期的结果，请考虑使用与领域相关的书面文本（例如技术报告）来补充您的训练数据。在这种情况下，请保留领域内转录数据的一小部分 (10-25%) 用作调整数据。
+ 如果您没有领域内转录文本，请将所有与领域相关的文本作为训练数据上传。在这种情况下，转录式文本比书面文本效果更好。对于训练自定义语言模型来说，这是效果最不好的场景。
当您准备好创建模型时，请参阅[创建自定义语言模型](custom-language-models-create.md)。
# 创建自定义语言模型
在创建自定义语言模型之前，您必须：
+ 准备您的数据。数据必须以纯文本格式保存，且不能包含任何特殊字符。
+ 将数据上传到您的 Amazon S3 存储桶。建议为训练和调整数据创建单独的文件夹。
+ 确保 Amazon Transcribe 可以访问您的 Amazon S3 存储桶。您必须指定具有访问权限的 IAM 角色才能使用您的数据。
## 准备数据
您可以将所有数据编译到一个文件中，也可以将其另存为多个文件。请注意，如果您选择包含调整数据，则必须将其与训练数据保存在不同的文件中。
无论您为训练或调整数据使用多少文本文件，都无关紧要。上传一个包含 10 万个字的文件等同于上传 10 个包含 1 万字的文件。以最方便的方式准备文本数据。
确保您的所有数据文件符合以下条件：
+ 它们都与您要创建的模型使用相同的语言。例如，如果要创建用美国英语 (`en-US`) 转录音频的自定义语言模型，则所有文本数据都必须使用美国英语。
+ 它们均为纯文本格式，采用 UTF-8 编码。
+ 它们不包含任何特殊字符或格式，例如 HTML 标签。
+ 它们用于训练数据的最大总大小为 2 GB，用于调整数据的最大总大小为 200 MB。
如果未满足其中任何条件，您的模型都会失败。
## 上传数据
在上传数据之前，请为训练数据创建一个新文件夹。如果使用调整数据，请创建另一个单独的文件夹。
您的存储桶的 URI 可能如下所示：
+ `s3://amzn-s3-demo-bucket/my-model-training-data/`
+ `s3://amzn-s3-demo-bucket/my-model-tuning-data/`
将您的训练和调整数据上传到相应的存储桶中。
您可以稍后向这些存储桶添加更多数据。但是，如果这样做，则需要使用新数据重新创建模型。现有模型无法使用新数据进行更新。
## 允许访问您的数据
要创建自定义语言模型，您必须指定有权访问您 Amazon S3 存储桶的 IAM 角色。如果您还没有可以访问存放训练数据的 Amazon S3 存储桶的角色，则必须创建一个角色。创建角色后，您可以附加策略以授予该角色权限。请勿将策略附加到用户。
有关示例策略，请参阅 [Amazon Transcribe 基于身份的策略示例](security_iam_id-based-policy-examples.md)。
要了解如何创建新 IAM 身份，请参阅 [IAM 身份（用户、用户组和角色）](https://docs.aws.amazon.com/IAM/latest/UserGuide/id.html)。
要了解有关策略的更多信息，请参阅：
+ [IAM 中的策略和权限](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies.html)
+ [创建 IAM 策略](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create-console.html#access_policies_create-start)
+ [适用于 AWS 资源的 Access Management](https://docs.aws.amazon.com/IAM/latest/UserGuide/access)
## 创建您的自定义语言模型
创建自定义语言模型时，必须选择基础模型。有两个基础模型选项：
+ `NarrowBand`：对于采样率低于 16000 Hz 的音频，请使用此选项。这种模型类型通常用于以 8000 Hz 频率录制的电话聊天。
+ `WideBand`：对于采样率大于或等于 16000 Hz 的音频，请使用此选项。
您可以使用 AWS 管理控制台、AWS CLI 或 AWS SDK 创建自定义语言模型；请参阅以下示例：
### AWS 管理控制台
1. 登录到 [AWS 管理控制台](https://console.aws.amazon.com/transcribe/)。
1. 在导航窗格中，选择**自定义语言模型**。这将打开**自定义语言模型**页面，您可以在其中查看现有的自定义语言模型或训练新的自定义语言模型。
1. 要训练新模型，请选择**训练模型**。
![\[Amazon Transcribe 控制台屏幕截图：“自定义语言模型”页面。\]](http://docs.aws.amazon.com/zh_cn/transcribe/latest/dg/images/clm-create-console.png)
这会将您转至**训练模型**页面。添加名称、指定语言，然后为模型选择所需的基础模型。然后，添加训练路径并（可选）调整数据。您必须包括一个有权访问您数据的 IAM 角色。
![\[Amazon Transcribe 控制台屏幕截图：“训练模型”页面。\]](http://docs.aws.amazon.com/zh_cn/transcribe/latest/dg/images/clm-train-console.png)
1. 填写完所有字段后，选择页面底部的**训练模型**。
### AWS CLI
此示例使用 [create-language-model](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/transcribe/create-language-model.html) 命令。有关更多信息，请参阅 [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_CreateLanguageModel.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_CreateLanguageModel.html) 和 [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_LanguageModel.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_LanguageModel.html)。
```
aws transcribe create-language-model \
--base-model-name NarrowBand \
--model-name my-first-language-model \
--input-data-config S3Uri=s3://amzn-s3-demo-bucket/my-clm-training-data/,TuningDataS3Uri=s3://amzn-s3-demo-bucket/my-clm-tuning-data/,DataAccessRoleArn=arn:aws:iam::111122223333:role/ExampleRole \
--language-code en-US
```
以下是另一个使用 [create-language-model](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/transcribe/start-transcription-job.html) 命令的示例，以及用于创建自定义语言模型的请求正文。
```
aws transcribe create-language-model \
--cli-input-json file://filepath/my-first-language-model.json
```
*my-first-language-model.json* 文件包含以下请求正文。
```
{
"BaseModelName": "NarrowBand",
"ModelName": "my-first-language-model",
"InputDataConfig": {
"S3Uri": "s3://amzn-s3-demo-bucket/my-clm-training-data/",
"TuningDataS3Uri"="s3://amzn-s3-demo-bucket/my-clm-tuning-data/",
"DataAccessRoleArn": "arn:aws:iam::111122223333:role/ExampleRole"
},
"LanguageCode": "en-US"
}
```
### 适用于 Python (Boto3) 的 AWS SDK
此示例使用 适用于 Python (Boto3) 的 AWS SDK 通过 [create\$1language\$1model](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/transcribe.html#TranscribeService.Client.create_language_model) 方法创建 CLM。有关更多信息，请参阅 [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_CreateLanguageModel.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_CreateLanguageModel.html) 和 [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_LanguageModel.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_LanguageModel.html)。
有关使用 AWS SDK 的其它示例，包括特定特征、场景和跨服务示例，请参阅[使用 Amazon Transcribe 的代码示例 AWS SDKs](service_code_examples.md)一章。
```
from __future__ import print_function
import time
import boto3
transcribe = boto3.client('transcribe', 'us-west-2')
model_name = 'my-first-language-model',
transcribe.create_language_model(
LanguageCode = 'en-US',
BaseModelName = 'NarrowBand',
ModelName = model_name,
InputDataConfig = {
'S3Uri':'s3://amzn-s3-demo-bucket/my-clm-training-data/',
'TuningDataS3Uri':'s3://amzn-s3-demo-bucket/my-clm-tuning-data/',
'DataAccessRoleArn':'arn:aws:iam::111122223333:role/ExampleRole'
}
)
while True:
status = transcribe.get_language_model(ModelName = model_name)
if status['LanguageModel']['ModelStatus'] in ['COMPLETED', 'FAILED']:
break
print("Not ready yet...")
time.sleep(5)
print(status)
```
## 更新您的自定义语言模型
Amazon Transcribe 不断更新可用于自定义语言模型的基础模型。为了从这些更新中受益，我们建议每 6 到 12 个月训练一次新的自定义语言模型。
要查看您的自定义语言模型是否使用最新的基础模型，请使用 AWS CLI 或 AWS SDK 运行 [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_DescribeLanguageModel.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_DescribeLanguageModel.html) 请求，然后在响应中找到 `UpgradeAvailability` 字段。
如果 `UpgradeAvailability` 是 `true`，则说明您的模型未运行最新版本的基础模型。要在自定义语言模型中使用最新的基础模型，必须创建新的自定义语言模型。自定义语言模型无法升级。
# 使用自定义语言模型
创建自定义语言模型后，您可以将其包含在转录请求中；有关示例，请参阅以下各节。
您在请求中包含的模型语言必须与您为媒体指定的语言代码相匹配。如果语言不匹配，则您的自定义语言模型不会应用于您的转录，也不会出现任何警告或错误。
## 在批量转录中使用自定义语言模型
要将自定义语言模型用于批量转录，请查看以下示例：
### AWS 管理控制台
1. 登录到 [AWS 管理控制台](https://console.aws.amazon.com/transcribe/)。
1. 在导航窗格中，选择**转录作业**，然后选择**创建作业**（右上角）。这将打开**指定作业详细信息**页面。
1. 在**作业设置**面板的**模型类型**下，选中**自定义语言模型**复选框。
![\[Amazon Transcribe 控制台屏幕截图：“作业设置” 页面。\]](http://docs.aws.amazon.com/zh_cn/transcribe/latest/dg/images/clm-console.png)
您还必须从下拉菜单中选择一种输入语言。
![\[Amazon Transcribe 控制台屏幕截图：显示下拉语言菜单的 “作业设置” 页面。\]](http://docs.aws.amazon.com/zh_cn/transcribe/latest/dg/images/clm-console-language.png)
1. 在**自定义模型选择**下，从下拉菜单中选择现有的自定义语言模型或**创建新的**自定义语言模型。
在输入**数据面板中添加输入**文件 Amazon S3 的位置。
1. 选择**下一步**以查看其它配置选项。
选择**创建作业**以运行您的转录作业。
### AWS CLI
此示例使用带有`VocabularyName`子`ModelSettings`参数的[start-transcription-job](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/transcribe/start-transcription-job.html)命令和参数。有关更多信息，请参阅[https://docs.aws.amazon.com/transcribe/latest/APIReference/API_StartTranscriptionJob.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_StartTranscriptionJob.html)和[https://docs.aws.amazon.com/transcribe/latest/APIReference/API_ModelSettings.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_ModelSettings.html)。
```
aws transcribe start-transcription-job \
--region us-west-2 \
--transcription-job-name my-first-transcription-job \
--media MediaFileUri=s3://amzn-s3-demo-bucket/my-input-files/my-media-file.flac \
--output-bucket-name amzn-s3-demo-bucket \
--output-key my-output-files/ \
--language-code en-US \
--model-settings LanguageModelName=my-first-language-model
```
以下是另一个使用[start-transcription-job](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/transcribe/start-transcription-job.html)命令的示例，以及包含该任务的自定义语言模型的请求正文。
```
aws transcribe start-transcription-job \
--region us-west-2 \
--cli-input-json file://my-first-model-job.json
```
*my-first-model-job.json* 文件包含以下请求正文。
```
{
"TranscriptionJobName": "my-first-transcription-job",
"Media": {
"MediaFileUri": "s3://amzn-s3-demo-bucket/my-input-files/my-media-file.flac"
},
"OutputBucketName": "amzn-s3-demo-bucket",
"OutputKey": "my-output-files/",
"LanguageCode": "en-US",
"ModelSettings": {
"LanguageModelName": "my-first-language-model"
}
}
```
### 适用于 Python (Boto3) 的 AWS SDK
此示例使用 st [art\$1transcription\$1](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/transcribe.html#TranscribeService.Client.start_transcription_job) job 方法的`ModelSettings`参数来包含自定义语言模型。 适用于 Python (Boto3) 的 AWS SDK 有关更多信息，请参阅[https://docs.aws.amazon.com/transcribe/latest/APIReference/API_StartTranscriptionJob.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_StartTranscriptionJob.html)和[https://docs.aws.amazon.com/transcribe/latest/APIReference/API_ModelSettings.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_ModelSettings.html)。
有关使用的其他示例 AWS SDKs，包括特定功能、场景和跨服务示例，请参阅本章。[使用 Amazon Transcribe 的代码示例 AWS SDKs](service_code_examples.md)
```
from __future__ import print_function
import time
import boto3
transcribe = boto3.client('transcribe', 'us-west-2')
job_name = "my-first-transcription-job"
job_uri = "s3://amzn-s3-demo-bucket/my-input-files/my-media-file.flac"
transcribe.start_transcription_job(
TranscriptionJobName = job_name,
Media = {
'MediaFileUri': job_uri
},
OutputBucketName = 'amzn-s3-demo-bucket',
OutputKey = 'my-output-files/',
LanguageCode = 'en-US',
ModelSettings = {
'LanguageModelName': 'my-first-language-model'
}
)
while True:
status = transcribe.get_transcription_job(TranscriptionJobName = job_name)
if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']:
break
print("Not ready yet...")
time.sleep(5)
print(status)
```
## 在流式转录中使用自定义语言模型
要将自定义语言模型用于流式转录，请查看以下示例：
### AWS 管理控制台
1. 登录到 [AWS 管理控制台](https://console.aws.amazon.com/transcribe/)。
1. 在导航窗格中，选择 **Real-time transcription (实时转录)**。向下滚动到**自定义**，如果该字段已最小化，则将其展开。
![\[Amazon Transcribe 控制台屏幕截图：“实时转录” 页面。\]](http://docs.aws.amazon.com/zh_cn/transcribe/latest/dg/images/stream-main.png)
1. 开启**自定义语言模型**，然后从下拉菜单中选择一个模型。
![\[Amazon Transcribe 控制台屏幕截图：扩展的 “自定义” 面板。\]](http://docs.aws.amazon.com/zh_cn/transcribe/latest/dg/images/model-stream2.png)
添加您希望应用于流式转录的所有其它设置。
1. 您现在已准备就绪，可以转录音频流了。选择**开始流式转录**并开始讲话。要结束口述，请选择**停止流式转录**。
### HTTP/2 音频流
此示例创建了一个包含您自定义语言模型的 HTTP/2 请求。有关使用 HTTP/2 流式传输的更多信息 Amazon Transcribe，请参阅。[设置 HTTP/2 音频流](streaming-setting-up.md#streaming-http2)有关特定于的参数和标题的更多详细信息 Amazon Transcribe，请参阅[https://docs.aws.amazon.com/transcribe/latest/APIReference/API_streaming_StartStreamTranscription.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_streaming_StartStreamTranscription.html)。
```
POST /stream-transcription HTTP/2
host: transcribestreaming.us-west-2.amazonaws.com
X-Amz-Target: com.amazonaws.transcribe.Transcribe.StartStreamTranscription
Content-Type: application/vnd.amazon.eventstream
X-Amz-Content-Sha256: string
X-Amz-Date: 20220208T235959Z
Authorization: AWS4-HMAC-SHA256 Credential=access-key/20220208/us-west-2/transcribe/aws4_request, SignedHeaders=content-type;host;x-amz-content-sha256;x-amz-date;x-amz-target;x-amz-security-token, Signature=string
x-amzn-transcribe-language-code: en-US
x-amzn-transcribe-media-encoding: flac
x-amzn-transcribe-sample-rate: 16000
x-amzn-transcribe-language-model-name: my-first-language-model
transfer-encoding: chunked
```
参数定义可在 [API 参考](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_Reference.html)中找到；所有 AWS API 操作的通用参数列在[常用参数](https://docs.aws.amazon.com/transcribe/latest/APIReference/CommonParameters.html)部分中。
### WebSocket 直播
此示例创建了一个预签名 URL，该网址将您的自定义语言模型应用于 WebSocket 直播。为了便于阅读，已增加了换行符。有关将 WebSocket 直播与配合使用的更多信息 Amazon Transcribe，请参阅[设置直 WebSocket 播](streaming-setting-up.md#streaming-websocket)。有关参数的更多详细信息，请参阅 [https://docs.aws.amazon.com/transcribe/latest/APIReference/API_streaming_StartStreamTranscription.html](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_streaming_StartStreamTranscription.html)。
```
GET wss://transcribestreaming.us-west-2.amazonaws.com:8443/stream-transcription-websocket?
&X-Amz-Algorithm=AWS4-HMAC-SHA256
&X-Amz-Credential=AKIAIOSFODNN7EXAMPLE%2F20220208%2Fus-west-2%2Ftranscribe%2Faws4_request
&X-Amz-Date=20220208T235959Z
&X-Amz-Expires=300
&X-Amz-Security-Token=security-token
&X-Amz-Signature=string
&X-Amz-SignedHeaders=content-type%3Bhost%3Bx-amz-date
&language-code=en-US
&media-encoding=flac
&sample-rate=16000
&language-model-name=my-first-language-model
```
参数定义可在 [API 参考](https://docs.aws.amazon.com/transcribe/latest/APIReference/API_Reference.html)中找到；所有 AWS API 操作的通用参数列在[常用参数](https://docs.aws.amazon.com/transcribe/latest/APIReference/CommonParameters.html)部分中。