View a markdown version of this page

使用 YARN 应用程序 ID 调试 EMR 步骤 - Amazon EMR
YARN 应用程序 ID

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 YARN 应用程序 ID 调试 EMR 步骤

调试启动 YARN-based 应用程序的步骤（例如 Spark 步骤）的一种有效方法是利用 Amazon EMR 控制台中提供的 Yarn 应用程序 ID 信息。

YARN 应用程序 ID

对于运行 Spark 或其他 YARN-based 作业的步骤，EMR 控制台会在步骤详细信息中显示最近执行的 YARN 应用程序 ID。如果一个步骤启动了多个 YARN 应用程序，则仅显示上次执行的应用程序 ID。

为什么使用 Yarn 应用程序 ID 进行调试？

  • 您可以将 EMR 步骤与 Yarn 应用程序直接关联：准确识别哪个 Yarn 应用程序对应于有问题的步骤或有趣的步骤。

  • 你可以访问实时监控工具：使用应用程序 ID 打开 YARN L ResourceManager ive 用户界面，或者使用 Spark History Server 用户界面来检查正在运行或已完成的应用程序。

  • 您可以检索日志以进行详细的故障排除：使用应用程序 ID 查找存储在 S3 中与该应用程序关联的容器日志，这些日志可帮助您深入了解故障或性能问题。

您可以通过多种方式使用此信息：

  1. 导航至 EMR 集群的步骤选项卡。

  2. 单击要调试的步骤。

  3. 在步骤详细信息面板中找到 Yarn 应用程序 ID 部分。

  4. 复制提供的应用程序 ID。

  5. 使用 ID 执行以下操作：

    • 打开 YARN ResourceManager Live 用户界面。URI 如下所示：http://resourcemanager-host: /ap 8088/cluster p/ application_id

    • 打开 Spark History Server UI 以查看应用程序执行详细信息。

    • 访问您的 S3 存储桶中由应用程序 ID 标记的路径下的容器日志。

通过使用 Yarn 应用程序 ID，您可以简化调试过程，并将高级 EMR 步骤故障与底层 Yarn 应用程序执行关联。