View a markdown version of this page

Amazon EC2 インスタンスでの Amazon S3 の使用 - Amazon Elastic Compute Cloud

Amazon EC2 インスタンスでの Amazon S3 の使用

Amazon Simple Storage Service (Amazon S3) は業界をリードするスケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。Amazon S3 を使用して、データレイク、ウェブサイト、バックアップ、ビッグデータ分析など、さまざまなユースケースの任意の量のデータを Amazon EC2 インスタンスから、またはインターネット経由でどこからでも保存および取得できます。詳細については「Amazon S3 とは」を参照してください。

Amazon EC2 インスタンスから Amazon S3 データにアクセスする方法は 2 つあります:

  • ファイルアクセスAmazon S3 ファイルを使用して、インスタンスでの S3 バケットを高性能ファイルシステムとしてマウントします。

  • オブジェクトアクセスAmazon S3 API、AWS CLI、AWS SDK、または wget などのツールを使用して、S3 との間でオブジェクトをコピーします。

Amazon S3 ファイルによるファイルアクセス

Amazon S3 Files は、S3 汎用バケットをコンピューティングインスタンスでの高性能ファイルシステムとしてマウントできるサーバーレスファイルシステムです。S3 ファイルでは、ローカルマウントパスでの読み取りと書き込みなどの標準ファイルシステムオペレーションを使用して、S3 オブジェクトにファイルとしてアクセスできます。

S3 ファイルシステムは、起動時、または実行中のインスタンスに対して後から、EC2 インスタンスにマウントできます。

前提条件

EC2 インスタンスで S3 ファイルをセットアップする前に、以下があることを確認してください:

  • 使用可能な状態の S3 ファイルシステムと少なくとも 1 つのマウントターゲット。S3 ファイルシステムの作成の詳細については、「Amazon S3 ユーザーガイド」の「Amazon S3 ファイルの使用」を参照してください。

  • アタッチされたインスタンスプロファイルがある Amazon EC2 インスタンス。ファイルシステムをマウントするために必要なアクセス許可の詳細については、「Amazon S3 ユーザーガイド」の「IAM ロールとポリシー」を参照してください。

  • インスタンスとファイルシステムのマウントターゲット間の NFS トラフィック (ポート 2049) を許可するセキュリティグループ。必要なセキュリティグループ設定の詳細については、「Amazon S3 ユーザーガイド」の「セキュリティグループ」を参照してください。

EC2 コンソールを使用して起動時に EC2 インスタンスにファイルシステムをマウントするには
  1. Amazon EC2 コンソール (https://console.aws.amazon.com/ec2/) を開きます。

  2. [インスタンスを起動] を選択してください。

  3. [Network settings] (ネットワーク設定) で、次の操作を行います:

    1. [編集] を選択します。

    2. [Subnet (サブネット)] で、サブネットを選択してください。

    3. デフォルトのセキュリティグループを選択して、EC2 インスタンスが S3 ファイルシステムにアクセスできることを確認します。このセキュリティグループを使用して、Secure Shell (SSH) で EC2 インスタンスにアクセスすることはできません。SSH によるアクセスについては、後でデフォルトのセキュリティグループを編集し、SSH を許可するルールを追加するか、SSH を許可する新しいセキュリティグループを追加できます。以下の設定を使用できます。

      1. タイプ: SSH

      2. [Protocol]: TCP

      3. ポート範囲: 22

      4. 出典: Anywhere 0.0.0.0/0

  4. [ストレージの設定] で、次の作業を行います:

    1. [ファイルシステム] で、[S3 Files] を選択します。

    2. [Add shared file system] (共有ファイルシステムの追加) を選択します。

    3. [S3 ファイルシステム] では、ファイルシステムは、ネットワーク設定で選択したサブネットに基づいて、アベイラビリティーゾーンに表示されます。マウントする S3 ファイルシステムを選択します。ファイルシステムがない場合は、[新しいファイルシステムを作成する] を選択して新しいファイルシステムを作成します。

    4. ファイルシステムをマウントする EC2 インスタンスのローカルマウントパスを入力します (例: /mnt/s3files)。

    5. ファイルシステムをマウントし、fstab に追加するコマンドが生成されます。このコマンドは、[高度な詳細] の [ユーザーデータ] フィールドに追加できます。その後、EC2 インスタンスは、起動時および再起動されるたびに S3 ファイルシステムをマウントするよう設定されます。これらのコマンドは、起動後に EC2 インスタンスで実行することもできます。

  5. [高度な詳細] で、インスタンスプロファイルをインスタンスにアタッチします。IAM ロールには、ファイルシステムをマウントし、S3 バケットにアクセスするためのアクセス許可がある必要があります。必要なアクセス許可の詳細については、「Amazon S3 ユーザーガイド」の「IAM ロールとポリシー」を参照してください。

  6. [インスタンスを起動] を選択してください。

    インスタンスの起動後、必要なソフトウェアユーティリティがインストールされ、ファイルシステムがマウントされます。ローカルマウントパスに移動することで、ファイルシステムを表示できます。

起動後に EC2 インスタンスにファイルシステムをマウントするには
  1. Secure Shell (SSH) を介して、または EC2 コンソールで EC2 Instance Connect を使用して EC2 インスタンスに接続します

  2. S3 ファイルシステムをマウントするには、マウントヘルパーユーティリティ amazon-efs-utils を使用します。Linux ディストリビューションに応じて、次のいずれかのコマンドを使用して amazon-efs-utils パッケージをインストールします:

    1. Amazon Linux を使用している場合は、次のコマンドを実行して Amazon のリポジトリから efs-utils をインストールします:

      sudo yum -y install amazon-efs-utils
    2. その他のサポートされている Linux ディストリビューションを使用している場合は、次のコマンドを実行します:

      curl https://amazon-efs-utils.aws.com/efs-utils-installer.sh | sudo sh -s -- --install
    3. その他の Linux ディストリビューションについては、GitHubefs-utils リポジトリを参照してください。

  3. 次のコマンドを使用して、ファイルシステムのマウントポイントのディレクトリを作成します:

    sudo mkdir {path/to/mount}
  4. S3 ファイルシステムをマウントします:

    FS="{YOUR_FILE_SYSTEM_ID}" sudo mount -t s3files $FS:/ {path/to/mount}
  5. ファイルシステムがマウントされていることを確認します:

    df -h {path/to/mount}
S3 バケット内のオブジェクトをファイルとして表示するには

前述の手順を完了したので、標準のファイルシステムオペレーションを使用して、S3 オブジェクトをローカルマウントパス上のファイルとして読み書きできるようになりました。S3 バケットにオブジェクトがある場合は、次のコマンドを使用して、オブジェクトをファイルとして表示できます:

ls {path/to/mount}

オブジェクトベースのアクセス

S3 API、AWS CLI、AWS SDK、または標準 HTTP ツールを使用して、Amazon S3 との間でファイルをコピーできます。必要なアクセス許可がある場合は以下の方法を使用して、Amazon S3 とインスタンスとの間でファイルをコピーできます。

wget
注記

この手法はパブリックなオブジェクトに対してのみ有効です。オブジェクトがパブリックでない場合はERROR 403: Forbidden メッセージが出力されます。このエラーを受け取った場合はAmazon S3 コンソール、AWS CLI、AWS API、AWS SDK、または AWS Tools for Windows PowerShell を使用する必要があります。この際は適切なアクセス許可が必要です。詳細については、Amazon S3 ユーザーガイドAmazon S3 での Identity and Access Managementおよびオブジェクトのダウンロードを参照してください。

wget ユーティリティは、Amazon S3 からパブリックオブジェクトをダウンロードできる HTTP および FTP のクライアントです。これは Amazon Linux やその他のほとんどのディストリビューションにデフォルトでインストールされ、Windows ではダウンロード可能です。Amazon S3 オブジェクトをダウンロードするには次のコマンドを入力し、ダウンロードするオブジェクトの URL に置き換えます。

[ec2-user ~]$ wget https://amzn-s3-demo-bucket.s3.amazonaws.com/path-to-file
PowerShell

AWS Tools for Windows PowerShell を使用して、Amazon S3 との間でオブジェクトを移動できます。

次のように、Copy-S3Object コマンドレットを使用して、Amazon S3 オブジェクトを Windows インスタンスにコピーします。

Copy-S3Object ` -BucketName amzn-s3-demo-bucket ` -Key path-to-file ` -LocalFile my_copied_file.ext

あるいは、Windows インスタンスでウェブブラウザを使用して Amazon S3 コンソールを開くこともできます。

AWS CLI

AWS Command Line Interface (AWS CLI) を使用して Amazon S3 から制限された項目をダウンロードし、項目をアップロードできます。ツールのインストールおよび設定方法などの詳細についてはAWS Command Line Interface の詳細ページを参照してください。

aws s3 cp コマンドは Unix cp コマンドと似ています。ファイルを Amazon S3 からインスタンスにコピーしたり、ファイルをインスタンスから Amazon S3 にコピーしたりできるほか、ファイルを Amazon S3 の 1 つの場所から別の場所にコピーすることもできます。

オブジェクトを Amazon S3 からインスタンスにコピーするには次のコマンドを使用します:

aws s3 cp s3://amzn-s3-demo-bucket/my_folder/my_file.ext my_copied_file.ext

オブジェクトをインスタンスから Amazon S3 にコピーして戻すには次のコマンドを使用します:

aws s3 cp my_copied_file.ext s3://amzn-s3-demo-bucket/my_folder/my_file.ext

aws s3 sync コマンドを使用すると、Amazon S3 バケット全体をローカルディレクトリの場所に同期できます。この機能はデータセットをダウンロードし、リモートセットでローカルコピーを最新の状態に保つ際に役立ちます。Amazon S3 バケットに対して適切なアクセス許可がある場合はコマンドで送信元と送信先の場所を入れ替えることで、終了時にローカルディレクトリバックアップをクラウドにプッシュできます。

Amazon S3 バケット全体をインスタンスのローカルディレクトリにダウンロードするには次のコマンドを使用します:

aws s3 sync s3://amzn-s3-demo-source-bucket local_directory
Amazon S3 API

API を使用して Amazon S3 のデータにアクセスできます。この API はアプリケーションの開発および、他の API および SDK との統合に役立てることができます。詳細については「Amazon Simple Storage Service API リファレンス」の「 SDK を使用した Amazon S3 のコード例AWSSDKs」を参照してください。