View a markdown version of this page

Memproses ekspor data - Ekspor Data AWS
Mengkonfigurasi Amazon AthenaMengonfigurasi Amazon RedshiftKueri SQL yang direkomendasikan untuk memproses CUR 2.0Kueri SQL yang direkomendasikan untuk memproses ekspor data emisi karbon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memproses ekspor data

Di bagian berikut, Anda akan menemukan informasi tentang pemrosesan ekspor data Anda.

Mengkonfigurasi Amazon Athena

Untuk membangun meja dan partisi untuk Athena menggunakan AWS Glue crawler

  1. Buat ekspor CUR 2.0 atau emisi Karbon dengan opsi pengiriman ekspor data berikut:

    • Jenis kompresi dan format file: Parket - Parket

    • Pembuatan versi file: Timpa file ekspor data yang ada

  2. Di Athena, gunakan editor notebook dengan Trino SQL dan pilih Buat untuk membuat tabel dengan "Glue AWS crawler”. Menggunakan alur kerja crawler Glue, arahkan crawler Glue untuk berjalan di <bucket-name><prefix><export-name>folder s3://///data untuk secara otomatis memuat semua partisi yang dikirimkan untuk ekspor yang ditentukan ke Athena.

  3. Setelah crawler Glue selesai, Anda dapat menggunakan Athena untuk menulis kueri pada tabel yang dibuat oleh crawler Glue.

Mengonfigurasi Amazon Redshift

Amazon Redshift adalah gudang data cloud yang dapat diakses baik dalam kapasitas yang disediakan atau model tanpa server. Amazon Redshift menawarkan kinerja kueri cepat untuk memproses data Anda dari Ekspor Data.

Untuk informasi tentang pengaturan Redshift, lihat Panduan Memulai Pergeseran Merah Amazon.

Setelah memuat data ekspor CUR 2.0 Anda ke alat analisis data seperti Amazon Athena atau Amazon Redshift, Anda dapat memprosesnya untuk mendapatkan wawasan biaya dan penggunaan. AWS Well-Architected Labs menyediakan pustaka kueri CUR yang dapat Anda gunakan untuk memproses CUR. Untuk informasi selengkapnya, lihat AWS CUR Query Library.

Perhatikan dua informasi berikut tentang kueri SQL:

  • Kueri SQL Well-Architected Labs tidak akan berfungsi di bidang kueri ekspor data, karena Ekspor Data tidak mendukung agregasi dan beberapa sintaks SQL lainnya yang digunakan dalam kueri ini.

  • Kueri SQL Well-Architected Labs hanya akan berfungsi jika Anda belum mengganti nama kolom Anda dari nama default. Bergantung pada kueri, Anda mungkin perlu menanyakan beberapa kolom produk sebagai kolom terpisah menggunakan operator titik. Untuk informasi selengkapnya, lihat Kueri data—Kueri SQL dan konfigurasi tabel.

Kueri SQL yang direkomendasikan untuk memproses ekspor data emisi karbon

Untuk mendapatkan total emisi karbon per payer_account_id:

SELECT payer_account_id, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name
GROUP BY payer_account_id
ORDER BY total_emissions DESC;

Untuk mendapatkan total emisi karbon per payer_account_id dan per product_code:

SELECT payer_account_id, product_code, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data"-- change to your table name
GROUP BY payer_account_id, product_code
ORDER BY total_emissions DESC;

Untuk mendapatkan total emisi karbon per payer_account_id dan per region_code:

SELECT payer_account_id, region_code, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name
GROUP BY payer_account_id, region_code
ORDER BY total_emissions DESC;