Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menggunakan konektor khusus dan koneksi dengan AWS Glue Studio
AWS Glue menyediakan dukungan bawaan untuk penyimpanan data yang paling umum digunakan (seperti Amazon Redshift, Amazon Aurora, Microsoft SQL Server, MySQL, MongoDB, dan PostgreSQL) dengan menggunakan koneksi JDBC. AWS Glue juga memungkinkan Anda untuk menggunakan driver JDBC kustom dalam tugas extract, transform, and load (ETL) Anda. Untuk penyimpanan data yang tidak didukung secara asli, seperti aplikasi SaaS, Anda dapat menggunakan konektor.
*Konektor* adalah paket kode opsional yang membantu mengakses penyimpanan data di. AWS Glue Studio Anda dapat berlangganan beberapa konektor yang ditawarkan di AWS Marketplace.
Saat membuat pekerjaan ETL, Anda dapat menggunakan penyimpanan data yang didukung secara native, konektor dari AWS Marketplace, atau konektor kustom Anda sendiri. Jika Anda menggunakan sebuah konektor, maka Anda harus membuat sebuah koneksi untuk konektor tersebut terlebih dahulu. Sebuah *koneksi* berisi properti yang diperlukan untuk connect ke penyimpanan data tertentu. Anda menggunakan koneksi tersebut dengan sumber data Anda dan target data dalam tugas ETL. Konektor dan koneksi bekerja sama untuk memfasilitasi akses ke penyimpanan data.
Koneksi berikut tersedia saat membuat koneksi untuk konektor:
+ **Amazon Aurora**— mesin database relasional berkinerja tinggi yang dapat diskalakan dengan keamanan bawaan, pencadangan dan pemulihan, dan akselerasi dalam memori.
+ **Amazon DocumentDB** — layanan database dokumen yang dapat diskalakan, sangat tersedia, dan dikelola sepenuhnya yang mendukung MongoDB dan SQL. APIs
+ **Amazon Redshift**— layanan database dokumen yang dapat diskalakan, sangat tersedia, dan dikelola sepenuhnya yang mendukung MongoDB dan SQL. APIs
+ **Azure SQL** — layanan database relasional berbasis cloud dari Microsoft Azure yang menyediakan kemampuan penyimpanan dan manajemen data yang terukur, andal, dan aman.
+ **Cosmos DB** — layanan database cloud terdistribusi secara global dari Microsoft Azure yang menyediakan kemampuan penyimpanan dan kueri data berkinerja tinggi yang dapat diskalakan.
+ **Google BigQuery** — gudang data cloud tanpa server untuk menjalankan kueri SQL cepat pada kumpulan data besar.
+ **JDBC** — sistem manajemen basis data relasional (RDBMS) yang menggunakan Java API untuk menghubungkan dan berinteraksi dengan koneksi data.
+ **Kafka** — platform pemrosesan aliran sumber terbuka yang digunakan untuk streaming dan pengiriman pesan data waktu nyata.
+ **MariaDB** — fork MySQL yang dikembangkan komunitas yang menawarkan peningkatan kinerja, skalabilitas, dan fitur.
+ **MongoDB** — database berorientasi dokumen lintas platform yang menyediakan skalabilitas, fleksibilitas, dan kinerja tinggi.
+ **MongoDB** Atlas — database berbasis cloud sebagai penawaran layanan (DBaaS) dari MongoDB yang menyederhanakan pengelolaan dan penskalaan penerapan MongoDB.
+ **Microsoft SQL Server** — sistem manajemen basis data relasional (RDBMS) dari Microsoft yang menyediakan kemampuan penyimpanan, analisis, dan pelaporan data yang kuat.
+ **Mixpanel** — platform analitik yang membantu bisnis menganalisis bagaimana pengguna berinteraksi dengan situs web, aplikasi seluler, dan produk digital lainnya.
+ **MySQL** — sistem manajemen basis data relasional sumber terbuka (RDBMS) yang banyak digunakan dalam aplikasi web dan dikenal karena keandalan dan skalabilitasnya.
+ **Jaringan** — sumber data jaringan mewakili sumber daya atau layanan yang dapat diakses jaringan yang dapat diakses oleh platform integrasi data.
+ **OpenSearch**Sumber OpenSearch data adalah aplikasi yang OpenSearch dapat terhubung ke dan menelan data dari.
+ **Oracle** — sistem manajemen basis data relasional (RDBMS) dari Oracle Corporation yang menyediakan kemampuan penyimpanan, analisis, dan pelaporan data yang kuat.
+ **PostgreSQL** — sistem manajemen basis data relasional sumber terbuka (RDBMS) yang menyediakan kemampuan penyimpanan, analisis, dan pelaporan data yang kuat.
+ **Salesforce** menyediakan perangkat lunak manajemen hubungan pelanggan (CRM) yang membantu Anda dengan penjualan, layanan pelanggan, e-commerce, dan banyak lagi. Jika Anda pengguna Salesforce, Anda dapat terhubung AWS Glue ke akun Salesforce Anda. Kemudian, Anda dapat menggunakan Salesforce sebagai sumber data atau tujuan dalam pekerjaan ETL Anda. Jalankan pekerjaan ini untuk mentransfer data antara Salesforce dan AWS layanan atau aplikasi lain yang didukung.
+ **SAP HANA** — database dalam memori dan platform analitik yang menyediakan pemrosesan data cepat, analitik canggih, dan integrasi data real-time.
+ **Snowflake** — gudang data berbasis cloud yang menyediakan penyimpanan data dan layanan analitik yang dapat diskalakan dan berkinerja tinggi.
+ **Teradata** — sistem manajemen basis data relasional (RDBMS) yang menyediakan kemampuan penyimpanan, analisis, dan pelaporan data berkinerja tinggi.
+ **Vertica** — gudang data analitik berorientasi kolumnar yang dirancang untuk analitik data besar yang menawarkan kinerja kueri cepat, analitik canggih, dan skalabilitas.
# Membuat konektor kustom
Anda juga dapat membuat konektor Anda sendiri dan kemudian mengunggah kode konektor keAWS Glue Studio.
Konektor khusus diintegrasikan ke dalam AWS Glue Studio melalui API runtime AWS Glue Spark. Waktu aktif Spark AWS Glue memungkinkan Anda untuk mencolokkan konektor yang sesuai dengan antarmuka Spark, Athena, atau JDBC. Ini memungkinkan Anda untuk memberikan konektor kustom dalam setiap opsi koneksi yang tersedia.
Anda dapat merangkum semua properti koneksi Anda dengan [Koneksi AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/glue-connections.html) dan menyediakan nama koneksi untuk tugas ETL Anda. Integrasi dengan koneksi Katalog Data memungkinkan Anda untuk menggunakan properti koneksi yang sama di beberapa panggilan dalam satu aplikasi Spark tunggal atau di aplikasi yang berbeda.
Anda dapat menentukan opsi tambahan untuk koneksi tersebut. Skrip pekerjaan yang AWS Glue Studio dihasilkan berisi `Datasource` entri yang menggunakan koneksi untuk mencolokkan konektor Anda dengan opsi koneksi yang ditentukan. Contoh:
```
Datasource = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"dbTable":"Account","connectionName":"my-custom-jdbc-
connection"}, transformation_ctx = "DataSource0")
```
**Untuk menambahkan konektor khusus ke AWS Glue Studio**
1. Buat kode untuk konektor kustom Anda. Untuk informasi selengkapnya, lihat [Mengembangkan konektor kustom](developing-custom-connectors.md).
1. Tambahkan support untuk fitur AWS Glue ke konektor Anda. Berikut adalah beberapa contoh fitur ini dan bagaimana mereka digunakan dalam skrip pekerjaan yang dihasilkan olehAWS Glue Studio:
+ **Pemetaan tipe data** — Konektor Anda dapat melakukan typecasting pada kolom saat membacanya dari penyimpanan data yang mendasari. Misalnya, sebuah `dataTypeMapping` dari `{"INTEGER":"STRING"}` mengkonversi semua kolom tipe `Integer` ke kolom tipe `String` ketika mengurai catatan dan membangun `DynamicFrame`. Hal ini membantu pengguna untuk mengubah kolom ke jenis pilihan mereka.
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"dataTypeMapping":{"INTEGER":"STRING"}",
connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
```
+ **Pemartisian untuk pembacaan paralel** — AWS Glue memungkinkan data paralel membaca dari penyimpanan data dengan melakukan partisi data pada kolom. Anda harus menentukan kolom partisi, batas partisi bawah, batas partisi atas, dan jumlah partisi. Fitur ini memungkinkan Anda untuk menggunakan paralelisme data dan beberapa pelaksana Spark yang dialokasikan untuk aplikasi Spark.
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"upperBound":"200","numPartitions":"4",
"partitionColumn":"id","lowerBound":"0","connectionName":"test-connection-jdbc"},
transformation_ctx = "DataSource0")
```
+ **Gunakan AWS Secrets Manager untuk menyimpan kredensial-Koneksi** Katalog Data juga dapat berisi `secretId` untuk rahasia yang disimpan di. AWS Secrets Manager AWS Rahasianya dapat menyimpan informasi otentikasi dan kredensional dengan aman dan menyediakannya saat runtime. AWS Glue Atau, Anda dapat menentukan `secretId` dari skrip Spark sebagai berikut:
```
DataSource = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"connectionName":"test-connection-jdbc",
"secretId"-> "my-secret-id"}, transformation_ctx = "DataSource0")
```
+ **Menyaring data sumber dengan predikat baris dan proyeksi kolom** — Waktu aktif Spark AWS Glue juga memungkinkan pengguna untuk mendorong kueri SQL untuk mem-filter data pada sumber dengan predikat baris dan proyeksi kolom. Hal ini memungkinkan tugas ETL Anda untuk memuat data yang telah difilter lebih cepat dari penyimpanan data yang didorong oleh support tersebut. Contoh kueri SQL yang didorong ke sumber data JDBC adalah: `SELECT id, name, department FROM department WHERE id < 200.`
```
DataSource = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"query":"SELECT id, name, department FROM department
WHERE id < 200","connectionName":"test-connection-jdbc"}, transformation_ctx =
"DataSource0")
```
+ **Bookmark tugas** — AWS Glue mendukung pemuatan tambahan data dari sumber JDBC. AWS Glue melacak catatan yang diproses terakhir dari penyimpanan data, dan memproses catatan data baru dalam eksekusi tugas ETL berikutnya. Bookmark tugas menggunakan kunci primer sebagai kolom default untuk kunci bookmark, dengan ketentuan bahwa kolom ini bertambah atau berkurang secara berurutan. Untuk informasi selengkapnya tentang bookmark tugas, lihat [Bookmark tugas](https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html) di *Panduan Developer AWS Glue .*
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"jobBookmarkKeys":["empno"], "jobBookmarkKeysSortOrder"
:"asc", "connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
```
1. Kemas konektor kustom sebagai file JAR dan unggah file ke Amazon S3.
1. Uji konektor kustom Anda. Untuk informasi selengkapnya, lihat petunjuk GitHub di [Glue Custom Connectors: Local Validation Tests Guide](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/localValidation/README.md).
1. Di AWS Glue Studio konsol, pilih **Konektor** di panel navigasi konsol.
1. Pada halaman **Konektor**, pilih **Buat konektor kustom**.
1. Pada halaman **Buat konektor kustom**, masukkan informasi berikut:
+ Path ke lokasi dari file JAR kode kustom di Amazon S3.
+ Nama untuk konektor yang akan digunakan olehAWS Glue Studio.
+ Jenis konektor Anda, yang dapat berupa **JDBC**, **Spark**, atau **Athena**.
+ Nama titik masuk dalam kode kustom Anda yang AWS Glue Studio memanggil untuk menggunakan konektor.
+ Untuk konektor JDBC, bidang ini harus berupa nama kelas dari driver JDBC Anda.
+ Untuk konektor Spark, bidang ini harus berupa nama kelas sumber data yang memenuhi syarat, atau aliasnya, yang Anda gunakan saat memuat sumber data Spark dengan operator `format`.
+ (JDBC saja) URL dasar yang digunakan oleh koneksi JDBC untuk penyimpanan data.
+ (Opsional) Deskripsi untuk konektor kustom.
1. Pilih **Buat konektor**.
1. Dari halaman **Konektor**, buat sebuah koneksi yang menggunakan konektor ini, seperti yang dijelaskan di [Membuat koneksi untuk konektor](creating-connections.md).
## Menambahkan konektor ke AWS Glue Studio
Sebuah konektor adalah sepotong kode yang memudahkan komunikasi antara penyimpanan data anda dan AWS Glue. Anda dapat berlangganan konektor yang ditawarkan di AWS Marketplace, atau Anda dapat membuat konektor khusus Anda sendiri.
### Berlangganan konektor AWS Marketplace
AWS Glue Studiomembuatnya mudah untuk menambahkan konektor dari AWS Marketplace.
**Untuk menambahkan konektor dari AWS Marketplace ke AWS Glue Studio**
1. Di AWS Glue Studio konsol, pilih **Konektor** di panel navigasi konsol.
1. Pada halaman **Konektor**, pilih **Buka AWS Marketplace**.
1. Di AWS Marketplace, di **Produk unggulan**, pilih konektor yang ingin Anda gunakan. Anda dapat memilih salah satu konektor unggulan, atau menggunakan kolom pencarian. Anda dapat mencari berdasarkan nama atau jenis konektor, dan Anda dapat menggunakan opsi untuk menyempurnakan hasil pencarian.
Jika Anda ingin menggunakan salah satu konektor unggulan, pilih **Tampilkan Produk**. Jika Anda menggunakan kolom pencarian untuk menemukan konektor, pilih nama konektornya.
1. Pada halaman produk untuk konektor, gunakan tab untuk melihat informasi tentang konektor tersebut. Jika Anda memutuskan untuk membeli konektor ini, pilih **Lanjutkan ke Berlangganan**.
1. Berikan informasi pembayaran, lalu pilih **Lanjutkan ke Konfigurasi**.
1. Pada halaman **Konfigurasi perangkat lunak ini**, pilih metode deployment dan versi konektor yang akan digunakan. Pilih **Lanjutkan ke Peluncuran**.
1. Pada halaman **Luncurkan perangkat lunak ini**, Anda dapat meninjau **Petunjuk Penggunaan** yang disediakan oleh penyedia konektor. Saat Anda siap untuk melanjutkan, pilih **Aktifkan koneksi di AWS Glue Studio**.
Setelah beberapa saat, konsol menampilkan halaman **Buat koneksi marketplace** diAWS Glue Studio.
1. Buat sebuah koneksi yang menggunakan konektor ini, seperti yang diterangkan dalam [Membuat koneksi untuk konektor](creating-connections.md).
Atau, Anda dapat memilih **Aktifkan konektor saja** untuk melewati pembuatan koneksi pada saat ini. Anda harus membuat sebuah koneksi di kemudian hari sebelum Anda dapat menggunakan konektor.
# Membuat koneksi untuk konektor
AWS Glue Koneksi adalah objek Katalog Data yang menyimpan informasi koneksi untuk penyimpanan data tertentu. Koneksi menyimpan kredensial login, string URI, informasi virtual private cloud (VPC), dan informasi lainnya. Membuat koneksi dalam Katalog Data akan menghemat upaya untuk menentukan semua detail koneksi setiap kali Anda membuat sebuah tugas.
**Untuk membuat sebuah koneksi untuk sebuah konektor**
1. Di AWS Glue Studio konsol, pilih **Konektor** di panel navigasi konsol. Di bagian **Koneksi**, pilih **Buat koneksi**.
1. Pilih sumber data yang ingin Anda buat koneksi di langkah 1 panduan **Buat koneksi data**. Ada beberapa cara untuk melihat sumber data yang tersedia, termasuk:
+ Filter sumber data yang tersedia dengan memilih tab. Secara default, **Semua konektor** dipilih.
+ Alihkan **Daftar** untuk melihat sumber data sebagai daftar atau beralih kembali ke **Grid untuk melihat konektor yang tersedia dalam tata letak grid**.
+ Gunakan bilah pencarian untuk mempersempit daftar sumber data. Saat Anda mengetik, kecocokan pencarian ditampilkan dan sumber yang tidak cocok dihapus dari tampilan.
Setelah Anda memilih sumber data, pilih **Berikutnya**.
1. Konfigurasikan koneksi di Langkah 2 di wizard.
Masukkan detail koneksi. Tergantung pada jenis konektor yang dipilih, Anda akan diminta untuk memasukkan informasi tambahan:
![\[Tangkapan layar menunjukkan halaman Konektor dan bagian Koneksi. Tombol Buat koneksi tertutup dalam kotak merah. Pilih Buat koneksi untuk memulai wizard Koneksi.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/connections-create-connection.png)
1. Pilih sumber data yang ingin Anda buat koneksi di langkah 1 panduan **Buat koneksi data**. Ada beberapa cara untuk melihat sumber data yang tersedia. Secara default, Anda akan melihat semua sumber data yang tersedia dalam tata letak kisi. Anda juga dapat:
+ Alihkan **Daftar** untuk melihat sumber data sebagai daftar atau beralih kembali ke **Grid untuk melihat konektor yang tersedia dalam tata letak grid**.
+ Gunakan bilah pencarian untuk mempersempit daftar sumber data. Saat Anda mengetik, kecocokan pencarian ditampilkan dan sumber yang tidak cocok dihapus dari tampilan.
![\[Tangkapan layar menunjukkan bilah pencarian dan tombol Grid-List.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/connections-create-step-1-view.png)
Setelah Anda memilih sumber data, pilih **Berikutnya**.
1. Konfigurasikan koneksi di Langkah 2 di wizard.
Masukkan detail koneksi. Tergantung pada jenis konektor yang Anda pilih, Anda mungkin diminta untuk memasukkan informasi koneksi tambahan. Ini dapat mencakup:
+ **Detail koneksi** — bidang ini akan berubah tergantung pada sumber data yang Anda sambungkan. Misalnya, jika Anda terhubung ke database Amazon DocumentDB, Anda akan memasukkan URL Amazon DocumentDB. Jika Anda terhubung ke Amazon Aurora, Anda akan memilih instance database dan memasukkan nama database. Berikut ini adalah detail Koneksi yang diperlukan untuk Amazon Aurora:
![\[Tangkapan layar menunjukkan detail koneksi yang diperlukan untuk mengonfigurasi Amazon Aurora sebagai sumber data.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/connections-create-step-2-configure.png)
+ Jenis kredensi - pilih antara **Nama Pengguna dan kata sandi** atau ** AWS Secrets Manager**. Masukkan informasi otentikasi yang diminta.
+ Untuk konektor yang menggunakan JDBC, masukkan informasi yang diperlukan untuk membuat URL JDBC untuk penyimpanan data.
+ Jika Anda menggunakan sebuah Virtual Private Cloud (VPC), masukkan informasi jaringan untuk VPC Anda.
1. Atur properti koneksi di langkah 3 wizard. Anda dapat menambahkan deskripsi dan tag sebagai bagian opsional dari langkah ini. Nama diperlukan dan diisi sebelumnya dengan nilai default. Pilih **Berikutnya**.
1. Tinjau sumber koneksi, detail, dan properti. Jika Anda perlu membuat perubahan, pilih **Edit** untuk langkah di wizard. Saat siap, pilih, **Buat koneksi**.
Pilih **Buat koneksi**.
Anda akan melihat halaman **Konektor**, dan banner informasi menunjukkan koneksi yang dibuat. Anda sekarang dapat menggunakan koneksi dalam AWS Glue Studio pekerjaan Anda.
# Membuat koneksi Kafka
Saat membuat koneksi Kafka, memilih **Kafka** dari menu drop-down akan menampilkan pengaturan tambahan untuk mengkonfigurasi:
+ Rincian cluster Kafka
+ Autentikasi
+ Enkripsi
+ Opsi jaringan
**Konfigurasikan detail cluster Kafka**
1. Pilih lokasi cluster. Anda dapat memilih dari **streaming terkelola Amazon untuk cluster Apache Kafka (MSK)** atau cluster **Apache Kafka yang dikelola Pelanggan**. Untuk informasi selengkapnya tentang Amazon Managed streaming untuk Apache Kafka, lihat [Amazon managed streaming untuk Apache Kafka](https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html) (MSK).
**catatan**
Amazon Managed Streaming for Apache Kafka hanya mendukung metode otentikasi TLS dan SASL/SCRAM-SHA-512.
![\[Tangkapan layar menunjukkan bagian detail cluster Kafka dengan opsi untuk memilih lokasi Cluster dan masuk ke server boostrap Kafka. URLs\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/kafka-cluster-details.png)
1. Masukkan URLs untuk server bootstrap Kafka Anda. Anda dapat memasukkan lebih dari satu dengan memisahkan setiap server dengan koma. Sertakan nomor port di akhir URL dengan menambahkan. `:`
Misalnya: `b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094`
**Pilih metode otentikasi**
![\[Tangkapan layar menunjukkan menu drop-down untuk memilih metode otentikasi Kafka.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/kafka-connection-authentication.png)
AWS Glue mendukung kerangka kerja Simple Authentication and Security Layer (SASL) untuk otentikasi. Kerangka SASL mendukung berbagai mekanisme otentikasi, dan AWS Glue menawarkan protokol SCRAM (nama pengguna dan kata sandi), GSSAPI (protokol Kerberos), dan PLAIN (nama pengguna dan kata sandi).
Saat memilih metode otentikasi dari menu drop-down, metode otentikasi klien berikut dapat dipilih:
+ Tidak ada - Tidak ada otentikasi. Ini berguna jika Anda membuat koneksi untuk tujuan pengujian.
+ SASL/SCRAM-SHA-512 - Pilih metode otentikasi ini untuk menentukan kredensyal otentikasi. Ada dua opsi yang tersedia:
+ Gunakan AWS Secrets Manager (disarankan) - jika Anda memilih opsi ini, Anda dapat menyimpan kredensyal Anda di AWS Secrets Manager dan membiarkan AWS Glue mengakses informasi bila diperlukan. Tentukan rahasia yang menyimpan kredensyal otentikasi SSL atau SASL.
![\[Tangkapan layar menunjukkan opsi untuk kredensyal otentikasi jika metode otentikasi adalah SASL/SCRAM-SHA-512.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/kafka-connection-authentication-sha-512.png)
+ Berikan nama pengguna dan kata sandi secara langsung.
+ SASL/GSSAPI (Kerberos) - jika Anda memilih opsi ini, Anda dapat memilih lokasi file keytab, file krb5.conf dan memasukkan nama utama Kerberos dan nama layanan Kerberos. Lokasi untuk file tab tombol dan file krb5.conf harus berada di lokasi Amazon S3. Karena MSK belum mendukung SASL/GSSAPI, opsi ini hanya tersedia untuk cluster Apache Kafka yang dikelola pelanggan. Untuk informasi selengkapnya, lihat [Dokumentasi MIT Kerberos: Keytab](https://web.mit.edu/kerberos/krb5-latest/doc/basic/keytab_def.html).
+ SASL/PLAIN - Pilih metode otentikasi ini untuk menentukan kredensyal otentikasi. Ada dua opsi yang tersedia:
+ Gunakan AWS Secrets Manager (disarankan) - jika Anda memilih opsi ini, Anda dapat menyimpan kredensyal Anda di AWS Secrets Manager dan membiarkan AWS Glue mengakses informasi bila diperlukan. Tentukan rahasia yang menyimpan kredensyal otentikasi SSL atau SASL.
+ Berikan nama pengguna dan kata sandi secara langsung.
+ Otentikasi Klien SSL - jika Anda memilih opsi ini, Anda dapat memilih lokasi keystore klien Kafka dengan menjelajahi Amazon S3. Secara opsional, Anda dapat memasukkan kata sandi keystore klien Kafka dan kata sandi kunci klien Kafka.
![\[Tangkapan layar menunjukkan opsi enkripsi jika SSL adalah metode otentikasi.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/kafka-connection-authentication-ssl.png)
**Konfigurasikan pengaturan enkripsi**
1. Jika koneksi Kafka memerlukan koneksi SSL, pilih kotak centang untuk **Memerlukan** koneksi SSL. Perhatikan bahwa koneksi akan gagal jika tidak dapat terhubung melalui SSL. SSL untuk enkripsi dapat digunakan dengan salah satu metode otentikasi (SASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAIN, atau SSL Client Authentication) dan bersifat opsional.
Jika metode otentikasi diatur ke **otentikasi klien SSL**, opsi ini akan dipilih secara otomatis dan akan dinonaktifkan untuk mencegah perubahan apa pun.
1. (Opsional). Pilih lokasi sertifikat pribadi dari otoritas sertifikat (CA). Perhatikan bahwa lokasi sertifikasi harus berada di lokasi S3. Pilih **Browse** untuk memilih file dari bucket S3 yang terhubung. Jalannya harus dalam bentuk`s3://bucket/prefix/filename.pem`. Itu harus diakhiri dengan nama file dan ekstensi.pem.
1. Anda dapat memilih untuk melewati validasi sertifikat dari otoritas sertifikat (CA). Pilih kotak centang **Lewati validasi sertifikat dari otoritas sertifikat (CA)**. Jika kotak ini tidak dicentang, AWS Glue validasi sertifikat untuk tiga algoritma:
+ SHA256withRSA
+ SHA384withRSA
+ SHA512withRSA
![\[Tangkapan layar menunjukkan opsi untuk mengonfigurasi enkripsi, termasuk apakah memerlukan koneksi SSL atau tidak, opsi untuk memilih lokasi sertifikat pribadi dari otoritas sertifikat (CA), dan opsi untuk melewati validasi sertifikat dari otoritas sertifikat (CA).\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/kafka-connection-encryption.png)
**(Opsional) Opsi jaringan**
Berikut ini adalah langkah-langkah opsional untuk mengkonfigurasi grup VPC, Subnet dan Keamanan. Jika AWS Glue pekerjaan Anda perlu dijalankan di instans Amazon EC2 di subnet virtual private cloud (VPC), Anda harus memberikan informasi konfigurasi khusus VPC tambahan.
1. Pilih VPC (virtual private cloud) yang berisi sumber data Anda.
1. Pilih subnet dengan VPC Anda.
1. Pilih satu atau beberapa grup keamanan untuk mengizinkan akses ke penyimpanan data di subnet VPC Anda. Grup keamanan terkait dengan ENI yang melekat pada subnet Anda. Anda harus memilih setidaknya satu grup keamanan dengan aturan masuk referensi sendiri untuk semua port TCP.
![\[Tangkapan layar menunjukkan opsi jaringan opsional untuk grup VPC, Subnet, dan Keamanan.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/kafka-connection-network-options.png)
# Menulis tugas dengan konektor kustom
Anda dapat menggunakan konektor dan koneksi untuk node sumber data dan node target data diAWS Glue Studio.
**Topics**
+ [Membuat tugas yang menggunakan sebuah konektor untuk sumber data](#create-job-connectors)
+ [Konfigurasi properti sumber untuk simpul yang menggunakan konektor](#edit-connector-source)
+ [Mengkonfigurasi properti target untuk simpul yang menggunakan konektor](#edit-connector-target)
## Membuat tugas yang menggunakan sebuah konektor untuk sumber data
Saat membuat sebuah tugas baru, Anda dapat memilih sebuah konektor untuk sumber data dan target data.
**Untuk membuat sebuah tugas yang menggunakan konektor untuk sumber data atau target data**
1. Masuk ke Konsol Manajemen AWS dan buka AWS Glue Studio konsol di [https://console.aws.amazon.com/gluestudio/](https://console.aws.amazon.com/gluestudio/).
1. Pada halaman **Konektor**, di daftar sumber daya **Koneksi Anda**, pilih koneksi yang ingin Anda gunakan dalam tugas Anda, dan kemudian pilih **Buat tugas**.
Atau, pada halaman AWS Glue Studio **Pekerjaan**, di bawah **Buat pekerjaan**, pilih **Sumber dan target ditambahkan ke grafik**. pada daftar drop-down **Sumber**, pilih konektor kustom yang ingin Anda gunakan dalam tugas Anda. Anda juga dapat memilih sebuah konektor untuk **Target**.
![\[\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/create-job-data-sources-screenshot.png)
1. Pilih **Buat** untuk membuka editor tugas visual.
1. Konfigurasi simpul sumber data, seperti yang dijelaskan dalam [Konfigurasi properti sumber untuk simpul yang menggunakan konektor](#edit-connector-source).
1. Lanjutkan membuat tugas ETL Anda dengan menambahkan transformasi, penyimpanan data tambahan, dan target data, seperti yang dijelaskan dalam [Memulai pekerjaan ETL visual di AWS Glue Studio](edit-nodes-chapter.md).
1. Sesuaikan lingkungan eksekusi tugas dengan mengkonfigurasi properti tugas, seperti yang dijelaskan dalam [Mengubah properti tugas](managing-jobs-chapter.md#edit-jobs-properties).
1. Simpan dan jalankan tugas.
## Konfigurasi properti sumber untuk simpul yang menggunakan konektor
Setelah Anda membuat sebuah tugas yang menggunakan sebuah konektor untuk sumber data, editor tugas visual akan menampilkan grafik tugas dengan simpul sumber data yang dikonfigurasi untuk konektor tersebut. Anda harus mengkonfigurasi properti sumber data untuk simpul tersebut.
**Untuk mengkonfigurasi properti untuk simpul sumber data yang menggunakan sebuah konektor**
1. Pilih simpul sumber data konektor dalam grafik tugas atau tambahkan sebuah simpul baru dan pilih konektor untuk **Jenis Simpul**. Kemudian, di sisi kanan, di panel detail simpul, pilih tab **Properti sumber data**, jika belum dipilih.
![\[\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/data-source-properties-connector-screenshot2.png)
1. Di tab **Properti sumber data**, pilih koneksi yang ingin Anda gunakan untuk tugas ini.
Masukkan informasi tambahan yang diperlukan untuk masing-masing jenis koneksi:
------
#### [ JDBC ]
+ **Tipe masukan sumber data**: Pilih untuk memberikan nama tabel atau kueri SQL sebagai sumber data. Tergantung pada pilihan Anda, Anda kemudian harus memberikan informasi tambahan berikut:
+ **Nama tabel**: Nama tabel di sumber data. Jika sumber data tidak menggunakan *tabel* istilah, maka berikan nama struktur data yang sesuai, seperti yang ditunjukkan oleh informasi penggunaan konektor kustom (yang tersedia di AWS Marketplace).
+ **Predikat filter**: Syarat klausul yang akan digunakan ketika membaca sumber data, mirip dengan klausul `WHERE`, yang digunakan untuk mengambil subset dari data.
+ **Kode kueri**: Masukkan kueri SQL yang akan digunakan untuk mengambil set data tertentu dari sumber data. Contoh kueri SQL dasar adalah:
```
SELECT column_list FROM
table_name WHERE where_clause
```
+ **Skema**: Karena AWS Glue Studio menggunakan informasi yang disimpan dalam koneksi untuk mengakses sumber data alih-alih mengambil informasi metadata dari tabel Katalog Data, Anda harus menyediakan metadata skema untuk sumber data. Pilih **Tambahkan skema** untuk membuka editor skema.
Untuk petunjuk tentang cara menggunakan editor skema, lihat [Mengedit skema di simpul transformasi kustom](transforms-custom.md#transforms-custom-editschema).
+ **Kolom partisi**: (Opsional) Anda dapat memilih untuk melakukan partisi pada pembacaan data dengan memberikan nilai-nilai untuk **Kolom partisi**, **Batas bawah**, **Batas atas**, dan **Jumlah partisi**.
Nilai `lowerBound` dan `upperBound` digunakan untuk menentukan langkah partisi, bukan untuk menyaring baris dalam tabel. Semua baris dalam tabel dipartisi dan dikembalikan.
**catatan**
Pemartisian kolom menambahkan syarat pemartisian tambahan untuk kueri yang digunakan untuk membaca data. Bila menggunakan sebuah kueri bukan nama sebuah tabel, maka Anda harus memvalidasi bahwa kueri bekerja dengan syarat pemartisian yang ditentukan. Contoh:
Jika format kueri Anda adalah `"SELECT col1 FROM table1"`, maka uji kueri dengan menambahkan klausul `WHERE` pada akhir kueri yang menggunakan kolom partisi.
Jika format kueri Anda adalah `"SELECT col1 FROM table1 WHERE col2=val"`, maka uji kueri dengan memperluas klausul `WHERE` dengan `AND` dan ekspresi yang menggunakan kolom partisi.
+ **Pengubahan jenis data**: Jika sumber data menggunakan tipe data yang tidak tersedia di JDBC, gunakan bagian ini untuk menentukan bagaimana tipe data dari sumber data harus dikonversi ke dalam tipe data JDBC. Anda dapat menentukan hingga 50 konversi tipe data yang berbeda. Semua kolom dalam sumber data yang menggunakan tipe data yang sama akan dikonversi dengan cara yang sama.
Sebagai contoh, jika Anda memiliki tiga kolom di sumber data yang menggunakan tipe data `Float`, dan Anda menunjukkan bahwa tipe data `Float` harus dikonversi ke tipe data `String` JDBC, maka semua tiga kolom yang menggunakan tipe data `Float` itu akan dikonversi ke tipe data `String`.
+ **Kunci bookmark tugas**: Bookmark tugas membantu AWS Glue menjaga informasi status dan mencegah pengolahan ulang data lama. Tentukan satu lagi satu atau lebih kolom sebagai tombol bookmark. AWS Glue Studiomenggunakan tombol bookmark untuk melacak data yang telah diproses selama menjalankan tugas ETL sebelumnya. Kolom apa pun yang Anda gunakan untuk kunci bookmark kustom harus secara ketat dan secara monoton meningkat atau menurun, namun kesenjangan diizinkan.
Jika Anda memasukkan beberapa kunci bookmark, maka kunci tersebut digabungkan untuk membentuk satu kunci gabungan. Kunci bookmark tugas gabungan tidak boleh berisi kolom duplikat. Jika Anda tidak menentukan kunci bookmark, secara AWS Glue Studio default menggunakan kunci primer sebagai kunci bookmark, asalkan kunci utama meningkat atau menurun secara berurutan (tanpa celah). Jika tabel tidak memiliki kunci primer, namun properti bookmark tugas diaktifkan, maka Anda harus menyediakan kunci bookmark tugas kustom. Jika tidak, pencarian kunci primer yang akan digunakan sebagai default akan gagal dan eksekusi tugas akan gagal.
+ **Kunci bookmark tugas yang mengurutkan urutan**: Pilih apakah nilai kunci secara berurutan meningkat atau menurun.
------
#### [ Spark ]
+ **Skema**: Karena AWS Glue Studio menggunakan informasi yang disimpan dalam koneksi untuk mengakses sumber data alih-alih mengambil informasi metadata dari tabel Katalog Data, Anda harus menyediakan metadata skema untuk sumber data. Pilih **Tambahkan skema** untuk membuka editor skema.
Untuk petunjuk tentang cara menggunakan editor skema, lihat [Mengedit skema di simpul transformasi kustom](transforms-custom.md#transforms-custom-editschema).
+ **Opsi koneksi**: Masukkan pasangan nilai-kunci tambahan yang diperlukan untuk memberikan informasi koneksi atau pilihan tambahan. Misalnya, Anda dapat memasukkan nama basis data, nama tabel, nama pengguna, dan kata sandi.
Misalnya, untuk OpenSearch, Anda memasukkan pasangan kunci-nilai berikut, seperti yang dijelaskan dalam: [Tutorial: Menggunakan AWS Glue Konektor untuk Elasticsearch](tutorial-elastisearch-connector.md)
+ `es.net.http.auth.user` : `username`
+ `es.net.http.auth.pass` : `password`
+ `es.nodes` : `https://`
+ `es.port` : `443`
+ `path`: ``
+ `es.nodes.wan.only` : `true`
Untuk contoh opsi koneksi minimum yang akan digunakan, lihat contoh skrip pengujian [MinimalSparkConnectorTest.scala aktif](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/MinimalSparkConnectorTest.scala) GitHub, yang menunjukkan opsi koneksi yang biasanya Anda berikan dalam koneksi.
------
#### [ Athena ]
+ **Nama tabel**: Nama tabel di sumber data. Jika Anda menggunakan konektor untuk membaca dari Athena- CloudWatch log, Anda akan memasukkan nama tabel. `all_log_streams`
+ **Nama skema Athena**: Pilih skema di sumber data Athena Anda yang sesuai dengan basis data yang berisi tabel. Jika Anda menggunakan konektor untuk membaca dari Athena- CloudWatch log, Anda akan memasukkan nama skema yang mirip dengan. `/aws/glue/name`
+ **Skema**: Karena AWS Glue Studio menggunakan informasi yang disimpan dalam koneksi untuk mengakses sumber data alih-alih mengambil informasi metadata dari tabel Katalog Data, Anda harus menyediakan metadata skema untuk sumber data. Pilih **Tambahkan skema** untuk membuka editor skema.
Untuk petunjuk tentang cara menggunakan editor skema, lihat [Mengedit skema di simpul transformasi kustom](transforms-custom.md#transforms-custom-editschema).
+ **Opsi koneksi tambahan**: Masukkan pasangan nilai-kunci tambahan yang diperlukan untuk memberikan informasi koneksi atau pilihan tambahan.
Sebagai contoh, lihat `README.md` file di [https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena). Dalam langkah-langkah dalam dokumen ini, kode sampel menunjukkan opsi koneksi minimal yang diperlukan, yakni `tableName`, `schemaName`, dan `className`. Contoh kode menentukan pilihan ini sebagai bagian dari variabel `optionsMap`, tetapi Anda dapat menentukan mereka untuk koneksi Anda dan kemudian menggunakan koneksi tersebut.
------
1. (Opsional) Setelah memberikan informasi yang diperlukan, Anda dapat melihat skema data yang dihasilkan untuk sumber data Anda dengan memilih tab **Skema output** di panel detail simpul. Skema yang ditampilkan pada tab ini digunakan oleh setiap simpul anak yang Anda tambahkan ke grafik tugas.
1. (Opsional) Setelah mengkonfigurasi properti simpul dan properti sumber data, Anda dapat melihat pratinjau set data dari sumber data Anda dengan memilih tab Pratinjau data di panel detail simpul. Pertama kali Anda memilih tab ini untuk setiap simpul dalam tugas Anda, Anda akan diminta untuk memberikan IAM role untuk mengakses data. Ada biaya yang terkait dengan penggunaan fitur ini, dan penagihan akan dimulai langsung setelah Anda memberikan IAM role.
## Mengkonfigurasi properti target untuk simpul yang menggunakan konektor
Jika Anda menggunakan sebuah konektor untuk jenis target data, maka Anda harus mengkonfigurasi properti data target simpul.
**Untuk mengkonfigurasi properti untuk simpul target data yang menggunakan sebuah konektor**
1. Pilih simpul target data konektor dalam grafik tugas. Kemudian, di sisi kanan, di panel detail simpul, pilih tab **Properti target data**, jika belum dipilih.
1. Di tab **Properti target data**, pilih koneksi yang akan digunakan untuk menulis ke target.
Masukkan informasi tambahan yang diperlukan untuk masing-masing jenis koneksi:
------
#### [ JDBC ]
+ **Koneksi**: Pilih koneksi yang akan digunakan dengan konektor Anda. Untuk informasi tentang cara membuat sebuah koneksi, lihat [Membuat koneksi untuk konektor](creating-connections.md).
+ **Nama tabel**: Nama tabel di target data. Jika target data tidak menggunakan *tabel* istilah, maka berikan nama struktur data yang sesuai, seperti yang ditunjukkan oleh informasi penggunaan konektor kustom (yang tersedia di AWS Marketplace).
+ **Ukuran Batch** (Opsional): Masukkan jumlah baris atau catatan yang akan disisipkan dalam tabel target dalam satu operasi. Nilai default-nya adalah 1000 baris.
------
#### [ Spark ]
+ **Koneksi**: Pilih koneksi yang akan digunakan dengan konektor Anda. Jika Anda tidak membuat sebuah koneksi sebelumnya, pilih **Buat koneksi** untuk membuatnya. Untuk informasi tentang cara membuat sebuah koneksi, lihat [Membuat koneksi untuk konektor](creating-connections.md).
+ **Opsi koneksi**: Masukkan pasangan nilai-kunci tambahan yang diperlukan untuk memberikan informasi koneksi atau pilihan tambahan. Anda dapat memasukkan sebuah nama basis data, nama tabel, nama pengguna, dan kata sandi.
Misalnya, untuk OpenSearch, Anda memasukkan pasangan kunci-nilai berikut, seperti yang dijelaskan dalam: [Tutorial: Menggunakan AWS Glue Konektor untuk Elasticsearch](tutorial-elastisearch-connector.md)
+ `es.net.http.auth.user` : `username`
+ `es.net.http.auth.pass` : `password`
+ `es.nodes` : `https://`
+ `es.port` : `443`
+ `path`: ``
+ `es.nodes.wan.only` : `true`
Untuk contoh opsi koneksi minimum yang akan digunakan, lihat contoh skrip pengujian [MinimalSparkConnectorTest.scala aktif](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/MinimalSparkConnectorTest.scala) GitHub, yang menunjukkan opsi koneksi yang biasanya Anda berikan dalam koneksi.
------
1. Setelah memberikan informasi yang diperlukan, Anda dapat melihat skema data yang dihasilkan untuk sumber data Anda dengan memilih tab **Skema output** di panel detail simpul.
# Mengelola konektor dan koneksi
Anda menggunakan halaman **Koneksi** AWS Glue untuk mengelola konektor dan koneksi Anda.
**Topics**
+ [Melihat detail konektor dan koneksi](#connector-details)
+ [Mengedit konektor dan koneksi](#editing-connectors)
+ [Menghapus konektor dan koneksi](#deleting-connectors)
+ [Membatalkan langganan untuk sebuah konektor](#cancel-subscription)
## Melihat detail konektor dan koneksi
Anda dapat melihat informasi ringkasan tentang konektor dan koneksi Anda di tabel sumber daya **Konektor Anda** dan **Koneksi Anda** pada halaman **Konektor**. Untuk melihat informasi detail, lakukan langkah-langkah berikut.
**Untuk melihat detail konektor atau koneksi**
1. Di AWS Glue Studio konsol, pilih **Konektor** di panel navigasi konsol.
1. Pilih konektor atau koneksi yang ingin Anda lihat informasi detailnya.
1. Pilih **Tindakan**, lalu pilih **Lihat detail** untuk membuka halaman detail untuk konektor atau koneksi tersebut.
1. Pada halaman detail, Anda dapat memilih untuk **Mengedit** atau **Menghapus** konektor atau koneksi.
+ Untuk konektor, Anda dapat memilih **Buat koneksi** untuk membuat sebuah koneksi baru yang menggunakan konektor.
+ Untuk koneksi, Anda bisa memilih **Buat tugas** untuk membuat sebuah tugas yang menggunakan koneksi.
## Mengedit konektor dan koneksi
Anda gunakan halaman **Konektor** untuk mengubah informasi yang tersimpan di konektor dan koneksi Anda.
**Untuk mengubah sebuah konektor atau koneksi**
1. Di AWS Glue Studio konsol, pilih **Konektor** di panel navigasi konsol.
1. Pilih konektor atau koneksi yang ingin Anda ubah.
1. Pilih **Tindakan**, dan kemudian pilih **Edit**.
Anda juga dapat memilih **Lihat detail** dan pada halaman detail konektor atau koneksi, Anda bisa memilih **Edit**.
1. Pada halaman **Edit konektor** atau **Edit koneksi**, perbarui informasi, dan kemudian pilih **Simpan**.
## Menghapus konektor dan koneksi
Anda gunakan halaman **Konektor** untuk menghapus konektor dan koneksi. Jika Anda menghapus sebuah konektor, maka koneksi yang dibuat untuk konektor itu juga harus dihapus.
**Untuk menghapus konektor dari AWS Glue Studio**
1. Di AWS Glue Studio konsol, pilih **Konektor** di panel navigasi konsol.
1. Pilih konektor atau koneksi yang ingin dihapus.
1. Pilih **Tindakan**, lalu pilih **Hapus**.
Anda juga dapat memilih **Lihat detail**, dan pada halaman detail konektor atau koneksi, Anda bisa memilih **Hapus**.
1. Verifikasi bahwa Anda ingin menghapus konektor atau koneksi dengan memasukkan **Delete**, lalu pilih **Hapus**.
Saat Anda menghapus sebuah konektor, maka koneksi yang dibuat untuk konektor itu juga dihapus.
Setiap tugas yang menggunakan koneksi yang dihapus tidak akan lagi berfungsi. Anda dapat mengedit tugas untuk menggunakan penyimpanan data yang berbeda, atau menghapus tugas. Untuk informasi tentang cara menghapus tugas, lihat [Menghapus tugas](managing-jobs-chapter.md#delete-jobs).
Jika Anda menghapus sebuah konektor, hal itu tidak membatalkan langganan konektor di AWS Marketplace. Untuk menghapus langganan untuk sebuah konektor yang dihapus, ikuti petunjuk di [Membatalkan langganan untuk sebuah konektor](#cancel-subscription) .
## Membatalkan langganan untuk sebuah konektor
Setelah Anda menghapus koneksi dan konektor dariAWS Glue Studio, Anda dapat membatalkan langganan Anda AWS Marketplace jika Anda tidak lagi memerlukan konektor.
**catatan**
Jika Anda membatalkan langganan ke sebuah konektor, hal itu tidak menghapus konektor atau koneksi dari akun Anda. Setiap tugas yang menggunakan konektor dan koneksi terkait tidak akan lagi dapat menggunakan konektor dan akan gagal.
Sebelum Anda berhenti berlangganan atau berlangganan ulang konektor dari AWS Marketplace, Anda harus menghapus koneksi dan konektor yang ada yang terkait dengan produk tersebut AWS Marketplace .
**Untuk berhenti berlangganan dari konektor di AWS Marketplace**
1. Masuk ke AWS Marketplace konsol di [https://console.aws.amazon.com/marketplace](https://console.aws.amazon.com/marketplace).
1. Pilih **Kelola langganan**.
1. Pada halaman **Kelola langganan**, pilih **Kelola** yang ada di samping langganan konektor yang ingin Anda batalkan.
1. Pilih **Tindakan** lalu pilih **Batalkan langganan**.
1. Pilih kotak centang untuk mengetahui bahwa instans berjalan ditagihkan ke akun Anda, lalu pilih **Ya, batalkan langganan.**.
# Mengembangkan konektor kustom
Anda dapat menulis kode yang membaca data dari atau menulis data ke penyimpanan data Anda dan memformat data untuk digunakan dengan AWS Glue Studio pekerjaan. Anda dapat membuat konektor untuk penyimpanan data Spark, Athena, dan JDBC. Kode sampel yang diposting di GitHub memberikan gambaran umum tentang antarmuka dasar yang perlu Anda terapkan.
Anda memerlukan lingkungan pengembangan lokal untuk membuat kode konektor Anda. Anda dapat menggunakan IDE atau bahkan hanya editor baris perintah untuk menulis konektor Anda. Contoh lingkungan pengembangan meliputi:
+ Sebuah lingkungan Scala lokal dengan perpustakaan ETL Maven AWS Glue lokal, seperti yang dijelaskan dalam [Mengembangkan secara Lokal dengan Scala](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-libraries.html#develop-local-scala) di *AWS Glue Panduan Developer*.
+ IntelliJ IDE, dengan mengunduh IDE dari. [https://www.jetbrains.com/idea/](https://www.jetbrains.com/idea/)
**Topics**
+ [Mengembangkan konektor Spark](#code-spark-connector)
+ [Mengembangkan konektor Athena](#code-athena-connector)
+ [Mengembangkan konektor JDBC](#code-jdbc-connector)
+ [Contoh menggunakan konektor khusus dengan AWS Glue Studio](#custom-connector-examples)
+ [Mengembangkan AWS Glue konektor untuk AWS Marketplace](#code-marketplace-connector)
## Mengembangkan konektor Spark
Anda dapat membuat konektor Spark dengan Spark DataSource API V2 (Spark 2.4) untuk membaca data.
**Untuk membuat konektor Spark khusus**
Ikuti langkah-langkah di perpustakaan AWS Glue GitHub sampel untuk mengembangkan konektor Spark, yang terletak di [https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md.](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md)
## Mengembangkan konektor Athena
Anda dapat membuat konektor Athena untuk digunakan oleh AWS Glue dan AWS Glue Studio untuk menanyakan sumber data kustom.
**Untuk membuat konektor Athena kustom**
[Ikuti langkah-langkah di perpustakaan AWS Glue GitHub sampel untuk mengembangkan konektor Athena, yang terletak di https://github.com/aws-samples/aws-glue-samples/. tree/master/GlueCustomConnectors/development/Athena](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena)
## Mengembangkan konektor JDBC
Anda dapat membuat sebuah konektor yang menggunakan JDBC untuk mengakses penyimpanan data Anda.
**Untuk membuat sebuah konektor JDBC kustom**
1. Instal perpustakaan waktu aktif Spark AWS Glue di lingkungan pengembangan lokal Anda. Lihat instruksi di perpustakaan AWS Glue GitHub sampel di [ https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md.](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md)
1. Menerapkan driver JDBC yang bertanggung jawab untuk mengambil data dari sumber data. Lihat [dokumentasi Java](https://docs.oracle.com/javase/8/docs/technotes/guides/jdbc/) untuk Java SE 8.
Buat titik masuk dalam kode Anda yang AWS Glue Studio digunakan untuk menemukan konektor Anda. Bidang **Nama kelas** harus berupa path lengkap dari driver JDBC Anda.
1. Gunakan API `GlueContext` untuk membaca data dengan konektor. Pengguna dapat menambahkan lebih banyak opsi input di AWS Glue Studio konsol untuk mengonfigurasi koneksi ke sumber data, jika perlu. Untuk contoh kode yang menunjukkan cara membaca dari dan menulis ke database JDBC dengan konektor JDBC kustom, lihat Nilai kustom [dan](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-connect.html#aws-glue-programming-etl-connect-market) ConnectionType. AWS Marketplace
## Contoh menggunakan konektor khusus dengan AWS Glue Studio
Anda dapat merujuk ke blog berikut untuk contoh cara menggunakan konektor kustom:
+ [Mengembangkan, menguji, dan menerapkan konektor khusus untuk penyimpanan data Anda dengan AWS Glue](https://aws.amazon.com/blogs/big-data/developing-testing-and-deploying-custom-connectors-for-your-data-stores-with-aws-glue/)
+ Apache Hudi: [Menulis ke tabel Apache Hudi menggunakan Konektor Kustom AWS Glue](https://aws.amazon.com/blogs/big-data/writing-to-apache-hudi-tables-using-aws-glue-connector/)
+ Google BigQuery: [Memigrasi data dari Google BigQuery ke Amazon S3 AWS Glue](https://aws.amazon.com/blogs/big-data/migrating-data-from-google-bigquery-to-amazon-s3-using-aws-glue-custom-connectors/) menggunakan konektor khusus
+ Snowflake (JDBC): [Melakukan transformasi data menggunakan Snowflake dan AWS Glue](https://aws.amazon.com/blogs/big-data/performing-data-transformations-using-snowflake-and-aws-glue/)
+ SingleStore: [Membangun ETL cepat menggunakan SingleStore ](https://aws.amazon.com/blogs/big-data/building-fast-etl-using-singlestore-and-aws-glue/) dan AWS Glue
+ Salesforce: [Menyerap data Salesforce ke Amazon S3 menggunakan konektor kustom JDBC](https://aws.amazon.com/blogs/big-data/ingest-salesforce-data-into-amazon-s3-using-the-cdata-jdbc-custom-connector-with-aws-glue) dengan - CData AWS Glue
+ MongoDB: [Membangun tugas ETL Spark AWS Glue menggunakan Amazon DocumentDB (dengan kompatibilitas MongoDB) dan MongoDB](https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-using-amazon-documentdb-with-mongodb-compatibility-and-mongodb/)
+ Amazon Relational Database Service (Amazon RDS): [Membangun pekerjaan AWS Glue Spark ETL dengan membawa driver JDBC Anda sendiri](https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-by-bringing-your-own-jdbc-drivers-for-amazon-rds/) untuk Amazon RDS
+ [MySQL (JDBC):/.skala https://github.com/aws-samples/ aws-glue-samples blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL](https://github.com/aws-samples/aws-glue-samples/blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL.scala)
## Mengembangkan AWS Glue konektor untuk AWS Marketplace
Sebagai AWS mitra, Anda dapat membuat konektor khusus dan mengunggahnya AWS Marketplace untuk dijual kepada AWS Glue pelanggan.
Proses untuk mengembangkan kode konektor adalah sama dengan konektor kustom, tetapi proses mengunggah dan memverifikasi kode konektor lebih terperinci. Lihat instruksi dalam [Membuat Konektor untuk AWS Marketplace](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/marketplace/publishGuide.pdf) di GitHub situs web.
# Pembatasan untuk menggunakan konektor dan koneksi di AWS Glue Studio
Saat Anda menggunakan konektor atau konektor khusus AWS Marketplace, perhatikan batasan berikut:
+ API testConnection tidak didukung dengan koneksi yang dibuat untuk konektor kustom.
+ Enkripsi kata sandi koneksi Katalog Data tidak didukung dengan konektor kustom.
+ Anda tidak dapat menggunakan bookmark tugas jika menentukan predikat filter untuk simpul sumber data yang menggunakan konektor JDBC.
+ Membuat koneksi Marketplace tidak didukung di luar antarmuka AWS Glue Studio pengguna.