Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Menghubungkan ke SAP OData SAP OData adalah protokol Web standar yang digunakan untuk query dan memperbarui data yang ada di SAP menggunakan ABAP (Advanced Business Application Programming), menerapkan dan membangun teknologi Web seperti HTTP untuk menyediakan akses ke informasi dari berbagai aplikasi eksternal, platform dan perangkat. Dengan produk ini, Anda dapat mengakses semua yang Anda butuhkan untuk membantu Anda mengintegrasikan dengan mulus dengan sistem, aplikasi, atau data SAP Anda. **Topics** + [AWS Glue Dukungan untuk SAP OData](sap-odata-support.md) + [Buat koneksi](sap-odata-creating-connections.md) + [Membuat pekerjaan SAP OData](sap-odata-creating-job.md) + [Menulis ke SAP OData](sap-odata-writing.md) + [Menggunakan skrip manajemen OData status SAP](sap-odata-state-management-script.md) + [Partisi untuk entitas Non ODP](sap-odata-non-odp-entities-partitioning.md) + [Opsi OData koneksi SAP](sap-odata-connection-options.md) + [OData Entitas SAP dan detail bidang](sap-odata-entity-field-details.md) # AWS Glue Dukungan untuk SAP OData AWS Glue mendukung SAP OData sebagai berikut: **Didukung sebagai sumber?** Ya. Anda dapat menggunakan pekerjaan AWS Glue ETL untuk meminta data dari SAP OData. **Didukung sebagai target?** Ya. Anda dapat menggunakan pekerjaan AWS Glue ETL untuk menulis catatan ke SAP OData. **Versi SAP OData API yang didukung** Versi SAP OData API berikut didukung: + 2.0 **Sumber yang didukung** Sumber-sumber berikut didukung: + Sumber ODP (Penyediaan Data Operasional): + Ekstraktor BW () DataSources + Tampilan CDS + SLT + Sumber non-ODP, misalnya: + CDS Lihat Layanan + Layanan Berbasis RFC + Layanan ABAP Kustom **Komponen SAP yang Didukung** Berikut ini adalah persyaratan minimum: + Anda harus mengaktifkan layanan katalog untuk penemuan layanan. + Konfigurasikan sumber data penyediaan data operasional (ODP) untuk ekstraksi di SAP Gateway sistem SAP Anda. + **OData V2.0**: Aktifkan layanan katalog OData V2.0 di SAP Gateway Anda melalui transaksi. `/IWFND/MAINT_SERVICE` + Aktifkan layanan OData V2.0 di SAP Gateway Anda melalui transaksi. `/IWFND/MAINT_SERVICE` + OData Layanan SAP Anda harus mendukung pagination/query opsi sisi klien seperti `$top` dan`$skip`. Itu juga harus mendukung opsi kueri sistem`$count`. + Anda harus memberikan otorisasi yang diperlukan bagi pengguna di SAP untuk menemukan layanan dan mengekstrak data menggunakan layanan SAP OData . Lihat dokumentasi keamanan yang disediakan oleh SAP. + Jika Anda ingin menggunakan OAuth 2.0 sebagai mekanisme otorisasi, Anda harus mengaktifkan OAuth 2.0 untuk OData layanan dan mendaftarkan OAuth klien per dokumentasi SAP. + Untuk menghasilkan OData layanan berdasarkan sumber data ODP, SAP Gateway Foundation harus diinstal secara lokal di ERP/BW tumpukan Anda atau dalam konfigurasi hub. + Untuk ERP/BW aplikasi Anda, tumpukan SAP NetWeaver AS ABAP harus pada 7,50 SP02 atau lebih tinggi. + Untuk sistem hub (SAP Gateway), SAP NetWeaver AS ABAP dari sistem hub harus 7,50 SP01 atau lebih tinggi untuk pengaturan hub jarak jauh. + Untuk sumber non-ODP, versi NetWeaver stack SAP Anda harus 7.40 SP02 atau lebih tinggi. **Metode Otentikasi yang Didukung** Metode otentikasi berikut didukung: + Otentikasi Dasar + OAuth 2.0 # Prasyarat Sebelum memulai AWS Glue pekerjaan untuk ekstraksi data dari SAP OData menggunakan OData koneksi SAP, selesaikan prasyarat berikut: + OData Layanan SAP yang relevan harus diaktifkan dalam sistem SAP, memastikan sumber data tersedia untuk dikonsumsi. Jika OData layanan tidak diaktifkan, pekerjaan Glue tidak akan dapat mengakses atau mengekstrak data dari SAP. + Mekanisme otentikasi yang tepat seperti otentikasi dasar (kustom) atau OAuth 2.0 harus dikonfigurasi dalam SAP untuk memastikan bahwa AWS Glue pekerjaan tersebut dapat berhasil membuat koneksi dengan layanan SAP. OData + Konfigurasikan kebijakan IAM untuk memberikan izin AWS Glue pekerjaan yang sesuai untuk mengakses SAP, Secrets Manager, dan AWS sumber daya lain yang terlibat dalam proses tersebut. + Jika sistem SAP di-host dalam jaringan pribadi, konektivitas VPC harus dikonfigurasi untuk memastikan bahwa AWS Glue pekerjaan dapat berkomunikasi dengan aman dengan SAP tanpa mengekspos data sensitif melalui internet publik. AWS Secrets Manager dapat digunakan untuk menyimpan informasi sensitif dengan aman seperti kredensi SAP, yang AWS Glue pekerjaan dapat diambil secara dinamis saat runtime. Pendekatan ini menghilangkan kebutuhan akan kredensi kode keras, meningkatkan keamanan dan fleksibilitas. Prasyarat berikut memberikan step-by-step panduan tentang cara mengatur setiap komponen untuk kelancaran integrasi antara dan SAP. AWS Glue OData **Topics** + [Aktivasi SAP OData](sap-odata-activation.md) + [Kebijakan IAM](sap-odata-configuring-iam-permissions.md) + [Konektivitas/Koneksi VPC](sap-odata-connectivity-vpc-connection.md) + [Otentikasi SAP](sap-odata-authentication.md) + [AWS Secrets Manager untuk menyimpan rahasia Auth Anda](sap-odata-aws-secret-manager-auth-secret.md) # Aktivasi SAP OData Selesaikan langkah-langkah berikut untuk OData koneksi SAP: ## Sumber ODP Sebelum Anda dapat mentransfer data dari penyedia ODP, Anda harus memenuhi persyaratan berikut: + Anda memiliki instance SAP NetWeaver AS ABAP. + NetWeaver Instans SAP Anda berisi penyedia ODP yang ingin Anda transfer datanya. Penyedia ODP meliputi: + SAP DataSources (Kode RSO2 transaksi) + Layanan Data Inti SAP Tampilan CDS ABAP + Sistem SAP BW atau SAP BW/4HANA (, Objek) InfoObject DataStore + Replikasi Tabel dan tampilan DB secara real-time dari Sistem Sumber SAP melalui SAP Landscape Replication Server (SAP SLT) + Tampilan Informasi SAP HANA di Sumber berbasis SAP ABAP + NetWeaver Instans SAP Anda memiliki komponen SAP Gateway Foundation. + Anda telah membuat OData layanan yang mengekstrak data dari penyedia ODP Anda. Untuk membuat OData layanan, Anda menggunakan SAP Gateway Service Builder. Untuk mengakses data ODP Anda, Amazon AppFlow memanggil layanan ini dengan menggunakan OData API. Untuk informasi selengkapnya, lihat [Menghasilkan Layanan untuk Mengekstrak Data ODP melalui OData dokumentasi](https://help.sap.com/docs/SAP_BPC_VERSION_BW4HANA/dd104a87ab9249968e6279e61378ff66/69b481859ef34bab9cc7d449e6fff7b6.html?version=11.0) SAP BW/4HANA. + Untuk menghasilkan OData layanan berdasarkan sumber data ODP, SAP Gateway Foundation harus diinstal secara lokal di ERP/BW tumpukan Anda atau dalam konfigurasi hub. + Untuk ERP/BW aplikasi Anda, tumpukan SAP NetWeaver AS ABAP harus pada 7,50 SP02 atau lebih tinggi. + Untuk sistem hub (SAP Gateway), SAP NetWeaver AS ABAP dari sistem hub harus 7,50 SP01 atau lebih tinggi untuk pengaturan hub jarak jauh. ## Sumber Non-ODP + Versi SAP NetWeaver stack Anda harus 7.40 SP02 atau lebih tinggi. + Anda harus mengaktifkan layanan katalog untuk penemuan layanan. + **OData V2.0**: Layanan katalog OData V2.0 dapat diaktifkan di SAP Gateway Anda melalui transaksi `/IWFND/MAINT_SERVICE` + OData Layanan SAP Anda harus mendukung pagination/query opsi sisi klien seperti `$top` dan`$skip`. Itu juga harus mendukung opsi kueri sistem`$count`. + Untuk OAuth 2.0, Anda harus mengaktifkan OAuth 2.0 untuk OData layanan dan mendaftarkan OAuth klien per dokumentasi SAP dan mengatur URL pengalihan resmi sebagai berikut: + `https://.console.aws.amazon.com/gluestudio/oauth`, mengganti `` dengan wilayah tempat AWS Glue berjalan, contoh: us-east-1. + Anda harus mengaktifkan pengaturan aman untuk menghubungkan melalui HTTPS. + Anda harus memberikan otorisasi yang diperlukan bagi pengguna di SAP untuk menemukan layanan dan mengekstrak data menggunakan layanan SAP OData . Silakan merujuk ke dokumentasi keamanan yang disediakan oleh SAP. # Kebijakan IAM ## Kebijakan yang berisi operasi API untuk membuat dan menggunakan koneksi Kebijakan contoh berikut menjelaskan izin AWS IAM yang diperlukan untuk membuat dan menggunakan koneksi. Jika Anda membuat peran baru, buat kebijakan yang berisi hal-hal berikut: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:ListConnectionTypes", "glue:DescribeConnectionType", "glue:RefreshOAuth2Tokens", "glue:ListEntities", "glue:DescribeEntity" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "secretsmanager:DescribeSecret", "secretsmanager:GetSecretValue", "secretsmanager:PutSecretValue" ], "Resource": "*" } ] } ``` ------ Peran harus memberikan akses ke semua sumber daya yang digunakan oleh pekerjaan, misalnya Amazon S3. Jika Anda tidak ingin menggunakan metode di atas, gunakan kebijakan IAM terkelola berikut. + [AWSGlueServiceRole](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole)— Memberikan akses ke sumber daya yang diperlukan berbagai AWS Glue proses untuk dijalankan atas nama Anda. Sumber daya ini termasuk AWS Glue, Amazon S3, IAM, CloudWatch Log, dan Amazon. EC2 Jika Anda mengikuti konvensi penamaan untuk sumber daya yang ditentukan dalam kebijakan ini, AWS Glue proses memiliki izin yang diperlukan. Kebijakan ini biasanya dilampirkan pada peran yang ditentukan saat menentukan crawler, tugas, dan titik akhir pengembangan. + [AWSGlueConsoleFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AWSGlueConsoleFullAccess)— Memberikan akses penuh ke AWS Glue sumber daya saat identitas yang dilampirkan kebijakan menggunakan Konsol AWS Manajemen. Jika Anda mengikuti konvensi penamaan untuk sumber daya yang ditentukan dalam kebijakan ini, maka pengguna memiliki kemampuan konsol penuh. Kebijakan ini biasanya dilampirkan ke pengguna AWS Glue konsol. + [SecretsManagerReadWrite](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/SecretsManagerReadWrite)— Menyediakan read/write akses ke AWS Secrets Manager melalui AWS Management Console. Catatan: ini tidak termasuk tindakan IAM, jadi gabungkan dengan `IAMFullAccess` jika konfigurasi rotasi diperlukan. **IAM Policies/Permissions diperlukan untuk mengkonfigurasi VPC** Izin IAM berikut diperlukan saat menggunakan koneksi VPC untuk membuat Koneksi. AWS Glue Untuk detail selengkapnya, lihat [membuat kebijakan IAM untuk AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/create-service-policy.html). ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "ec2:CreateNetworkInterface", "ec2:DeleteNetworkInterface", "ec2:DescribeNetworkInterfaces" ], "Resource": [ "*" ] } ] } ``` ------ # Konektivitas/Koneksi VPC Langkah-langkah untuk Koneksi VPC: 1. Gunakan koneksi VPC yang ada atau buat koneksi baru dengan mengikuti dokumentasi Amazon [VPC](https://docs.aws.amazon.com/vpc/latest/userguide/create-vpc.html). 1. Pastikan Anda memiliki NAT Gateway yang mengarahkan lalu lintas ke internet. 1. Pilih titik akhir VPC sebagai Amazon S3 Gateway untuk membuat koneksi. 1. Aktifkan resolusi DNS dan nama host DNS untuk menggunakan Layanan DNS yang AWS disediakan. 1. Buka VPC yang dibuat dan tambahkan titik akhir yang diperlukan untuk berbagai layanan seperti STS, AWS Glue, Manajer Rahasia. 1. Pilih Buat Titik Akhir. 1. Untuk Kategori Layanan, pilih AWS Layanan. 1. Untuk Nama Layanan, pilih layanan yang Anda sambungkan. 1. Pilih VPC dan Aktifkan Nama DNS. 1. Titik Akhir VCP diperlukan untuk koneksi VPC: 1. [STS](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_sts_vpc_endpoint_create.html) 1. [AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/vpc-interface-endpoints.html) 1. [Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/vpc-endpoint-overview.html) ## Konfigurasi Grup Keamanan Grup keamanan harus mengizinkan lalu lintas ke port pendengarnya dari AWS Glue VPC AWS Glue agar dapat terhubung dengannya. Ini adalah praktik yang baik untuk membatasi jangkauan alamat IP sumber sebanyak mungkin. AWS Glue membutuhkan kelompok keamanan khusus yang memungkinkan semua lalu lintas masuk dari dirinya sendiri. Anda dapat membuat aturan referensi diri yang memungkinkan semua lalu lintas yang berasal dari grup keamanan. Anda dapat memodifikasi grup keamanan yang ada dan menentukan grup keamanan sebagai sumber. Buka komunikasi dari port HTTPS dari endpoint URL (baik NLB atau SAP instance). ## Opsi konektivitas + Koneksi HTTPS dengan NLB internal dan eksternal, sertifikat SSL dari otoritas sertifikat (CA), bukan sertifikat SSL yang ditandatangani sendiri + Koneksi HTTPS dengan sertifikat SSL instance SAP dari otoritas sertifikat (CA), bukan sertifikat SSL yang ditandatangani sendiri # Otentikasi SAP Konektor SAP mendukung Custom (ini adalah otentikasi SAP BASIC) dan metode otentikasi OAUTH. ## Otentikasi Kustom AWS Glue mendukung Custom (Basic Authentication) sebagai metode untuk membangun koneksi ke sistem SAP Anda, memungkinkan penggunaan username dan password untuk akses aman. Jenis autentikasi ini berfungsi dengan baik untuk skenario otomatisasi karena memungkinkan penggunaan nama pengguna dan kata sandi di depan dengan izin pengguna tertentu dalam instance SAP OData . AWS Glue dapat menggunakan nama pengguna dan kata sandi untuk mengautentikasi SAP OData APIs. Pada tahun AWS Glue, otorisasi dasar diimplementasikan sebagai otorisasi khusus. Untuk OData dokumentasi SAP publik untuk alur Auth Dasar, lihat [HTTP Basic](https://help.sap.com/docs/SAP_SUCCESSFACTORS_PLATFORM/d599f15995d348a1b45ba5603e2aba9b/5c8bca0af1654b05a83193b2922dcee2.html) Authentication. ## OAuth 2.0 Otentikasi AWS Glue juga mendukung OAuth 2.0 sebagai mekanisme otentikasi aman untuk membangun koneksi ke sistem SAP Anda. Ini memungkinkan integrasi tanpa batas sambil memastikan kepatuhan dengan standar otentikasi modern dan meningkatkan keamanan akses data. ## Jenis Hibah AUTHORIZATION\$1CODE Jenis hibah menentukan cara AWS Glue berkomunikasi dengan SAP OData untuk meminta akses ke data Anda. SAP hanya OData mendukung jenis `AUTHORIZATION_CODE` hibah. Jenis hibah ini dianggap “berkaki tiga” OAuth karena bergantung pada pengalihan pengguna ke server otorisasi pihak ketiga untuk mengautentikasi pengguna. Ini digunakan saat membuat koneksi melalui AWS Glue konsol. Pengguna masih dapat memilih untuk membuat aplikasi terhubung mereka sendiri di SAP OData dan memberikan ID klien dan rahasia klien mereka sendiri saat membuat koneksi melalui AWS Glue konsol. Dalam skenario ini, mereka masih akan diarahkan ke SAP untuk masuk dan memberi wewenang OData AWS Glue untuk mengakses sumber daya mereka. Jenis hibah ini menghasilkan token penyegaran dan token akses. Token akses berumur pendek, dan dapat disegarkan secara otomatis tanpa interaksi pengguna menggunakan token penyegaran. Untuk OData dokumentasi SAP publik tentang membuat aplikasi yang terhubung untuk OAuth alur Kode Otorisasi, lihat [Autentikasi](https://help.sap.com/docs/ABAP_PLATFORM_NEW/e815bb97839a4d83be6c4fca48ee5777/2e5104fd87ff452b9acb247bd02b9f9e.html) Menggunakan 2.0. OAuth # AWS Secrets Manager untuk menyimpan rahasia Auth Anda Anda harus menyimpan rahasia OData koneksi SAP di AWS Secrets Manager, mengkonfigurasi izin yang diperlukan untuk pengambilan seperti yang ditentukan di [Kebijakan IAM](sap-odata-configuring-iam-permissions.md) bagian, dan menggunakannya saat membuat koneksi. Gunakan AWS Management Console for AWS Secrets Manager untuk membuat rahasia untuk sumber SAP Anda. Untuk informasi selengkapnya, lihat [Membuat AWS rahasia Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/create_secret.html). Detail di AWS Secrets Manager harus menyertakan elemen dalam kode berikut. ## Rahasia Otentikasi Kustom Anda harus memasukkan nama pengguna sistem SAP Anda sebagai pengganti** dan kata sandinya menggantikan** dan Benar atau Salah. Dalam konteks ini, pengaturan `basicAuthDisableSSO` untuk `true` menonaktifkan Single Sign-On (SSO) untuk permintaan Otentikasi Dasar, yang memerlukan kredensi pengguna eksplisit untuk setiap permintaan. Sebaliknya, mengaturnya untuk `false` memungkinkan penggunaan sesi SSO yang ada jika tersedia. ``` { "basicAuthUsername": "", "basicAuthPassword": "", "basicAuthDisableSSO": "", "customAuthenticationType": "CustomBasicAuth" } ``` ## OAuth 2.0 Rahasia Jika Anda menggunakan OAuth 2.0 sebagai mekanisme otentikasi Anda, rahasia di AWS Secrets Manager harus memiliki **User Managed Client Application ClientId** dalam format berikut. Anda harus memasukkan rahasia klien SAP Anda sebagai pengganti. ``` {"USER_MANAGED_CLIENT_APPLICATION_CLIENT_SECRET": "" } ``` # Buat koneksi Untuk mengkonfigurasi OData koneksi SAP: 1. Masuk ke Konsol AWS Manajemen dan buka [AWS Glue konsol](https://console.aws.amazon.com/glue). Di AWS Glue Studio, buat koneksi dengan mengikuti langkah-langkah di bawah ini: 1. Klik Koneksi data di panel kiri. 1. Klik Buat koneksi. 1. Pilih **SAP OData** di **Pilih sumber data** 1. Berikan **URL host Aplikasi** dari OData instance SAP yang ingin Anda sambungkan. URL host aplikasi ini harus dapat diakses melalui internet publik untuk koneksi non VPC. 1. Sediakan **jalur layanan Aplikasi** dari OData instance SAP yang ingin Anda sambungkan. Ini sama dengan jalur layanan katalog. Misalnya:`/sap/opu/odata/iwfnd/catalogservice;v=2`. AWS Glue tidak menerima jalur objek tertentu. 1. Berikan **nomor Klien** dari OData instans SAP yang ingin Anda sambungkan. Nilai yang dapat diterima adalah [001-999]. Contoh: 010 1. Berikan **nomor Port** dari OData instans SAP yang ingin Anda sambungkan. Contoh: 443 1. Berikan **bahasa Logon** dari OData instance SAP yang ingin Anda sambungkan. Contoh: EN 1. Pilih peran AWS IAM yang AWS Glue dapat mengasumsikan dan memiliki izin seperti yang diuraikan di bagian. [Kebijakan IAM](sap-odata-configuring-iam-permissions.md) 1. Pilih **Jenis Otentikasi** yang ingin Anda gunakan untuk koneksi ini AWS Glue dari daftar dropdown: atau CUSTOM OAUTH2 1. KUSTOM - Pilih rahasia yang Anda buat seperti yang ditentukan di [AWS Secrets Manager untuk menyimpan rahasia Auth Anda](sap-odata-aws-secret-manager-auth-secret.md) bagian. 1. OAUTH 2.0 - masukkan input berikut hanya dalam kasus 2.0: OAuth 1. Di bawah **Aplikasi Klien yang Dikelola Pengguna ClientId**, masukkan id klien Anda. 1. `USER_MANAGED_CLIENT_APPLICATION_CLIENT_SECRET`(rahasia klien Anda) di AWS Secrets Manager yang Anda buat di [AWS Secrets Manager untuk menyimpan rahasia Auth Anda](sap-odata-aws-secret-manager-auth-secret.md) bagian ini. 1. Di bawah **URL Kode Otorisasi, masukkan URL** kode otorisasi Anda. 1. Di bawah **URL Token Otorisasi, masukkan URL** token otorisasi Anda. 1. Di bawah **OAuth Lingkup**, masukkan OAuth cakupan Anda yang dipisahkan oleh spasi. Contoh: `/IWFND/SG_MED_CATALOG_0002 ZAPI_SALES_ORDER_SRV_0001` 1. Pilih opsi jaringan jika Anda ingin menggunakan jaringan Anda. Untuk detail selengkapnya, lihat [Konektivitas/Koneksi VPC](sap-odata-connectivity-vpc-connection.md). 1. Berikan peran IAM yang terkait dengan izin AWS Glue pekerjaan Anda untuk membaca`secretName`. Untuk detail selengkapnya, lihat [Kebijakan IAM](sap-odata-configuring-iam-permissions.md). 1. Pilih **Uji koneksi** dan uji koneksi Anda. Jika tes koneksi lulus, klik berikutnya, masukkan nama koneksi Anda dan simpan koneksi Anda. Fungsionalitas koneksi uji tidak tersedia jika Anda telah memilih opsi Jaringan (VPC). # Membuat pekerjaan SAP OData Lihat [Membangun pekerjaan ETL visual dengan Studio AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/author-job-glue.html) # Sumber Penyediaan Data Operasional (ODP) Operational Data Provisioning (ODP) menyediakan infrastruktur teknis yang dapat Anda gunakan untuk mendukung ekstraksi dan replikasi data untuk berbagai aplikasi target dan mendukung mekanisme delta dalam skenario ini. Dalam kasus prosedur delta, data dari sumber (Penyedia ODP) secara otomatis ditulis ke antrian delta (Operational Delta Queue — ODQ) menggunakan proses pembaruan atau diteruskan ke antrian delta menggunakan antarmuka ekstraktor. Penyedia ODP dapat berupa DataSource (extractors), ABAP Core Data Services Views (ABAP CDS Views), SAP BW atau SAP BW/4HANA, SAP Landscape Transformation Replication Server (SLT), dan Tampilan Informasi SAP HANA (tampilan perhitungan). Aplikasi target (disebut sebagai 'pelanggan' ODQ atau lebih umum “Konsumen ODP”) mengambil data dari antrian delta dan melanjutkan pemrosesan data. ## Beban penuh Dalam konteks entitas SAP OData dan ODP, **Full Load** mengacu pada proses ekstraksi semua data yang tersedia dari entitas ODP dalam satu operasi. Operasi ini mengambil dataset lengkap dari sistem sumber, memastikan bahwa sistem target memiliki up-to-date salinan data entitas yang komprehensif. Beban penuh biasanya digunakan untuk sumber yang tidak mendukung beban tambahan atau ketika penyegaran sistem target diperlukan. **Contoh** Anda dapat secara eksplisit mengatur `ENABLE_CDC` bendera ke false, saat membuat. DynamicFrame Catatan: false `ENABLE_CDC` secara default, jika Anda tidak ingin menginisialisasi antrian delta, Anda tidak perlu mengirim bendera ini atau mengaturnya ke true. Tidak menyetel flag ini ke true akan menghasilkan ekstraksi beban penuh. ``` sapodata_df = glueContext.create_dynamic_frame.from_options( connection_type="SAPOData", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "entityName", "ENABLE_CDC": "false" }, transformation_ctx=key) ``` ## Beban tambahan **Beban tambahan** dalam konteks entitas ODP (Operational Data Provisioning) melibatkan penggalian hanya data baru atau yang diubah (delta) dari sistem sumber sejak ekstraksi data terakhir, menghindari pra-pemrosesan catatan yang sudah diproses. Pendekatan ini secara signifikan meningkatkan efisiensi, mengurangi volume transfer data, meningkatkan kinerja, memastikan sinkronisasi yang efisien antar sistem, dan meminimalkan waktu pemrosesan, terutama untuk kumpulan data besar yang sering berubah. # Transfer Inkremental berbasis Delta Token Untuk mengaktifkan Transfer Inkremental menggunakan Change Data Capture (CDC) untuk entitas berkemampuan ODP yang mendukungnya, ikuti langkah-langkah berikut: 1. Buat pekerjaan Transfer Inkremental dalam mode skrip. 1. Saat membuat DataFrame or Glue DynamicFrame, Anda harus melewati opsi`"ENABLE_CDC": "True"`. Opsi ini memastikan bahwa Anda akan menerima Token Delta dari SAP, yang dapat digunakan untuk pengambilan data yang diubah selanjutnya. Token delta akan hadir di baris terakhir kerangka data, di kolom DELTA\$1TOKEN. Token ini dapat digunakan sebagai opsi konektor dalam panggilan berikutnya untuk mengambil kumpulan data berikutnya secara bertahap. **Contoh** + Kami mengatur `ENABLE_CDC` bendera ke`true`, saat membuat DynamicFrame. Catatan: `ENABLE_CDC` secara `false` default, jika Anda tidak ingin menginisialisasi antrian delta, Anda tidak perlu mengirim bendera ini atau mengaturnya ke true. Tidak menyetel flag ini ke true akan menghasilkan ekstraksi beban penuh. ``` sapodata_df = glueContext.create_dynamic_frame.from_options( connection_type="SAPOData", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "entityName", "ENABLE_CDC": "true" }, transformation_ctx=key) # Extract the delta token from the last row of the DELTA_TOKEN column delta_token_1 = your_logic_to_extract_delta_token(sapodata_df) # e.g., D20241029164449_000370000 ``` + Token delta yang diekstraksi dapat diteruskan sebagai opsi untuk mengambil peristiwa baru. ``` sapodata_df_2 = glueContext.create_dynamic_frame.from_options( connection_type="SAPOData", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "entityName", // passing the delta token retrieved in the last run "DELTA_TOKEN": delta_token_1 } , transformation_ctx=key) # Extract the new delta token for the next run delta_token_2 = your_logic_to_extract_delta_token(sapodata_df_2) ``` Perhatikan bahwa catatan terakhir, di mana `DELTA_TOKEN` ada, bukan catatan transaksional dari sumber, dan hanya ada untuk tujuan meneruskan nilai token delta. Terlepas dari`DELTA_TOKEN`, bidang berikut dikembalikan di setiap baris kerangka data. + **GLUE\$1FETCH\$1SQ**: Ini adalah bidang urutan, yang dihasilkan dari stempel waktu EPOC dalam urutan catatan diterima, dan unik untuk setiap catatan. Ini dapat digunakan jika Anda perlu mengetahui atau menetapkan urutan perubahan dalam sistem sumber. Bidang ini hanya akan hadir untuk entitas yang diaktifkan ODP. + **DML\$1STATUS**: Ini akan ditampilkan `UPDATED` untuk semua catatan yang baru dimasukkan dan diperbarui dari sumber, dan `DELETED` untuk catatan yang telah dihapus dari sumber. Untuk detail selengkapnya tentang cara mengelola status dan menggunakan kembali token delta untuk mengambil catatan yang diubah melalui contoh, lihat bagian tersebut. [Menggunakan skrip manajemen OData status SAP](sap-odata-state-management-script.md) ## Pembatalan Token Delta Token delta dikaitkan dengan koleksi layanan dan pengguna. Jika penarikan awal baru dimulai untuk koleksi layanan yang sama dan pengguna, semua token delta sebelumnya yang dikeluarkan sebagai hasil dari inisialisasi sebelumnya akan dibatalkan oleh layanan SAP. `“ENABLE_CDC” : “true”` OData Memanggil konektor dengan token delta yang kedaluwarsa akan menghasilkan pengecualian: `Could not open data access via extraction API RODPS_REPL_ODP_OPEN` # OData Layanan (Sumber Non-ODP) ## Beban penuh Untuk sistem non-ODP (Operational Data Provisioning), **Full Load** melibatkan ekstraksi seluruh dataset dari sistem sumber dan memuatnya ke dalam sistem target. Karena sistem non-ODP tidak secara inheren mendukung mekanisme ekstraksi data canggih seperti delta, prosesnya mudah tetapi dapat intensif sumber daya tergantung pada ukuran data. ## Beban tambahan Untuk sistem atau entitas yang tidak mendukung **ODP (Operational Data Provisioning)**, transfer data inkremental dapat dikelola secara manual dengan menerapkan mekanisme berbasis stempel waktu untuk melacak dan mengekstrak perubahan. **Transfer Inkremental Berbasis Timestamp** Untuk entitas berkemampuan non-ODP (atau untuk entitas yang diaktifkan ODP yang tidak menggunakan flag ENABLE\$1CDC), kita dapat menggunakan `filteringExpression` opsi di konektor untuk menunjukkan `datetime` interval yang ingin kita ambil data. Metode ini bergantung pada bidang stempel waktu dalam data Anda yang mewakili kapan setiap catatan terakhir dibuat/dimodifikasi. **Contoh** Mengambil catatan yang berubah setelah 2024-01-01T 00:00:00.000 ``` sapodata_df = glueContext.create_dynamic_frame.from_options( connection_type="SAPOData", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "entityName", "filteringExpression": "LastChangeDateTime >= 2024-01-01T00:00:00.000" }, transformation_ctx=key) ``` Catatan: Dalam contoh ini, `LastChangeDateTime` adalah bidang yang mewakili kapan setiap rekaman terakhir diubah. Nama bidang yang sebenarnya dapat bervariasi tergantung pada OData entitas SAP spesifik Anda. Untuk mendapatkan subset data baru dalam proses berikutnya, Anda akan memperbarui `filteringExpression` dengan stempel waktu baru. Biasanya, ini akan menjadi nilai stempel waktu maksimum dari data yang diambil sebelumnya. **Contoh** ``` max_timestamp = get_max_timestamp(sapodata_df) # Function to get the max timestamp from the previous run next_filtering_expression = f"LastChangeDateTime > {max_timestamp}" # Use this next_filtering_expression in your next run ``` Di bagian selanjutnya, kami akan memberikan pendekatan otomatis untuk mengelola transfer inkremental berbasis stempel waktu ini, menghilangkan kebutuhan untuk memperbarui ekspresi pemfilteran secara manual di antara proses. # Menulis ke SAP OData Bagian ini menjelaskan cara menulis data ke OData Layanan SAP Anda menggunakan AWS Glue konektor untuk SAP OData. **Prasyarat** + Akses ke layanan SAP OData + OData EntitySet Objek SAP yang ingin Anda tulis. Anda akan membutuhkan nama Object. + OData Kredensi SAP yang valid dan koneksi yang valid + Izin yang sesuai seperti yang dijelaskan dalam kebijakan [IAM](https://docs.aws.amazon.com/glue/latest/dg/sap-odata-configuring-iam-permissions.html) OData Konektor SAP mendukung dua operasi tulis: + INSERT + UPDATE Saat menggunakan operasi tulis UPDATE, ID\$1FIELD\$1NAMES harus disediakan untuk menentukan bidang ID eksternal untuk catatan. **Contoh:** ``` sapodata_write = glueContext.write_dynamic_frame.from_options( frame=frameToWrite, connection_type="sapodata", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "entityName", "WRITE_OPERATION": "INSERT" } ``` # Menggunakan skrip manajemen OData status SAP Untuk menggunakan skrip manajemen OData status SAP dalam AWS Glue pekerjaan Anda, ikuti langkah-langkah ini: + Unduh skrip manajemen negara: `s3://aws-blogs-artifacts-public/artifacts/BDB-4789/sap_odata_state_management.zip ` dari ember Amazon S3 publik. + Unggah skrip ke bucket Amazon S3 yang memiliki izin untuk diakses oleh AWS Glue pekerjaan Anda. + Referensikan skrip dalam AWS Glue pekerjaan Anda: Saat membuat atau memperbarui AWS Glue pekerjaan Anda, berikan `'--extra-py-files'` opsi yang mereferensikan jalur skrip di bucket Amazon S3 Anda. Misalnya: `--extra-py-files s3://your-bucket/path/to/sap_odata_state_management.py` + Impor dan gunakan pustaka manajemen negara bagian dalam skrip AWS Glue pekerjaan Anda. ## Contoh Transfer Inkremental berbasis delta-token Berikut adalah contoh cara menggunakan skrip manajemen status untuk transfer inkremental berbasis delta-token: ``` from sap_odata_state_management import StateManagerFactory, StateManagerType, StateType # Initialize the state manager state_manager = StateManagerFactory.create_manager( manager_type=StateManagerType.JOB_TAG, state_type=StateType.DELTA_TOKEN, options={ "job_name": args['JOB_NAME'], "logger": logger } ) # Get connector options (including delta token if available) key = "SAPODataNode" connector_options = state_manager.get_connector_options(key) # Use the connector options in your Glue job df = glueContext.create_dynamic_frame.from_options( connection_type="SAPOData", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "entityName", "ENABLE_CDC": "true", **connector_options } ) # Process your data here... # Update the state after processing state_manager.update_state(key, sapodata_df.toDF()) ``` ## Contoh Transfer Inkremental berbasis stempel waktu Berikut adalah contoh cara menggunakan skrip manajemen status untuk transfer inkremental berbasis delta-token: ``` from sap_odata_state_management import StateManagerFactory, StateManagerType, StateType # Initialize the state manager state_manager = StateManagerFactory.create_manager( manager_type=StateManagerType.JOB_TAG, state_type=StateType.DELTA_TOKEN, options={ "job_name": args['JOB_NAME'], "logger": logger } ) # Get connector options (including delta token if available) key = "SAPODataNode" connector_options = state_manager.get_connector_options(key) # Use the connector options in your Glue job df = glueContext.create_dynamic_frame.from_options( connection_type="SAPOData", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "entityName", "ENABLE_CDC": "true", **connector_options } ) # Process your data here... # Update the state after processing state_manager.update_state(key, sapodata_df.toDF()) ``` Dalam kedua contoh, skrip manajemen status menangani kompleksitas penyimpanan status (baik token delta atau stempel waktu) di antara job run. Ini secara otomatis mengambil status tahu terakhir saat mendapatkan opsi konektor dan memperbarui status setelah diproses, memastikan setiap pekerjaan berjalan hanya memproses data baru atau yang diubah. # Partisi untuk entitas Non ODP Dalam Apache Spark, partisi mengacu pada cara data dibagi dan didistribusikan di seluruh node pekerja dalam cluster untuk pemrosesan paralel. Setiap partisi adalah potongan data logis yang dapat diproses secara independen oleh suatu tugas. Partisi adalah konsep dasar dalam Spark yang secara langsung berdampak pada kinerja, skalabilitas, dan pemanfaatan sumber daya. AWS Glue pekerjaan menggunakan mekanisme partisi Spark untuk membagi dataset menjadi potongan-potongan kecil (partisi) yang dapat diproses secara paralel di seluruh node pekerja cluster. Perhatikan bahwa partisi tidak berlaku untuk entitas ODP. Untuk detail selengkapnya, lihat [AWS Glue Spark dan PySpark lowongan kerja](https://docs.aws.amazon.com/glue/latest/dg/spark_and_pyspark.html). **Prasyarat** Objek SAP OData yang ingin Anda baca. Anda akan membutuhkan object/EntitySet nama. Sebagai contoh: ` /sap/opu/odata/sap/API_SALES_ORDER_SRV/A_SalesOrder `. **Contoh** ``` sapodata_read = glueContext.create_dynamic_frame.from_options( connection_type="SAPOData", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "/sap/opu/odata/sap/API_SALES_ORDER_SRV/A_SalesOrder" }, transformation_ctx=key) ``` ## Mempartisi Kueri ### Partisi Berbasis Lapangan Anda dapat memberikan opsi Spark tambahan`PARTITION_FIELD`,, `LOWER_BOUND``UPPER_BOUND`, dan `NUM_PARTITIONS` jika Anda ingin memanfaatkan konkurensi di Spark. Dengan parameter ini, kueri asli akan dibagi menjadi `NUM_PARTITIONS` sejumlah sub-kueri yang dapat dijalankan oleh tugas Spark secara bersamaan. Integer, Tanggal dan DateTime bidang mendukung partisi berbasis lapangan di konektor SAP. OData + `PARTITION_FIELD`: nama bidang yang akan digunakan untuk mempartisi kueri. + `LOWER_BOUND`: nilai batas bawah inklusif dari bidang partisi yang dipilih. Untuk bidang apa pun yang tipe datanya DateTime, format stempel waktu Spark yang digunakan dalam kueri Spark SQL diterima. Contoh nilai yang valid: `"2000-01-01T00:00:00.000Z"` + `UPPER_BOUND`: nilai batas atas eksklusif dari bidang partisi yang dipilih. + `NUM_PARTITIONS`: jumlah partisi. + `PARTITION_BY`: jenis partisi yang akan dilakukan, `FIELD` yang akan diteruskan dalam kasus partisi berbasis Bidang. **Contoh** ``` sapodata= glueContext.create_dynamic_frame.from_options( connection_type="sapodata", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "/sap/opu/odata/sap/SEPM_HCM_SCENARIO_SRV/EmployeeSet", "PARTITION_FIELD": "validStartDate" "LOWER_BOUND": "2000-01-01T00:00:00.000Z" "UPPER_BOUND": "2020-01-01T00:00:00.000Z" "NUM_PARTITIONS": "10", "PARTITION_BY": "FIELD" }, transformation_ctx=key) ``` ### Partisi Berbasis Rekam Kueri asli akan dibagi menjadi `NUM_PARTITIONS` sejumlah sub-kueri yang dapat dijalankan oleh tugas Spark secara bersamaan. Partisi berbasis rekaman hanya didukung untuk entitas non-ODP, karena pagination dalam entitas ODP didukung melalui token berikutnya. token/skip + `PARTITION_BY`: jenis partisi yang akan dilakukan. `COUNT`harus diteruskan dalam kasus partisi berbasis catatan. **Contoh** ``` sapodata= glueContext.create_dynamic_frame.from_options( connection_type="sapodata", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "/sap/opu/odata/sap/SEPM_HCM_SCENARIO_SRV/EmployeeSet", "NUM_PARTITIONS": "10", "PARTITION_BY": "COUNT" }, transformation_ctx=key) ``` # Batasan/Callout + Entitas ODP tidak kompatibel dengan Partisi Berbasis Rekaman karena pagination ditangani menggunakan token lewati. token/delta Akibatnya, untuk Record Based Partitioning, nilai default untuk MaxConcurrency diatur ke “null” terlepas dari input pengguna. + Ketika batas dan partisi diterapkan, batas lebih diutamakan daripada partisi. # Opsi OData koneksi SAP Berikut ini adalah opsi koneksi untuk SAP OData: + `ENTITY_NAME`(String) - (Diperlukan) Digunakan untuk Baca. Nama objek Anda di SAP OData. Misalnya:/sap/opu/odata/sap/API\$1SALES\$1ORDER\$1SRV/A\$1 SalesOrder + `API_VERSION`(String) - (Opsional) Digunakan untuk Baca. Versi SAP OData Rest API yang ingin Anda gunakan. Contoh: 2.0. + `SELECTED_FIELDS`(Daftar) - Default: kosong (SELECT \$1). Digunakan untuk Baca. Kolom yang ingin Anda pilih untuk objek. Sebagai contoh: SalesOrder + `FILTER_PREDICATE`(String) - Default: kosong. Digunakan untuk Baca. Itu harus dalam format Spark SQL. Misalnya: `SalesOrder = "10"` + `QUERY`(String) - Default: kosong. Digunakan untuk Baca. Kueri SQL Spark penuh. Misalnya: `SELECT * FROM /sap/opu/odata/sap/API_SALES_ORDER_SRV/A_SalesOrder` + `PARTITION_FIELD`(String) - Digunakan untuk Baca. Bidang yang akan digunakan untuk mempartisi kueri. Misalnya: `ValidStartDate` + `LOWER_BOUND`(String) - Digunakan untuk Baca. Nilai batas bawah inklusif dari bidang partisi yang dipilih. Misalnya: `"2000-01-01T00:00:00.000Z"` + `UPPER_BOUND`(String) - Digunakan untuk Baca. Nilai batas atas eksklusif dari bidang partisi yang dipilih. Misalnya: `"2024-01-01T00:00:00.000Z"` + `NUM_PARTITIONS`(Integer) - Default: 1. Digunakan untuk Baca. Jumlah partisi untuk dibaca. + `INSTANCE_URL`(String) - URL host aplikasi contoh SAP. Misalnya: `https://example-externaldata.sierra.aws.dev` + `SERVICE_PATH`(String) - Jalur layanan aplikasi contoh SAP. Misalnya: `/sap/opu/odata/iwfnd/catalogservice;v=2` + `CLIENT_NUMBER`(String) - Nomor klien aplikasi contoh SAP. Sebagai contoh: 100 + `PORT_NUMBER`(String) - Default: Nomor port aplikasi contoh SAP. Misalnya: 443 + `LOGON_LANGUAGE`(String) - Bahasa logon aplikasi contoh SAP. Misalnya: `EN` + `ENABLE_CDC`(String) - Mendefinisikan apakah akan menjalankan pekerjaan dengan CDC diaktifkan, yaitu, dengan perubahan trek. Misalnya: `True/False` + `DELTA_TOKEN`(String) - Menjalankan penarikan data tambahan berdasarkan Delta Token valid yang disediakan. Misalnya: `D20241107043437_000463000` + `PAGE_SIZE`(Integer) - Mendefinisikan ukuran halaman untuk menanyakan catatan. Ukuran halaman default adalah 50.000. Ketika ukuran halaman ditentukan, SAP hanya mengembalikan jumlah catatan yang ditentukan per panggilan API, bukan seluruh kumpulan data. Konektor masih akan memberikan jumlah total catatan dan menangani pagination menggunakan ukuran halaman yang Anda tentukan. Jika Anda memerlukan ukuran halaman yang lebih besar, Anda dapat memilih nilai apa pun hingga 500.000, yang merupakan maksimum yang diizinkan. Setiap ukuran halaman yang ditentukan melebihi 500.000 akan diabaikan. Sebagai gantinya, sistem akan menggunakan ukuran halaman maksimum yang diizinkan. Anda dapat menentukan ukuran halaman di AWS Glue Studio UI dengan menambahkan opsi koneksi `PAGE_SIZE` dengan nilai yang Anda inginkan. Misalnya: `20000` # OData Entitas SAP dan detail bidang [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/sap-odata-entity-field-details.html)