` nilai dalam contoh berikut dengan nilai sumber daya Anda:bucket=
account=
region=
Anda akan membuat referensi ke bucket Amazon S3 Anda, Akun AWS, dan Wilayah AWS yang lebih baru.
Untuk menentukan variabel lingkungan, buka [CloudShell konsol](https://console.aws.amazon.com/cloudshell/), lalu salin dan tempel variabel lingkungan Anda yang diperbarui ke baris perintah.Anda harus mengulangi langkah ini setiap kali CloudShell sesi dimulai ulang. | AWS Umum |
| Buat folder yang berfungsi. | Untuk menyederhanakan proses pembersihan sumber daya nanti, buat folder kerja CloudShell dengan menjalankan perintah berikut:mkdir workdir; cd workdir
Anda harus mengubah direktori ke direktori kerja (`workdir`) setiap kali Anda kehilangan koneksi ke CloudShell sesi Anda. | AWS Umum |
### Mendefinisikan peran dan kebijakan IAM
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
| --- | --- | --- |
| Buat kebijakan kepercayaan untuk fungsi Lambda. | Konverter EBCDIC berjalan dalam fungsi Lambda. Fungsi tersebut harus memiliki peran IAM. Sebelum Anda membuat peran IAM, Anda harus menentukan dokumen kebijakan kepercayaan yang memungkinkan sumber daya untuk mengambil kebijakan tersebut.
Dari folder CloudShell kerja, buat dokumen kebijakan dengan menjalankan perintah berikut:E2ATrustPol=$(cat <{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "lambda.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json
| AWS Umum |
| Buat peran IAM untuk konversi Lambda. | Untuk membuat peran IAM, jalankan AWS CLI perintah berikut dari folder CloudShell kerja:aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json
| AWS Umum |
| Buat dokumen kebijakan IAM untuk fungsi Lambda. | Fungsi Lambda harus memiliki akses baca-tulis ke bucket Amazon S3 dan izin tulis untuk Amazon Log. CloudWatch
Untuk membuat kebijakan IAM, jalankan perintah berikut dari folder CloudShell kerja:E2APolicy=$(cat <{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Logs",
"Effect": "Allow",
"Action": [
"logs:PutLogEvents",
"logs:CreateLogStream",
"logs:CreateLogGroup"
],
"Resource": [
"arn:aws:logs:*:*:log-group:*",
"arn:aws:logs:*:*:log-group:*:log-stream:*"
]
},
{
"Sid": "S3",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:GetObjectVersion"
],
"Resource": [
"arn:aws:s3:::%s/*",
"arn:aws:s3:::%s"
]
}
]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json
| AWS Umum |
| Lampirkan dokumen kebijakan IAM ke peran IAM. | Untuk melampirkan kebijakan IAM ke peran IAM, masukkan perintah berikut dari folder CloudShell kerja Anda:aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json
| AWS Umum |
### Buat fungsi Lambda untuk konversi EBCDIC
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
| --- | --- | --- |
| Unduh kode sumber konversi EBCDIC. | Dari folder CloudShell kerja, jalankan perintah berikut untuk mengunduh kode mainframe-data-utilities sumber dari GitHub:git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu
| AWS Umum |
| Buat paket ZIP. | Dari folder CloudShell kerja, masukkan perintah berikut untuk membuat paket ZIP yang membuat fungsi Lambda untuk konversi EBCDIC:cd mdu; zip ../mdu.zip *.py; cd ..
| AWS Umum |
| Buat fungsi Lambda. | Dari folder CloudShell kerja, masukkan perintah berikut untuk membuat fungsi Lambda untuk konversi EBCDIC:aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"
Tata letak variabel lingkungan memberi tahu fungsi Lambda tempat metadata JSON berada. | AWS Umum |
| Buat kebijakan berbasis sumber daya untuk fungsi Lambda. | Dari folder CloudShell kerja, masukkan perintah berikut untuk mengizinkan pemberitahuan peristiwa Amazon S3 Anda memicu fungsi Lambda untuk konversi EBCDIC:aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1
| AWS Umum |
### Buat notifikasi acara Amazon S3
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
| --- | --- | --- |
| Buat dokumen konfigurasi untuk notifikasi acara Amazon S3. | Pemberitahuan peristiwa Amazon S3 memulai fungsi Lambda konversi EBCDIC saat file ditempatkan di folder input.
Dari folder CloudShell kerja, jalankan perintah berikut untuk membuat dokumen JSON untuk pemberitahuan acara Amazon S3:S3E2AEvent=$(cat <{
"LambdaFunctionConfigurations": [
{
"Id": "E2A",
"LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
"Events": [ "s3:ObjectCreated:Put" ],
"Filter": {
"Key": {
"FilterRules": [
{
"Name": "prefix",
"Value": "input/"
}
]
}
}
}
]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json
| AWS Umum |
| Buat notifikasi acara Amazon S3. | Dari folder CloudShell kerja, masukkan perintah berikut untuk membuat pemberitahuan acara Amazon S3:aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json
| AWS Umum |
### Buat dan unggah metadata JSON
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
| --- | --- | --- |
| Mengurai copybook COBOL. | Dari folder CloudShell kerja, masukkan perintah berikut untuk mengurai contoh copybook COBOL ke dalam file JSON (yang mendefinisikan cara membaca dan mengiris file data dengan benar):python3 mdu/parse_copybook_to_json.py \
-copybook mdu/LegacyReference/COBKS05.cpy \
-output CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type s3 \
-print 25
| AWS Umum |
| Tambahkan aturan transformasi. | File data sampel dan copybook COBOL yang sesuai adalah file multi-tata letak. Ini berarti bahwa konversi harus mengiris data berdasarkan aturan tertentu. Dalam hal ini, byte pada posisi 3 dan 4 di setiap baris menentukan tata letak.
Dari folder CloudShell kerja, edit `CLIENT.json` file dan ubah konten dari `"transf-rule": [],` yang berikut:"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],
| AWS Umum, IBM Mainframe, Cobol |
| Unggah metadata JSON ke bucket Amazon S3. | Dari folder CloudShell kerja, masukkan AWS CLI perintah berikut untuk mengunggah metadata JSON ke bucket Amazon S3 Anda:aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json
| AWS Umum |
### Konversikan file EBCDIC
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
| --- | --- | --- |
| Kirim file EBCDIC ke bucket Amazon S3. | Dari folder CloudShell kerja, masukkan perintah berikut untuk mengirim file EBCDIC ke bucket Amazon S3:aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/
Kami menyarankan Anda mengatur folder yang berbeda untuk file input (EBCDIC) dan output (ASCII) agar tidak memanggil fungsi konversi Lambda lagi saat file ASCII diunggah ke bucket Amazon S3. | AWS Umum |
| Periksa outputnya. | Dari folder CloudShell kerja, masukkan perintah berikut untuk memeriksa apakah file ASCII dihasilkan di bucket Amazon S3 Anda:aws s3 ls s3://$bucket/
Konversi data dapat memakan waktu beberapa detik untuk terjadi. Kami menyarankan Anda memeriksa file ASCII beberapa kali.
Setelah file ASCII tersedia, masukkan perintah berikut untuk melihat konten file yang dikonversi di bucket Amazon S3. Sesuai kebutuhan, Anda dapat mengunduhnya atau menggunakannya langsung dari bucket Amazon S3:aws s3 cp s3://$bucket/CLIENT.ASCII.txt - | head
Periksa konten file ASCII:0|0|220|
1|1|HERBERT MOHAMED|1958-08-31|BACHELOR|0010000.00|
1|2|36|THE ROE AVENUE|
2|1|JAYLEN GEORGE|1969-05-29|ELEMENTARY|0020000.00|
2|2|365|HEATHFIELD ESPLANADE|
3|1|MIKAEEL WEBER|1982-02-17|MASTER|0030000.00|
3|2|4555|MORRISON STRAND|
4|1|APRIL BARRERA|1967-01-12|DOCTOR|0030000.00|
4|2|1311|MARMION PARK|
5|1|ALEEZA PLANT|1985-03-01|BACHELOR|0008000.00|
| AWS Umum |
### Bersihkan lingkungan
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
| --- | --- | --- |
| (Opsional) Siapkan variabel dan folder. | Jika Anda kehilangan koneksi dengan CloudShell, sambungkan kembali dan kemudian masukkan perintah berikut untuk mengubah direktori ke folder kerja:cd workdir
Pastikan bahwa variabel lingkungan didefinisikan:bucket=
account=
region=
| AWS Umum |
| Hapus konfigurasi notifikasi untuk bucket. | Dari folder CloudShell kerja, jalankan perintah berikut untuk menghapus konfigurasi pemberitahuan acara Amazon S3:aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"
| AWS Umum |
| Hapus fungsi Lambda. | Dari folder CloudShell kerja, masukkan perintah berikut untuk menghapus fungsi Lambda untuk konverter EBCDIC:aws lambda delete-function \
--function-name E2A
| AWS Umum |
| Hapus peran dan kebijakan IAM. | Dari folder CloudShell kerja, masukkan perintah berikut untuk menghapus peran dan kebijakan konverter EBCDIC:aws iam delete-role-policy \
--role-name E2AConvLambdaRole \
--policy-name E2AConvLambdaPolicy
aws iam delete-role \
--role-name E2AConvLambdaRole
| AWS Umum |
| Hapus file yang dihasilkan di bucket Amazon S3. | Dari folder CloudShell kerja, masukkan perintah berikut untuk menghapus file yang dihasilkan di bucket Amazon S3:aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt
| AWS Umum |
| Hapus folder kerja. | Dari folder CloudShell kerja, masukkan perintah berikut untuk menghapus `workdir` dan isinya:cd ..; rm -Rf workdir
| AWS Umum |
## Sumber daya terkait
+ [Utilitas Data Mainframe README](https://github.com/aws-samples/mainframe-data-utilities/blob/main/README.md) () GitHub
+ [Set karakter EBCDIC (dokumentasi](https://www.ibm.com/docs/en/zos-basic-skills?topic=mainframe-ebcdic-character-set) IBM)
+ [EBCDIC ke ASCII (dokumentasi IBM](https://www.ibm.com/docs/en/iis/11.7.0?topic=tables-ebcdic-ascii))
+ [COBOL](https://www.ibm.com/docs/en/i/7.6.0?topic=languages-cobol) (dokumentasi IBM)
+ [Menggunakan pemicu Amazon S3 untuk menjalankan fungsi Lambda](https://docs.aws.amazon.com/lambda/latest/dg/with-s3-example.html) (dokumentasi)AWS Lambda