Desain dan Pengembangan ETL Pipeline dengan Menggunakan Apache Nifi dan Python

Kenshian, Jovanko (2022) Desain dan Pengembangan ETL Pipeline dengan Menggunakan Apache Nifi dan Python. Internship thesis, Universitas Multimedia Nusantara.

Preview	PDF HALAMAN_AWAL.pdf Download (541kB) | Preview
Preview	PDF DAFTAR_PUSTAKA.pdf Download (136kB) | Preview
Preview	PDF BAB_I.pdf Download (81kB) | Preview
Preview	PDF BAB_II.pdf Download (385kB) | Preview
Preview	PDF BAB_III.pdf Download (195kB) | Preview
	PDF BAB_IV.pdf Restricted to Registered users only Download (571kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (2MB)

Abstract

Laporan kerja magang ini berisi tentang informasi mengenai tugas kerja penulis pada PT Emporia Digital Raya. Tugas utama yang diberikan oleh penulis adalah membuat ETL Pipeline dengan menggunakan Apache NiFi untuk mencatat data pengguna dari berbagai database aplikasi IKI ke dalam Data Staging. Data yang dimasukkan dipastikan unik berdasarkan nama, email, dan nomor telepon pengguna, agar perusahaan dapat mengetahui aplikasi apa saja yang sudah terdaftar dengan nama, email, dan nomor telepon pengguna tersebut. Penulis juga membuat tabel-tabel pada database yang akan digunakan untuk memuat data dari berbagai macam database aplikasi IKI. Penulis juga diberikan tugas untuk melakukan pengembangan pada script ETL Pipeline yang digunakan untuk memindahkan data mitra ke data warehouse. Penulis menerapkan algoritma Levenshtein Distance untuk mendapatkan nilai kota, provinsi, kecamatan, dan kelurahan yang sesuai. Penulis juga melakukan maintanance dengan mengubah akun pengguna yang menjalankan cron dari karyawan menjadi akun tersendiri.

Item Type:	Thesis (Internship)
Keywords:	Apache NiFi, Data Warehouse, ETL Pipeline
Subjects:	000 Computer Science, Information and General Works > 000 Computer Science, Knowledge and Systems > 005 Computer Programming > 005.2 Programming for Specific Computers, Algorithm, HTML, PHP, java, C++
Divisions:	Faculty of Engineering & Informatics > Computer Engineering
SWORD Depositor:	Administrator UMN Library
Depositing User:	Administrator UMN Library
Date Deposited:	20 Jul 2022 08:51
Last Modified:	29 May 2023 08:16
URI:	https://kc.umn.ac.id/id/eprint/22748

Actions (login required)

View Item