ETL Adalah: Pengertian, Bedanya dengan ELT, dan Contoh Pipeline

ETL adalah singkatan dari Extract, Transform, Load: proses mengambil data dari berbagai aplikasi (extract), merapikannya (transform), lalu memuatnya ke satu tempat penyimpanan seperti data warehouse (load). Hasilnya, data dari software akuntansi, CRM, dan spreadsheet bisa dibaca bersama di satu dashboard, tanpa ada yang menggabungkannya manual setiap bulan.

Kalau tim Anda masih export CSV dari beberapa aplikasi, lalu menyalinnya ke satu file Excel besar untuk laporan, sebenarnya Anda sudah menjalankan ETL. Bedanya, masih dikerjakan tangan. Artikel ini menjelaskan cara kerja ETL, bedanya dengan ELT, contoh pipeline yang realistis, dan cara memulainya dari skala kecil.

Tiga tahap ETL

1. Extract (ambil). Data diambil dari sumbernya. Sumbernya bisa berupa database aplikasi, API (jalur komunikasi yang disediakan aplikasi untuk bertukar data), file CSV atau Excel, atau Google Sheets. Di tahap ini tantangannya biasanya teknis: batas jumlah request API, data yang hanya bisa di-export manual, atau akses yang harus diminta ke vendor.

2. Transform (rapikan). Data mentah jarang langsung siap pakai. Beberapa contoh pekerjaan transform:

  • Menyamakan format tanggal dan mata uang.
  • Mencocokkan kode produk yang berbeda antar sistem.
  • Menggabungkan pelanggan yang tercatat dobel dengan ejaan berbeda.
  • Menghitung kolom baru, misalnya margin atau umur piutang.
  • Membuang baris uji coba atau transaksi yang dibatalkan.

3. Load (muat). Data yang sudah rapi disimpan di tujuan akhirnya, biasanya data warehouse. Dari sana, dashboard dan laporan membaca datanya.

ETL vs ELT: apa bedanya?

Urutan hurufnya menunjukkan urutan kerjanya.

ETL ELT
Urutan Ambil, rapikan, baru muat Ambil, muat mentah, rapikan di dalam warehouse
Tempat transformasi Di server atau tool terpisah sebelum masuk warehouse Di dalam warehouse, biasanya dengan SQL
Data mentah tersimpan? Biasanya tidak Ya, bisa diolah ulang kapan saja
Cocok untuk Data sensitif yang harus disaring dulu, warehouse kecil Warehouse cloud seperti BigQuery atau Snowflake

Dulu ETL lebih umum karena kapasitas warehouse mahal dan terbatas. Sekarang, dengan warehouse cloud yang murah untuk menyimpan data, banyak tim memilih ELT: muat semua data mentah dulu, lalu olah di dalam warehouse. Keuntungannya, kalau aturan transformasi berubah, Anda tinggal menjalankan ulang tanpa perlu menarik data lagi dari sumber.

Dalam percakapan sehari-hari, orang sering menyebut keduanya “ETL” saja. Yang penting Anda paham di mana data dirapikan.

Contoh pipeline: ERP + CRM + spreadsheet ke dashboard

Misalnya sebuah distributor ingin dashboard performa penjualan per sales dan per cabang. Datanya ada di tiga tempat:

  • ERP atau software akuntansi: invoice, pembayaran, retur.
  • CRM: data leads, kunjungan sales, dan pipeline deal.
  • Google Sheets: target bulanan per sales yang diisi manajer.

Pipeline-nya bisa disusun seperti ini:

  1. Setiap malam jam 01.00, pipeline menarik invoice dan pembayaran hari sebelumnya dari ERP lewat API.
  2. Di waktu yang sama, data deal dan aktivitas sales ditarik dari CRM.
  3. Sheet target dibaca dan dicek: apakah semua sales punya target bulan ini?
  4. Semua data dimuat mentah ke warehouse, misalnya BigQuery atau PostgreSQL.
  5. Transformasi dijalankan: nama sales di ERP dicocokkan dengan nama di CRM, invoice yang batal dibuang, lalu dibuat tabel ringkasan “penjualan vs target per sales per bulan”.
  6. Dashboard membaca tabel ringkasan tersebut. Pagi hari, manajer membuka dashboard dan angkanya sudah ter-update.

Tahap 5 sering jadi bagian paling makan waktu saat membangun pipeline, karena di sinilah ketidakcocokan antar sistem muncul. Misalnya satu sales tercatat “Budi S.” di CRM dan “Budi Santoso” di ERP. Membuat tabel pemetaan sederhana biasanya menyelesaikan masalah seperti ini.

Penjadwalan: seberapa sering pipeline jalan?

Tidak semua data perlu real-time. Tentukan frekuensi berdasarkan kapan data benar-benar dipakai:

  • Harian (malam hari): cukup untuk sebagian besar laporan penjualan dan keuangan. Beban ke aplikasi sumber juga rendah karena berjalan saat sepi.
  • Per jam: untuk data operasional seperti stok atau pesanan masuk yang dipantau sepanjang hari.
  • Hampir real-time: hanya kalau memang ada keputusan yang harus diambil dalam hitungan menit. Biayanya dan kerumitannya jauh lebih tinggi.

Semakin sering pipeline jalan, semakin banyak request ke aplikasi sumber dan semakin besar peluang terkena batas API. Mulai dari harian, lalu percepat hanya kalau ada kebutuhan nyata.

Cek kualitas data

Pipeline yang berjalan tanpa error belum tentu datanya benar. Tambahkan pengecekan sederhana setelah setiap proses:

  • Jumlah baris: apakah jumlah invoice hari ini masuk akal? Kalau biasanya 200 dan hari ini 0, kemungkinan ada yang salah.
  • Kolom wajib: tidak boleh ada invoice tanpa nomor, tanggal, atau nominal.
  • Duplikat: satu nomor invoice hanya boleh muncul sekali.
  • Rekonsiliasi: total omzet di warehouse dicocokkan dengan total di laporan ERP.
  • Kesegaran data: kapan terakhir data berhasil masuk? Kalau sudah lebih dari sehari, kirim peringatan.

Kalau salah satu cek gagal, kirim notifikasi ke email atau chat tim. Lebih baik dashboard menampilkan peringatan daripada menampilkan angka yang salah dengan percaya diri.

Tools untuk ETL

Pilihan tool bergantung pada volume data dan kemampuan tim Anda:

  • n8n: tool otomatisasi workflow yang juga bisa dipakai untuk ETL ringan. Cocok kalau datanya tidak terlalu besar dan Anda sudah memakai n8n untuk otomatisasi lain.
  • Airbyte: platform open source khusus memindahkan data, dengan ratusan konektor siap pakai ke berbagai aplikasi dan warehouse. Bisa di-self-host atau dipakai versi cloud-nya.
  • dbt: tool untuk tahap transform di dalam warehouse. Anda menulis transformasi dalam SQL, dan dbt menyediakan fitur tes data (misalnya memastikan kolom tidak kosong atau nilainya unik) serta dokumentasi otomatis. dbt Core bersifat open source.
  • Script (Python atau SQL): pilihan paling fleksibel untuk sumber data yang tidak umum, dijalankan terjadwal dengan cron atau scheduler lain. Kekurangannya, perawatan sepenuhnya di tangan Anda.

Kombinasi yang cukup umum: Airbyte atau n8n untuk extract dan load, dbt untuk transform, lalu dashboard membaca hasilnya.

Cara mulai dari yang kecil

  1. Pilih satu laporan yang paling sering dibuat manual dan paling banyak memakan waktu.
  2. Daftar sumber datanya, lalu cek apakah masing-masing punya API atau fitur export otomatis.
  3. Tarik satu sumber dulu ke warehouse, jalankan harian, dan pastikan stabil.
  4. Tambahkan sumber kedua dan buat transformasi untuk menggabungkannya.
  5. Pasang cek kualitas data dan notifikasi error sebelum dashboard dipakai banyak orang.
  6. Bandingkan hasilnya dengan laporan manual selama beberapa minggu sebelum laporan manual dihentikan.

Pendekatan bertahap seperti ini mirip dengan otomatisasi proses bisnis pada umumnya: kecil, stabil, lalu diperluas.

Kalau Anda ingin tahu seperti apa pipeline data yang pas untuk tim Anda, Aqilatic bisa membantu memetakannya lewat audit proses gratis. Gambaran pekerjaan data kami ada di bagian layanan.

Pertanyaan yang sering muncul

Apakah ETL harus pakai data warehouse?

Tidak harus. Tujuan load bisa berupa database biasa atau bahkan Google Sheets untuk kebutuhan kecil. Tapi begitu sumber datanya banyak dan butuh histori panjang, data warehouse jauh lebih nyaman.

Apakah ETL sama dengan integrasi data?

Mirip, tapi fokusnya berbeda. Integrasi data sering berarti menyinkronkan data antar aplikasi operasional, misalnya dari CRM ke software akuntansi. ETL biasanya mengarah ke satu tempat untuk analisis dan laporan.

Perlu bisa coding untuk membangun ETL?

Untuk pipeline sederhana dengan tool seperti Airbyte atau n8n, tidak banyak coding yang dibutuhkan. Untuk transformasi, kemampuan SQL (bahasa untuk mengolah data di database) sangat membantu.

Berapa lama membangun pipeline ETL pertama?

Pipeline dengan satu atau dua sumber data yang punya API bisa selesai dalam beberapa hari sampai dua minggu. Waktu terbanyak biasanya habis untuk merapikan data yang tidak cocok antar sistem.