Medallion Architecture: Bronze, Silver, Gold untuk Tim Kecil

Medallion architecture adalah cara menyusun data warehouse dalam tiga lapisan: bronze untuk data mentah, silver untuk data yang sudah dibersihkan, dan gold untuk data yang siap dipakai bisnis. Tujuannya sederhana: setiap tabel punya tempat yang jelas, dan siapa pun di tim tahu tabel mana yang boleh dipakai untuk dashboard.

Istilah ini dipopulerkan oleh Databricks untuk lakehouse, tapi polanya bisa dipakai di warehouse mana pun, termasuk BigQuery atau PostgreSQL. Artikel ini membahas isi tiap lapisan dan cara menerapkannya tanpa membuat tim kecil kewalahan.

Masalah yang diselesaikan

Coba buka dataset di warehouse tim Anda. Kalau isinya seperti ini, Anda tidak sendirian:

  • penjualan, penjualan_final, penjualan_final_v2, penjualan_bersih_fix.
  • Dashboard A membaca tabel mentah, dashboard B membaca tabel hasil olahan analis yang sudah keluar.
  • Tidak ada yang berani menghapus tabel lama karena takut ada laporan yang rusak.

Medallion architecture memberi aturan main: data mengalir satu arah dari bronze ke silver ke gold, dan setiap lapisan punya fungsi yang berbeda. Hasilnya, struktur warehouse lebih mudah dipahami, dan kesalahan lebih mudah dilacak asalnya.

Medallion architecture: data dari aplikasi sumber masuk ke lapisan bronze, dibersihkan di silver, diringkas di gold, lalu dipakai dashboard dan AI

Lapisan bronze: data mentah

Bronze berisi data persis seperti yang datang dari sumbernya. Tidak ada yang diubah, tidak ada yang dibuang.

Isi tipikalnya:

  • Tabel hasil sinkronisasi dari database aplikasi kasir, ERP, atau CRM.
  • Export dari Google Sheets atau file CSV yang dikirim rutin.
  • Data dari API pihak ketiga, misalnya marketplace atau payment gateway.

Aturan untuk lapisan bronze:

  1. Jangan diedit. Kalau ada data aneh, biarkan. Pembersihan dilakukan di silver.
  2. Tambahkan metadata. Minimal kolom waktu data dimuat dan asal sumbernya.
  3. Simpan riwayat kalau memungkinkan. Dengan riwayat, Anda bisa membangun ulang lapisan di atasnya kapan saja, misalnya saat ada rumus yang ternyata salah.
  4. Batasi akses. Tim bisnis sebaiknya tidak membuat dashboard langsung dari bronze.

Kalau Anda sudah pernah membaca soal data lake, lapisan bronze punya semangat yang mirip: tempat menampung data apa adanya.

Lapisan silver: data bersih

Silver adalah tempat data dirapikan. Satu tabel silver biasanya mewakili satu entitas bisnis: pelanggan, pesanan, produk, invoice, karyawan.

Pekerjaan yang dilakukan di silver:

  • Menyeragamkan format: tanggal, nomor telepon, kode cabang, huruf besar kecil.
  • Menghapus duplikat: pesanan yang tercatat dua kali karena sinkronisasi ulang.
  • Mengganti nama kolom jadi jelas dan konsisten, misalnya tgl_trx jadi tanggal_transaksi.
  • Menggabungkan sumber: data pelanggan dari kasir dan dari toko online disatukan dengan satu ID.
  • Menandai data bermasalah: baris dengan nilai kosong atau tidak wajar diberi tanda, supaya bisa dicek.

Contoh di sebuah jaringan toko dengan lima cabang: setiap cabang punya kode produk sedikit berbeda karena diinput manual. Di silver, semua kode dipetakan ke satu daftar produk induk. Dari sini, penjualan antar cabang baru bisa dibandingkan dengan adil.

Silver juga tempat yang tepat untuk tes data otomatis, misalnya memastikan tidak ada ID pesanan ganda atau nilai transaksi negatif.

Lapisan gold: siap dipakai bisnis

Gold berisi tabel yang langsung dibaca dashboard, laporan, dan aplikasi. Bentuknya menyesuaikan pertanyaan bisnis, bukan struktur aplikasi sumber.

Contoh tabel gold:

Tabel Isi Dipakai oleh
penjualan_harian_cabang Omzet, jumlah transaksi, rata-rata keranjang per cabang per hari Dashboard operasional
piutang_per_pelanggan Total piutang dan umur piutang Tim finance
metrik_bulanan Omzet bersih, margin kotor, pelanggan aktif Laporan direksi
stok_perlu_restock Produk dengan stok di bawah batas minimum Tim gudang

Aturan untuk gold:

  1. Satu definisi untuk satu metrik. Rumus omzet bersih hanya ditulis sekali, di sini. Ini juga fondasi untuk semantic layer kalau nanti dibutuhkan.
  2. Nama tabel dalam bahasa bisnis. Orang non-teknis harus bisa menebak isinya dari namanya.
  3. Dashboard hanya membaca dari gold. Ini aturan paling penting, dan paling sering dilanggar.
  4. Dokumentasikan pemiliknya. Setiap tabel gold punya penanggung jawab.

Tabel gold juga sumber paling aman untuk AI yang menjawab pertanyaan data, karena rumusnya sudah disepakati dan datanya sudah bersih.

Menerapkan di BigQuery dan dbt

Untuk tim kecil, kombinasi BigQuery dan dbt adalah cara yang cukup ringan untuk memulai. Strukturnya bisa seperti ini:

  • Tiga dataset di BigQuery: bronze, silver, gold. Hak akses diatur per dataset, misalnya tim bisnis hanya bisa membaca gold.
  • Bronze diisi oleh tools ingest: bisa connector terkelola, script terjadwal, atau workflow n8n yang menarik data dari API.
  • Silver dan gold dibangun dengan dbt: setiap tabel adalah file SQL. dbt mengatur urutannya, menjalankan tes, dan membuat dokumentasi.

Struktur folder di project dbt bisa mengikuti lapisan:

models/
  silver/
    pelanggan.sql
    pesanan.sql
  gold/
    penjualan_harian_cabang.sql
    metrik_bulanan.sql

Di dokumentasi dbt, lapisan ini sering disebut staging, intermediate, dan marts. Namanya boleh berbeda, prinsipnya sama.

Beberapa tips supaya tidak over-engineering:

  • Tidak semua data perlu ketiga lapisan di hari pertama. Mulai dari satu sumber paling penting, misalnya data penjualan.
  • Jangan buat tabel silver untuk setiap tabel bronze. Buat hanya untuk entitas yang benar-benar dipakai.
  • Pakai view dulu untuk silver kalau datanya kecil. Ubah jadi tabel saat query mulai lambat atau mahal.
  • Perhatikan biaya query. Di BigQuery, biaya on-demand dihitung dari data yang dibaca. Partisi tabel besar berdasarkan tanggal supaya dashboard tidak membaca seluruh riwayat setiap kali dibuka. Harga bisa berubah, jadi cek halaman harga resmi Google Cloud.

Kapan medallion architecture berlebihan?

Pola ini tidak wajib. Kalau data Anda hanya dari satu aplikasi, volumenya kecil, dan dashboard-nya cuma dua, satu lapisan transformasi sederhana mungkin sudah cukup.

Medallion mulai terasa manfaatnya saat:

  • Sumber data lebih dari dua atau tiga.
  • Lebih dari satu orang yang menulis query dan membuat tabel.
  • Dashboard mulai sering menampilkan angka yang berbeda.
  • Anda ingin membangun ulang laporan saat ada perubahan rumus tanpa kehilangan data lama.

Kalau warehouse tim Anda mulai penuh tabel yang namanya mirip-mirip dan tidak ada yang yakin mana yang benar, Aqilatic bisa membantu merapikan strukturnya. Mulai dengan audit proses gratis, atau lihat layanan kami untuk proyek data.

Pertanyaan yang sering muncul

Apakah medallion architecture hanya untuk Databricks?

Tidak. Istilahnya memang dipopulerkan Databricks, tapi polanya bisa dipakai di BigQuery, Snowflake, PostgreSQL, atau warehouse lain.

Apa bedanya silver dan gold?

Silver berisi data bersih per entitas bisnis, strukturnya masih umum. Gold berisi tabel yang sudah dibentuk untuk kebutuhan tertentu, misalnya ringkasan penjualan harian atau metrik bulanan.

Apakah tim bisnis boleh membaca lapisan silver?

Boleh untuk analisis eksplorasi oleh analis. Untuk dashboard resmi dan laporan rutin, sebaiknya selalu dari gold supaya rumusnya konsisten.