Pengalaman dengan Data Warehouse

Assalamu’alaikum...

Selamat pagi..siang..sore..malam.. biar adil buat yang baca sesuai kondisi waktunya.. Apa kabar nih temen-temen... Semoga selalu dalam keadaan sehat, bahagia dan ceria selalu yaaa.. aamiin.. 

Posting kali ini mau saya isi cerita tentang pengalaman pribadi saya membangun dan menggunakan Data Warehouse.. tapi masih skala kecil yaaa.. namanya juga masih belajar :D. Temen-temen pasti udah pada tau dan sering dengar mengenai Data Warehose. 

Okee.. sebelum kita membahas tentang pengalaman saya membangun Data Warehouse untuk pembuatan Dashboard Management, temen-temen perlu tau dulu nih apa sih Data Warehouse itu serta istilah-istilah yang ada dalam Data Warehouse. Oke langsung lanjut aja ke pembahasan ... 

Berikut adalah pengertian serta istilah-istilah yang berkaitan dengan Data Warehouse yang diambil dari berbagai sumber : 

 1. Data Warehouse

 Terdapat beberapa pengertian data warehouse menurut para ahli seperti berikut ini:

 • Menurut Ralph Kimbali, data warehouse adalah suatu sistem yang mengekstrak, melakukan pembersihan, menyesuaikan diri serta mengirimkan sumber data pada suatu data penyimpanan dimensional dan selanjutnya memberi dukungan pada implementasi query serta analisa dalam rangka pengambilan keputusan. 

• Menurut Vivek Gupta (System Services Group, 1997), pengertian data warehouse adalah sistem yang terstruktur dan berskala besar yang berguna untuk menganalisa data statis yang sudah ditransformasikan dari berbagai aplikasi sumber asalnya supaya sesuai dengan struktur bisnis, terkumpul dalam jangka waktu lama, direprentasikan pada terminologi bisnis serta terpadu agar kudah dalam menganalisa. 

• Menurut Elmasri & Navathe (2004), data warehouse adalah kumpulan yang beraal dari informasi yang memiliki keunggulan yang sama (sama baiknya). Data warehouse memiliki perbedaan utama dalam karakteristik yang lebih menekankan pada aplikasi pendukung keputusan. Definisi ini menganggap bahwa data warehouse mempunyai karakteristik yang tidak sama dengan sistem pendukung operasional yang lain. 

• Bill Inmon (1996), menyatakan bahwa data warehouse merupakan dasar dari proses pengambilan keputusan. Bill Inmon disebut-sebut sebagai Bapak Data Warehouse. 

• Poe (1996) menyatakan bahwa data warehouse merupakan basis data analisa yang hanya bisa dibaca serta dipergunakan sebagai bahan pada sistem pendukung keputusan. Pemikiran Poe sejalan dengan Bill Inmon yang memandang bahwa data warehouse sebagai dasar pada sistem pengambilan keputusan. 

• Eckerson, Wayne W menyatakan bahwa data warehouse merupakan penempatan data yang sudah diuraikan yang beraal dari database operasional, eksternal serta database lain dari organisasi. 

• Malik, Shadan (2005), menyatakan bahwa data warehouse merupakan tempat penyimpanan data historikal yang diorganisasikan berdasarkan pada subyek untuk pengambilan keputusan pada organisasi. Data warehouse mem-fasilitasi pada kegiatan, antara lain Data Mining dan mendukung pengambilan keputusan. 

 2. Konsep dasar Data Warehouse

                                  

Berikut adalah kesimpulan yang saya tarik dari beberapa sumber mengenai konsep Data Warehouse : 

• Data-data yang berorientasi pada subyek, mempunyai dimensi waktu, terintegrasi, dan merupakan koleksi lengkap, yang dipergunakan dalam rangka mendukung proses pengambilan keputusan yang dilakukan oleh para manager pada tiap-tiap jenjang. Terutama jenjang manager dengan peringkat yang tinggi. 

• Pusat repousitori informasi yang dapat memberikan database yang berorientasi pada subyek bagi informasi yang bersifat historis yang memberi dukungan Decision Support System (DSS) serta Executive Information System (EIS). 

• Merupakan data yang didapatkan dari proses yang mana sebuah organisasi mengekstraksi makna dari aset informasi yang dimiliki. Data warehouse merupakan penemuan baru dalam bidang teknologi informasi. Dimulai sekitar 15 tahun lalu konsep data warehouse terus berkembang secara pesat sehingga konsep ini merupakan konsep yang paling banyak diperbincangkan oleh para ahli. 

• Adalah salinan dari transaksi data yang terstruktur secara spesifik pada query serta analisa. 

• Merupakan salinan dari transaksi data yang terstruktur secara spesifik pada query serta laporan. 

 3. Data Mart 

Data mart adalah sub bagian dari data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan. Data mart merupakan fasilitas penyimpan data yang berorientasi pada Subject tertentu atau berorientasi pada department tertentu seperti sales, marketing, operation atau collection. Sehingga satu organisasi bisa memiliki lebih dari satu data mart. Data mart pada umumnya di organisasikan sebagai suatu dimensional model, seperti Star-Schema (OLAP cube) yang tersusun dari sebuah tabel fact dan beberapa tabel dimension. Berikut merupakan gambaran mengenai data warehouse yang berisi sub bagian data mart.

                                     

Dalam melakukan Data Mart, terdapat 2 buah proses, yaitu: 

a. ETL (Extration, Transformation, Loading)

ETL (Extration, Transformation, Loading) merupakan proses pengolahan data pada data mart, dimana data akan di ekstrak, kemudian diambil bagian-bagian data yang penting, selanjutnya digudangkan di data warehouse, kemudian data diubah transformasinya, diubah formatnya, barulah data diteruskan ke user. 

 b. ELT (Extration, Loading, Transformation)

ELT (Extration, Loading, Transformation) merupakan proses pengolahan data pada data mart, dimana cara kerjanya hamper sama seperti ETL, hanya saja pada ELT data yang telah di ekstrak akan disimpan pada data warehouse terlebihdahulu, barulah data ditransformasi. 

4. OLTP (Online Transaction Processing) 

OLTP (Online Transaction Processing) Merupakan suatu aplikasi atau program yang digunakan dalam operasional perusahaan sehari-hari seperti melakukan insert (memasukan data), update(mengubah data) dan delete (menghapus data) berbagai macam data, seperti penjualan, pembelian, produksi dan lain sebagainya. OLTP bertujuan untuk memproses suatu transaksi secara langsung melalui komputer yang tergabung didalam jaringan. Misalnya OLTP biasa digunakan pada sebuah supermarket, kasir menggunakan mesin dalam proses transaksinya dapat langsung memasukan data kedalam aplikasi yang terhubung didalam jaringan. Berdasarkan datanya, OLTP menggunakan data asli dan dapat di update setiap saat. OLTP biasanya memiliki ukuran yang relatif kecil seperti data pada suatu database. Karakteristik OLTP umumnya memiliki banyak user yang dapat mengakses data secara bersamaan, user tersebut bisa melakukan creating, updating, retrieving untuk setiap record data, OLTP sangat optimal untuk updating data. 

5. OLAP (OnLine Analytical Processing) 

OLAP (OnLine Analytical Processing) merupakan metode pendekatan untuk menyajikan jawaban dari permintaan proses analisis yang bersifat dimensional secara cepat, yaitu desain dari aplikasi dan teknologi yang dapat mengoleksi, menyimpan, memanipulasi suatu data multidimensi untuk tujuan analis. OLAP adalah bagian dari kategori yang lebih global dari pemikiran bisnis, yang merangkum hubungan antara pelaporan dan penggalian data. Aplikasi khusus dari OLAP yaitu pelaporan bisnis untuk penjualan, pemasaran, manajemen pelaporan, manajemen proses bisnis, penganggaran dan peramalan, laporan keuangan dan bidang-bidang yang serupa. Beberapa tujuan OLAP yakni menggunakan informasi dalam sebuah data warehouse dalam memandu keputusan-keputusan yang strategis. Contoh dari perangkat lunak OLAP yaitu Express Server (Oracle), PowerPlay (Cognos Software), dsb.


Bagan Proses Dalam membangun Data Warehouse

Bagan diatas merupakan bagan proses pengolahan data menjadi informasi, terdapat beberapa sumber data (source) seperti dokumen, database, file, aplikasi yang adalah hasil dari proses OLTP yaitu data yang tersimpan setelah melakukan insert, update, dan delete data. Sumber data tersebut akan diintegrasikan dan akan diteruskan menggunakan proses ETL ataupun ELT, kemudian disimpan pada data warehouse. Setiap data pada data warehouse dilengkapi oleh metadata. Metadata adalah tempat penyimpanan data dari sebuah data yang dikumpulkan menjadi sebuah informasi mengenai data tersebut seperti atribut, panjang field, tipe field, dan tanggal. Selanjutnya informasi akan ditampilkan, kemudian OLAP Engine akan melakukan analisis terhadap data yang telah tersimpan pada data warehouse. Pada akhirnya informasi akan ditampilkan sesuai dengan yang diinginkan user.