P. 1
Warehouse

Warehouse

|Views: 47|Likes:
Published by Imti Hana

More info:

Published by: Imti Hana on Oct 17, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as DOC, PDF, TXT or read online from Scribd
See more
See less

10/17/2011

pdf

text

original

Dalam postingan pertama untuk tugas eksplorasi mengenai data warehouse akan dibahas mengenai data warehouse : apa

itu data warehouse, sejarahnya, dan arsitektur dasarnya. Data warehouse adalah sebuah repositori atau tempat penyimpanan data secara elektronis yang dimiliki sebuah organisasi. Data warehouse juga dirancang untuk dapat memfasilitasi pembuatan laporan dan analisis. Sekalipun demikian, data warehouse tidak hanya berfokus pada penyimpanan data, tapi sebuah sistem data warehouse memiliki komponen-komponen esensial seperti menerima (retrieve), menganalisis (analyze) data, mengekstrak (extract), mengubah (transform), meload data, dan juga mengatur data dictionary. Sehingga definisi lebih luas dari data warehouse mencakup kakas kecerdasan bisnis (business intelligence tools), kakas untuk mengekstrak (tools to ekstrak), mengubah (transform), dan menerima data (load) ke penyimpanan (repository), serta mengelola dan menerima metadata. Tahun Peristiwa 1960 1970 1983 1988 1990 1991 1991 1995 1996 1997 General Mills dan Dartmouth College dalam riset bersama mengembangkan istilah dimensi dan fakta ACNielsen dan IRI menyediakan data dimensional untuk pembelian secara eceran Teradata memperkenalkan Database Management System (DBMS) yang dirancang khusus untuk dukungan pengambilan keputusan Barry Devlin dan Paul Murphy mempublikasikan artikel “An architecture for a business and information systems” di jurnal IBM System saat mereka memperkenalkan istilah “business data warehouse” Red Brick Systems memperkenalkan Red Brick Warehouse, sebuah DBMS khusus untuk data warehouse Prism Solutions memperkenalkan Prism Warehouse Manager, sebuah perangkat lunak untuk mengembangkan data warehouse Bill Inmon mempublikasikan buku “Building the Data Warehouse” Dibangunnya Institut Data Warehousing Ralph Kimball mempublikasikan buku “The Data Warehouse Toolkit” Oracle 8, dengan support untuk query bintang (star queries) dirilis

Arsitektur Data Warehouse Arsitektur dalam konteks organisasi data warehouse adalah konsep bagaimana data warehouse dibangun. Tidak ada arsitektur yang benar maupun salah, melainkan berbagai arsitektur ada untuk mendukung berbagai situasi dan kondisi. Arsitektur yang baik akan berimbas pada pembangunan, pemeliharaan, dan penggunaan dari data warehouse. Namun, pada umumnya arsitektur data warehouse akan memiliki lapisan-lapisan berikut :

dan meload data 3. Metadata layer(lapisan metadata) o Direktori data o Umumnya lebih detail daripada direktori data sistem o Ada kamus untuk keseluruhan warehouse dan terkadang ada kamus untuk data yang dapat diakses oleh reporting khusus dan kakas untuk analisis 4. Data access layer (lapisan akses data) o Antarmuka antara lapisan operasional dan akses informasi o Kakas untuk mengekstrak. Tentunya datadata yang dimiliki tersebar di banyak lokasi yang berbeda. Informational access layer (lapisan akses informasi) o Akses data dan juga kakas untuk reporting. sistem operasi yang . Operational database layer (lapisan basis data operasional) o Sumber data untuk data warehouse 2. atau perusahaan asuransi yang memiliki data dari ribuan cabang lokal. Mengapa demikian? decision maker Bayangkanlah sebuah perusahaan jual-beli yang memiliki banyak cabang.analisis o Kakas intelejensia bisnis (Business Intelligence) termasuk ke lapisan ini post #2 (23 Juni 2009) Umumnya data warehouse diperlukan oleh perusahaan besar yang memiliki banyak cabang dan memiliki sejumlah besar data atau struktur perusahaan yang kompleks. mengubah.1.

(+) data warehouse akan lebih mudah untuk digunakan dan dimengerti oleh pengguna (+) penerimaan data dari data warehouse dilakukan dengan sangat cepat (-) untuk mempertahankan integritas dari fakta dan dimensi. Lalu akan diambil suatu keputusan untuk perusahaan tersebut oleh pembuat keputusan (decision maker). nomor produk. Tabel dikelompokkan berdasarkan kategori (seperti pelanggan. nama pembeli. Namun dengan melakukan query ke setiap sumber individual tentunya tidak praktis dan tidak efisien. petugas yang bertanggung jawab atas pemesanan tersebut. data transaksi dipartisi menjadi fakta (umumnya data transaksi yang numeric) atau dimensi (referensi ke informasi dari fakta) Sebagai contoh: Data penjualan dapat dipisahkan menjadi fakta seperti jumlah produk yang dipesan dan harga yang dibayarkan untuk setiap produk. (+)Mudah untuk menambahkan informasi ke database (-)karena banyaknya table yang terlibat maka akan sulit bagi pengguna untuk menggabungkan data dari sumber yang berbeda menjadi informasi atau untuk . keuangan. Pembuat keputusan itu tentunya membutuhkan akses ke semua sumber data yang ada. data produksi dan data keluhan pelanggan disimpan di sistem database yang berbeda. Atau sumber data mungkin hanya menyimpan data terkini. data dalam data warehouse disimpan berdasarkan aturan normalisasi data. dll. data warehouse menyediakan solusi bagi masalah ini. seperti tanggal pemesanan. sementara pembuat keputusan perlu mengakses data-data terdahulu pada perusahaan itu. Bagaimana prinsip penyimpanan data dalam data warehouse? Ada 2 pendekatan utama untuk menyimpan data dalam data warehouse : 1. Sebagai contoh. atau disimpan dengan skema yang berbeda. Misalnya saja informasi mengenai pola penjualan yang berubah dari tahun-tahun lalu merupakan pertimbangan penting dalam mengambil keputusan.berbeda.dll). Dan menjadi dimensi. produk. Pendekatan normalisasi Pada pendekatan ini. meload data warehouse dari sistem operasi yang berbeda-beda menjadi kompleks (-)akan sulit untuk mengubah struktur data warehouse jika organisasi tersebut perubahan dalam cara melakukan bisnisnya 2. Pendekatan dimensional Pada pendekatan ini. Nah.

Perancangan top-down Bill Inmon seorang penulis pertama mengenai data warehouse mendefinisikandata warehouse sebagai repository pusat untuk keseluruhan enterprise/perusahaan. Disebut bottomup karena pertama-tama data pada cabang/pasar dibuat lebih dulu untuk menyediakan kapabilitas laporan dan analisis untuk proses bisnis tertentu. (+) nilai bisnis dapat dikembalikan secepat data cabang pertama dibuat. Metode perancangan data warehouse 1. dimana data warehouse dirancang menggunakan data model enterprise yang telah dinormalisasi. membuat data dimensional cabang yang baru menjadi tugas yang mudah.seorang pakar dalam data warehousing adalah pendukung dari pendekatan perancangan data warehouse yang disebut bottom-up.mengakses informasi tanpa benar-benar mengerti isi dari sumber data dan struktur data dari data warehouse. (-) merepresentasikan projek yang sangat besar dengan cakupan yang luas. Data cabang ini dapat dikombinasikan untuk membuat sebuah data warehouse. kedua pendekatan ini tidaklah benar-benar terpisah satu sama lain. (kecepatan) (-) sulit untuk memastikan kekonsistenan dimensi dari kesemua data cabang. Pendekatan dimensional juga dapat melibatkan pendekatan normalisasi sampai pada tingkat tertentu. Perancangan bottom-up Ralph Kimball. Inmon merupakan pendukung dari pendekatan perancangan data warehouse yang disebut top-down. 2. Sekalipun demikian. (+)Perancangan top-down telah membuktikan dirinya sanggup menghadapi perubahan pada bisnis. (-) durasi waktu dari dimulainya projek sampai pengguna dapat merasakan manfaat warehouse cukup terasa . sehingga membutuhkan biaya yang besar untuk mengimplementasikan data warehouse dengan metode top-down. (+) Metode perancangan top-down menghasilkan dimensional view yang konsisten dari semua data yang berasal dari data cabang karena semua data cabang diload dari repository terpusat.

data warehouse architecture post #3 (2 Juli 2009) Sifat-sifat dari data warehouse – Berorientasi pada suatu persoalan (subject oriented) Data warehouse dirancang untuk membantu kita dalam menganalisis data. kita ingin mempelajari mengenai data penjualan suatu perusahaan. Dengan data warehouse ini. Hal ini berarti konflik pemberian nama atau masalah dalam penggunaan unit pengukuran yang berbeda seperti “inch” dan “cm” harus diselesaikan. kita dapat membangun data warehouse yang terkonsentrasi pada penjualan. Untuk melakukan ini. Perancangan hibrid Seiring berjalannya waktu ternyata metode bottom-up dan top-down pada perancangan data warehouse memiliki keuntungan dan kerugian / resiko. kita dapat menjawab pertanyaan seperti : “siapakah pembeli terbaik dari perusahaan ini tahun lalu?” – Terintegrasi (integrated) Data warehouse membutuhkan data dari beberapa sumber terpisah untuk disimpan ke suatu format khusus. – Bersifat tetap (non volatile) .(-) metode top-down dapat menjadi tidak fleksible terhadap perubahan kebutuhan di tahap implementasi 3. Maka metode hybrid mencoba untuk mengambil keunggulan kecepatan dari metode bottom-up dan kekonsistenan data enterprise dari metode top-down. Misalnya.

database selalu modification Pengguna tidak mengupdate data warehouse secara langsung kecuali dalam kondisi menggunakan peralatan seperti data mining. Data warehouse dibandingkan dengan OLTP System Data Warehouse Online Transaction Processing Systems Hanya mendukung operasi tertentu yang telah ditentukan sebelumnya Workload Didesain untuk menangani query dalam jumlah besar User melakukan proses update data Data warehouse diperbaharui dalam jadwal tertentu melalui proses ETL secara langsung dan Data menggunakan teknik modifikasi data bulk (dalam jumlah besar). terupdate (paling baru) Schema design Umumnya tidak dinormalisasi atau sebagian ternormalisasi (seperti star schema) untuk mengoptimasi query dan performansi analitis Menggunakan skema yang telah . – Bervariasi terhadap waktu (time variant) Kebanyakan analisis bisnis membutuhkan tren analisis. Karenanya analis membutuhkan data yang besar jumlahnya dengan melihat perubahan tren yang terjadi terhadap waktu.Hal ini berarti data tidak akan pernah berubah atau diubah sekali masuk ke data warehouse. Hal ini jelas mengingat tujuan dari data warehouse adalah untuk menganalisis apa yang terjadi. Hal ini menjadi kontras dibandingkan dengan sistem OLTP (Online Transaction Processing Systems).

Selain itu. data dalam data warehouse didenormalisasi dengan model berbasis dimensional. perancang sistem operasinal mengikuti aturan normalisasi Codd. Pada umumnya tingkat-tingkat kebutuhan akan data warehouse dapat dibedakan sebagai berikut : .inormalisasi untuk mengoptimasi proses insert/update/delete dan juga memastikan integritas data Menjalankan query yang memproses banyak record sekaligus. data warehouse juga sering disimpan berkali-kali di bentuk lengkapnya dan juga di bentuk ringkasnya yang disebut aggregasi. misalnya mencari data order untuk pelanggan tertentu Hanya menyimpan data minggu-minggu atau bulan terakhir. Hal ini bertujuan untuk mendukung analisis historical dan juga laporan Sistem operasional dibandingkan dengan data warehouse Sistem operasional optimal dalam menjamin integritas data dan kecepatan untuk menyimpan transaksi bisnis yang terjadi melalui normalisasi database dan model entity-relationship. Seiring berlalunya waktu. untuk mempercepat penerimaan data. Typical Operation Historical data Menyimpan data selama jangka bulan bahkan tahun. Pada umumnya. contohnya : total penjualan semua customer pada akhir bulan Tidak semua record. Sementara data warehouse optimal dalam kecepatan untuk menerima data. Database relational efisien untuk mengelola relasi antara tabel dan database akan memiliki performansi tinggi untuk proses insert maupun update karena hanya sejumlah kecil data dalam tabel yang dipengaruhi. Hanya menyimpan data yang dibutuhkan untuk transaksi saat ini. Data dari data warehouse dikumpulkan dari sistem operasional dan tetap disimpan di data warehouse sekalipun data tersebut telah dibuang dari sistem operasional Evolusi dalam perusahaan yang menggunakan data warehouse Pada umumnya organisasi atau katakanlah suatu perusahaan memulai dengan data warehouse yang relatif simple. Secara berkesinambungan. kebutuhan akan data warehouse yang lebih canggi semakin meningkat.

baik secara kontinu maupun periodik (misalnya setiap malam) Dalam destination-driven architecture. maka data warehouse secara periodik mengirimkan permintaan akan data yang baru ke sumber data Skema yang digunakan Sumber data yang dibuat masing-masing kemungkinan memiliki skema yang berbeda. Post #4 (24 Juli 2009) Komponen dari sebuah data warehouse Kapan dan bagaimana mendapatkan data Dalam source-driven architecture. Melainkan telah diintegrasikan dengan data-data dari sumber lain. – Data warehouse realtime Pada tahap ini. – Data warehouse offline Pada tahap ini data warehouse diperbaharui dari data di sistem operasional ke suatu bentuk umum dan data dari data warehouse disimpan dengan struktur data yang dirancang untuk memfasilitasi proses pembuatan laporan. Pembersihan data (data cleansing) . Tugas dari data warehouse adalah untuk melakukan pengintegrasian skema dan mengubah data yang diterima menjadi skema terintegrasi sebelum disimpan. Sebagai hasilnya. namun setiap kali terjadi proses update ke data warehouse. maka sumber data mengirimkan informasi baru. data warehouse diperbaharui setiap sistem operasional melalukan transaksi bisnis – Data warehouse terintegrasi Sama seperti pada data warehouse realtime.– Database operasional offline Pada tahap ni secara sederhana data warehouse dibangun dengan menduplikasi data dari sistem operasional ke server lain sehingga saat dibutuhkannya proses terhadap data-data tersebut misalnya saja pembuatan laporan tidak akan mengimbas pada performansi sistem operasional. maka data warehouse akan menghasilkan sebuah transaksi yang dikembalikan ke sistem operasional. Bahkan. data yang disimpan di data warehouse tidak hanya sekedar salinan dari sumber data. mereka mungkin juga menggunakan data model yang berberda.

Sebagai contoh. Data apa yang dapat digabungkan(aggregasi) Data mentah yang dihasilkan dari proses transaksi mungkin terlalu besar untuk disimpan secara online. tanggal dijualnya. dan tanggal. Hal ini dapat diperbaiki dengan merelasikannya dengan basis data dari nama jalan dan kode pos dari setiap kota. nama sering kali salah eja dan alamat berupa jalan/area/kota juga salah eja. dst. atribut dimensi seringkali disingkat dengan foreign key ke tabel lain yang disebut tabel dimensi (dimension tables). maka permasalahan untuk memastikan update ini disebut masalah view-maintenance. Skema Data warehouse memiliki skema yang dirancang untuk analisis data dan pada umumnya menggunakan perangkat OLAP(Online Analitical Processing). Misalnya. Atribut pengukur misalnya jumlah dan harga barang. dengan satu tuple untuk setiap barang yang terjual merupakan contoh dari tabel fakta. Atribut dimensi dari tabel penjualan akan mencakup barang apa itu (misalnya dengan barcode). lokasi toko dijualnya. Tabel yang menyimpan data penjualan suatu perusahaan ritel. Untuk lebih jelasnya dapat diamati dari bagan berikut : . Namun jika tidak. store-id. wilayah. pelanggan mana yang membelinya. Namun kita dapat menjawab banyak query dengan mengelola hanya ringkasa data yang didapatkan dengan melakukan agregasi pada suatu relasi daripada mengelola seluruh relasi Sebagai contoh : daripada menyimpan data penjualan pakaian setiap hari. Bagaimana menyebarkan update? Update dalam sebuah relasi dari sumber data harus disebarkan juga ke data warehouse. Atribut store-id adalah foreign key ke sebuah tabel dimensi store yang memiliki atribut lain seperti lokasi toko (kota. Untuk meminimalkan kebutuhan penyimpanan. serta atribut pengukur jumlah dan harga.sebuah tabel fakta penjualan akan memiliki atribut item-id.Tugas untuk memperbaiki dan mempersiapkan data disebut data cleansing. Sumber data sering mengirimkan data dengan banyak ketidakkonsistenan minor yang dapat diperbaiki. kita dapat menyimpan total penjualan suatu pakaian berdasarkan nama dan kategori. Jika relasi pada data warehouse benar-benar serupa dengan yang di sumber data maka penyebarannya mudah. customer-id. negara). Data umumnya berupa data multidimensi (terdiri dari atribut dimensi dan pengukur) dan tabel yang menyimpan data ini disebut tabel fakta (fact table) dan biasanya sangat besar. Atribut item-id juga merupakan foreign key ke tabel dimensi item-info yang memiliki atribut seperti warna dan ukuran. Daftar alamat yang digabungkan dari beberapa sumber mungkin terduplikasi sehingga perlu dieliminasi dengan operasi merge-purge (operasi natural-join). atau kode pos salah.

sehinggan terdapat delay (tenggat waktu) di mana data yang dimasukkan ke dalam data warehouse belum terdeteksi. Hal ini mempermudah pembuatan laporan dan analisis informasi dibandingkan jika diperlukan banyak model data untuk menerima informasi seperti faktur penjualan. Informasi yang disimpan dalam data warehouse dibawah kontrol dari pengguna data warehouse. laporan perkecualian.Post #5 7 Agustus 2009 Keuntungan menggunakan data warehouse 1. Kerugian menggunakan data warehouse 1. ketidakkonsistenan akan teridentifikasi dan diperbaiki. Data warehouse menyediakan fasilitas yang mendukung pengambilan keputusan seperti laporan berdasarkan tren (misalnya : barang yang paling banyak terjual di suatu area dalam 2 tahun terakhir). Data warehouse bukan merupakan lingkungan yang optimal untuk data yang tidak terstruktur 2. kuitansi pemesanan. dan laporan yang menampilkan pencapaian di lapangan yang sesungguhnya dibandingan dengan gol yang telah ditetapkan. Data warehouse menyediakan model data yang umum untuk semua data tidak tergantung sumber datanya. 3. Karena data warehouse terpisah dari sistem operasional. maka data warehouse dapat menerima data tanpa memperlambat kerja kerja sistem operasional 5. diubah. . Saat meload data ke dalam datawarehouse. Data perlu untuk diekstrak. tagihantagihan lainnya. 4. Hal ini akan mendukung juga dalam proses pembuatan laporan dan analisis. 2. informasi itu akan tetap tersimpan dengan aman di data warehouse. sehingga sekalipun sumber data dibersihkan pada suatu waktu. dan diload ke data warehouse.

111/b28313/concept. 4. Data warehouse umumnya tidak statis.com/docs/cd/B28359_01/server.org/wiki/data_warehouse.datawarehouse4u.3.816/a76994/concept.info/Data warehouse. Fourth Edition .ac. maka data warehouse dapat menyebabkan biaya yang besar. Database System Concepts. Contoh aplikasi dari Data Warehouse • • • • Analisis kartu kredit Analisis kecurangan asuransi Analisis panggilan telepon Managemen logistic Daftar Referensi : http://en. diakses tanggal 8 Juni 2009 Silberschatz. Maka.wikipedia. Biaya perawatannya cukup tinggi.htm diakses tanggal 1 Juli 2009 http://www. diakses tanggal 8 Juni 2009 http://download. akan ada resiko bahwa data yang akan dianalisis di data warehouse merupakan data yang tidak optimal.htm. Semakin lama masa hidupnya.cs.bris.htm diakses tanggal 1 Juli 2009 http://www.oracle. Data warehouse dapat menjadi ketinggalan dari data terbaru relatif cepat.uk/maintain/OracleDocs/server.

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->