Data Mining dan Data Warehousing

sedikit membahas tentang data mining dan data warehousing, berhubung ini resume, ya kayak gini bahasanya.. gak terlalu bagus.. hohohoho

A. Data mining merupakan proses menemukan atau “memining” pengetahuan dari data dalam jumlah yang besar.
o Data mining merupakan proses rumit mengidentifikasi pola kevalidan, ke-baruan, yang berpotensial bermanfaat, dan dipahami dalam data yang tersimpan dalam database terstruktur.
o Secara umum, data mining digunakan untuk mengidentifikasi empat jenis utama dari pola yakni asosiasi, prediksi, kluster, dan hubungan sequensial
o Terdapat empat proses dalam data mining
1. memahami bisnis / business understanding yakni mengetahui tujuan bisnis
2. data understanding / memamahami data yakni menempatkan data pada tugas bisnis yang telah terdefinisi dengan baik dan tugas bisnis yang berbeda memerlukan set data yang berbeda pula.
3. data preparation / persiapan data (data preprocessing), tujuan dari persiapan data adalah untuk mengambil data yang telah di identifikasi dari langkah sebelumnya dan mempersiapkan data tersebut untuk analisis dengan metode data mining. Yakni dengan data consolidation, data cleaning, data transformation dan data reduction.
4. model building / membangun model, dalam langkah ini berbagai teknik model dipilih dan digunakan pada dataset yang telah dipersiapkan unutk mengalamatkan kebutuhan bisnis tertentu.
5. test dan evaluasi. Model yang telah di bangun dinilai dan dievaluasi untuk keakuratan dan keumuman. Menilai apakah derajat dari model yang telah dipilih telah mencapai tujuan bisnis.
o Data mining merupakan proses untuk menggali(mining) pengetahuan dan informasi baru dari data yang berjumlah banyak pada data warehouse, dengan menggunakan kecerdasan buatan (Artificial Intelegence), statistik dan matematika. Data mining merupakan teknologi yang diharapkan dapat menjembatani komunikasi antara data dan pemakainya.
o Beberapa solusi yang diberikan data mining antara lain :
1. Menebak target pasar. Data mining dapat mengelompokkan (clustering) model-model pembeli dan melakukan klasifikasi terhadap setiap pembeli dan melakukan klasifikasi terhadap setiap pemebeli sesuai dengan karakteristik yang diinginkan.
2. Melihat pola beli dari waktu ke waktu. Data mining dapat digunakan untuk melihat pola beli dari waktu ke waktu.
3. cross-market analysis. Data mining dapat dimanfaatkan untuk melihat hubungan antara satu produk dengan produk lainnya.
4. Profil pelanggan. Data mining bisa membantu pengguna untuk melihat profil pembeli sehingga dapat diketahui kelompok pembeli tertentu cenderung kepada suatu produk apa saja.
5. Informasi summary. Data mining dapat membuat laporan summary yang bersifat multi dimensi dan dilengkapi dengan informasi statistik lainnya.
B. Data warehouse / DW merupakan kolam data yang di produksi untuk mendukung pembuatan keputusan.
o Karakteristik data warehousing :
1. Subject Oriented (Berorientasi subject). Data warehouse berorientasi subject artinya data warehouse didesain untuk menganalisa data berdasarkan subject-subject tertentu dalam organisasi,bukan pada proses atau fungsi aplikasi tertentu.
2. Integrated (Terintegrasi). Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep data warehouse itu sendiri.
3. Time-variant (Rentang Waktu). Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu.
4. Non Volatile. Karakteristik keempat dari data warehouse adalah non-volatile,maksudnya data pada data warehouse tidak di-update secara real time tetapi di refresh dari sistem operasional secara reguler.
5. client server. Data warehouse menggunakan arsitektur client/server untuk menyediakan akses yang mudah kepada end-user nya.
6. rela time. Data warehouse yang lebih baru menyediakan akses data real-time atau aktif dan kemampuan analisa.
7. include metada. Data warehouse berisi metadata tentang bagaimana data di organisasi dan bagaimana memanfaatkan data tersebut secara efektif.
o Komponen utama dari proses data warehousing anatara lain :
1. data sources / sumber data. Data bersumber dari beberapa operasi independen dari system legacy dan mungkin dari penyedia data eksternal.
2. ekstraksi data. Data di ekstrak menggunakan software ETL
3. Data loading. Data di load kedalam staging area diaman data di ubah dan dibersihkan menjadi data yang siap di load kedalam data warehouse
4. comprehensive database. Untuk mendukung semua analysis keputusan dengan menyediakan informasi asli yang ringkas dan detail dari sumber yang berbeda.
5. metadata. Metadata di maintain sehingga dapat diakses oleh personel IT dan user.
6. middleware tools. Memungkinkan akses ke data warehouse. Sehingga analis dapat menuliskan SQL query nya sendiri.
o Berikut ini adalah tiga jenis dasar sistem Data Warehouse :
1. Functional Data Warehouse (Data Warehouse Fungsional)
Data warehouse dibuat lebih dari satu dan dikelompokkan berdasar fungsi-fungsi yang ada di dalam perusahaan seperti fungsi keuangan(financial),marketing,personalia dan lain-lain.
2. Centralized Datawarehouse (Data Warehouse Terpusat)
Seperti bentuk data warehouse fungsional, namun terlebih dahulu sumber data dikumpulkan dalam satu tempat terpusat, kemudian data disebar ke dalam fungsinya masing-masing, sesuai kebutuhan perusahaan. Data warehouse terpusat ini, biasa digunakan oleh perusahaan yang belum memiliki jaringan eksternal.
3. Distributed Data Warehouse (Data Warehouse terdistribusi)
Menggunakan gateway yang berfungsi sebagai jembatan penghubung antara data warehouse dengan workstation yang menggunakan sistem beraneka ragam. Dengan sistem terdistribusi seperti ini memungkinkan perusahaan dapat mengakses sumber data yang berada diluar lokasi perusahaan(eksternal).

Sumber :
Inmon, W.H. 2002. Building the Data Warehouse,edisi-3. Wiley Computer Publishing.
Turban, Efraim, Ramesh Sharda, and Dursun Delen. 2011. Decision Support and Business Intelligence System. New Jersey: Pearson Education Inc.
Poe, Vidette. 1998. Building Data Warehouse for Decision Support, edisi-2. Prentice Hall.