Beberapa tahun kebelankang sangat ramai mengenai "Big Data" dikuti berkembang nya banyak perusahaan "Start-up". Sebagai orang awam, saya pun bertanya-tanya apa itu "Big Data"
Googling-googling ternyata teori nya banyak banget, sampai bingung ini apa sih maksudnya
Apa lagi mencari tutorial teknis terkait implementasi dari Big Data, untuk pencarian di laman indonesia masih sedikit banget.
Sebagai orang IT sayapun ingin ikut dalah euforia big data ini, singkat cerita dari semangat saya mempelajari Big Data ini.. tuhan mengatarkan rezeki untuk saya dapat terjun langsung bekerja sebagai System Administrator di salah satu perusahaan teknologi
Perusahaan ini selalu berhasil menjadi inisiator bagi para client nya yang ingin mengetahui & memulai implementasi terkait Big Data. sambil menyelam dan minum air.. ini kesempatan emas, untuk belajar langsung bersama ahlinya di tempat ini yg selalu memberikan Solusi
ok, Kembali pembahasan Big Data ini.
Berjalannya waktu dan sering implementasikan teknis-teknis dalam membangun infrastruktur pengelolaan big data ini. saya pun mulai memahami apa itu Big Data.
"Kamu Bertanya-tanya..? Biar ta kasih tau ya..."!
simple nya begini,
Setiap aktivitas (log, history, data, preference) dari user suatu aplikasi, biasanya kan hanya disimpan aja tuh di Database Management System dan hanya di pakai untuk load dari system aplikasi itu aja begitu, tampa di olah lagi, di kembangkan dari data tersebut.
Nah, next step nya tuh ternyata data tersebut masih bisa diexport lalu diolah, dipelajari, dikembangkan lagi.. agar menghasilkan Insight / manfaat lah.
Insight tersebut sangat penting untuk diterapkan oleh perusahaan ataupun organisasi. Perusahaan telah mengambil selangkah lebih maju dengan menerapkan insight tersebut, dan dapat memperkirakan kemungkinan yang dapat terjadi dan menyiapkan perusahaan untuk menanganinya dengan sebaik mungkin.
Contohnya Netflix dan Spotify sangat serius dalam melakukan pengumpulan datanya. Setiap ketukan, klikan, ketikan, hingga swipe up pada konten perusahaan bisa menjadi acuan keputusan bisnis. Data dapat membantu perusahaan untuk memahami lebih jauh mengenai penggunanya.
Ok, untuk mengelolah data-data tersebut ternyata butuh resource yang banyak seperti storage yang berkapasitas besar, komputer dengan kapasitas CPU dengan Core banyak, RAM yang berlimpah dll. Dan harganya mahal banget klo kita bikin komputer dengan High-end spec macam itu dengan membeli hardware-hardware high spec.
Nah.. ternyata ada solusi yang datang bersamaan dengan Big Data.. yaitu dengan metode Cluster komputer (Cluster Computing)
digambar tersebut terlihat bahwa "vertical" scaling pasti ada mentok nya, Tapi di "horizontal" kita bisa menambahkan jumlah pengikut cluster/ Node sebanyak-banyak nya.
terus apa sih cluster computing itu ?
saya jadi inget kata pepatah bilang, "segala sesuatu akan lebih mudah jika dilakukan bersama gotong royong, dari pada sendirian" ibarat kata begitu dah, dari pada satu komputer/server yang high-spec, lebih baik cluster komputer/server dengan spec standart berkumpul menjadi satu menjalankan proses secara bersamaan.
Keren kan ternyata bisa loh satu proses di kerjakan oleh banyak server dan dikerjakan bersama.
OK, Sekian dulu cerita tentang Big data nya, next kita share lebih teknis lagi.
