GCP DataEngineer

Hadoop adalah implementasi open source Map Reduce dari Apache. Sementara HDFS adalah Hadoop Distributed File System. Sekedar intermezo, nama Hadoop berasal dari nama mainan gajah. Inspirasi Hadoop adalah dari Google File System dan Map Reduce R&D papers. Hadoop memiliki 4 core modul: HDFS Architecture HDFS menggunakan Master-Worker cluster architecture. Server master akan menjalankan NAME NODE … Read more

Mengenal dan memahami ekosistem Big Data sangat berguna dalam dunia kerja. Karena Anda sebagai data engineer ada kemungkinan melakukan migrasi dari teknologi big data non-google ke Google Cloud Platform (GCP). Selain itu saat exam, ada kemungkinan Anda menghadapi pertanyaan tentang migrasi dari open-source produk ke GCP. Kita akan bahas beberapa teknologi seperti Map Reduce, Hadoop, … Read more

Tentu Anda masih ingat pada awal tutorial terdapat flowchart untuk memilih opsi storage yang cocok untuk project Anda. Setelah mempelajari berbagai Service storage pada modul-modul sebelumnya, pada modul ini kita akan buat cheat sheet untuk mempermudah memilih tipe storage. Structured atau Unstructured Data. Jika data Anda unstructured, seperti yang dijelaskan pada tabel dibawah, pilihannya mudah. … Read more

Google Cloud Memorystore adalah manged redis service, mirip dengan produk amazon ElastiCache. Cloud memory store adalah fully managed Redis instance, provisioning, replication dan failover sepenuhnya otomatis dan menyediakan dua opsi: Benefit dari Managed Redis Membuat Memorystore Instance Membuat memorystore instance sangat mudah: Membuat koneksi dengan instance Sama seperti connect ke IP address Redis service umumnya.Dapat … Read more