Tentu Anda masih ingat pada awal tutorial terdapat flowchart untuk memilih opsi storage yang cocok untuk project Anda.
Setelah mempelajari berbagai Service storage pada modul-modul sebelumnya, pada modul ini kita akan buat cheat sheet untuk mempermudah memilih tipe storage.
Structured atau Unstructured Data. Jika data Anda unstructured, seperti yang dijelaskan pada tabel dibawah, pilihannya mudah. Gunakan Cloud Storage.
Apakah data diperlukan untuk analytic. Yang dimaksud dengan analytic disini adalah volume data yang besar yang akan dianalisa, mungkin digunakan untuk membuat prediksi atau sebagai umpan untuk machine learning model. Jadi data yang dimaksud disini cukup berbeda dengan relationa data seperti info customer atau product specification.
Ketika berhubungan dengan data analytic, apakah Anda memerlukan low latency system atau warehouse.
Jika data adalah relational data, Anda dapat pertimbangkan masalah horizontal atau vertical scalling. Horizontal scalling cocok digunakan untuk institusi keuangan dimana availability dan consistency sangat penting. Perlu diperhatikan juga Cloud Spanner biayanya mahal.
Terakhir, jika data adalah Non-Relational. Apakah Anda membutuhkan tradisional NoSQL atau Key/Value store.
Contoh Skenario
Skenario 1
Anda ingin menganalisi data dari WiFi berupa time-series events untuk memonitor koneksi dan membuat heatmap untuk user yang terhubung ke WiFi.
Data adalah terstruktur, dan akan digunakan untuk analisis. Pilihannya adalah Cloud Bigtable dan BigQuery. Jika pada exam ada pertanyaan seperti ini, Anda harus pilih berdasarkan point yang dimaksud oleh pertanyaan.
Jika memilih BigQuery, Anda perlu memiliki team yang dapat melakukan analisis. Dan perlu diperhatikan streaming ribuan events ke BigQuery biayanya mahal.
Jadi lebih masuk akal jika digunakan Bigtable. Anda bisa saja memindahkan data BigQuery dikemudian hari untuk analisis lebih lanjut, atau cukup menggunakan Bigtable saja.
Skenario 2
Online store payment. Data yang akan ditangani adalah data relational untuk customer, produk, order dan delivery.
Data adalah terstruktur dan relational. Pilihan berikutnya adalah skalabilitas. Anda perlu perhatikan petunjuk pada exam.
Jika dibutuhkan high availability dan consistency, dan tidak ada masalah dengan biaya, maka gunakan Spanner.
Namun secara umum, untuk kebutuhan online shop, lebih masuk akan menggunakan Cloud SQL.
Skenario 3
Backend untuk Gaming, data yang disimpan user profiles dan events. Backend juga harus memiliki support untuk mobile.
Data adalah terstruktur, tidak digunakan untuk analisis, bukan relational. Karena dibutuhkan support untuk mobile device maka digunakan Cloud Firestore.
Jadi kesimpulannya adalah, ketika menjawab ujian, Anda harus pertimbangkan masalah teknikal dan non teknikal untuk membuat pilihan.
Exam Tips
Pada exam Anda diminta untuk memilih product yang tepat untuk memenuhi kebutuhan teknis dan bisnis. Hafalkan flowchart yang telah dibahas pada awal modul.
Pertimbangkan kebutuhan sisi bisnis. Karena jawaban akan memenuhi kriteria teknis, namun hanya akan satu jawaban yang memenuhi kriteria bisnis.
Memahami ekosistem, Google data engineer bertujuan untuk membantu customer pindah dari unmanaged system ke GCP products. Penting untuk memiliki pengetahuan mengenai non-google atau open-source produk yang mirip dengan produk yang ditawarkan oleh Google. Contohnya Apache Hadoop.
Lakukan tutorial yang disediakan dalam GCP documentation.
Jangan abaikan masalah security. Pelajari lebih mendalam topik IAM roles untuk setiap service. Bagaimana Anda menggunakan untuk memisahkan pengguna yang dapat menulis dan pengguna yang hanya perlu membaca data saja.