Tutorial ini bertujuan agar Anda menjadi data engineer yang kompeten dengan menggunakan Google Cloud Platform. Dengan demikian diharapkan dapat membantu Anda menghadapi ujian Google Cloud Certified Data Engineer.
Tutorial ini akan membantu Anda memahami:
- Design data processing systems.
- Membuat dan mengoperasikan data processing systems.
- Mengoperasikan machine learning models.
- Memastikan kualitas dari solusi.
Secara umum tutorial ini diperuntukan bagi mereka yang memiliki minat mengenai big data dan Google Cloud Platform. Secara karir, mereka yang bekerja dibidang: Data Analyst/Scientist, ML/AI Engineers dan DevOps Engineer dan System Engineers.
Jika skala perusahaan tempat Anda bekerja adalah adalah perusahaan kecil, maka umumnya sebagai data scientist, Anda diharapkan sebagai data scientist full stack. Artinya mulai dari memasukan data kedalam sistem, menyimpan, memproses hingga mempersipakan data untuk keperluan pemangku kepentingan.
Jika Anda bekerja diperusahaan besar yang memiliki spesialis dibidang masing-masing, dengan memahami apa yang terjadi dalam proses data engineering, akan memudahkan komunikasi dalam kolaborasi team.
Jadi memiliki pengetahuan data engineering akan memberikan nilai tambah pada CV Anda.
Agar dapat mengikuti tutorial dengan baik diharapkan sudah memahami:
- Google Cloud Platform.
- Memahami database dasar seperti SQL (mySQL, Postgres) dan NoSQL (mongoDB, Casandra).
- Python Dasar, silakan lihat tutorial Programming Python – Dasar.
Berikut topik yang akan dibahas dalam tutorial:
- Konsep Dasar Data Processing
- Pengenalan Konsep Data Processing Pipelines
- Pengenalan Storage GCP
- Bekerja Dengan Data
- Google Cloud Storage
- Pengenalan Service Account
- Data Transfer Service
- Google Cloud SQL
- Lab: Membuat Cloud SQL Instance dan Loading Data – 1
- Lab: Membuat Cloud SQL Instance dan Loading Data – 2
- Lab: Membuat Cloud SQL Instance dan Loading Data – 3
- Google Cloud Firestore
- Google Cloud Spanner
- Lab: Google Cloud Spanner
- Google Cloud Memorystore
- Membandingkan Opsi Storage dari Google Cloud
- Pengenalan Ekosistem Big Data – Map Reduce
- Pengenalan Ekosistem Big Data – Hadoop dan HDFS
- Pengenalan Ekosistem Big Data – Apache Pig
- Pengenalan Ekosistem Big Data – Apache Spark
- Pengenalan Ekosistem Big Data – Apache Kafka
- Google Pub/Sub
- Lab: Google Cloud Pub/Sub
- Lab: Google Cloud Pub/Sub menggunakan Python
- Lab: Loosely-coupled Pub/Sub Services
- Lab: BigQuery Data Streaming menggunakan Pub/Sub
- Pub/Sub Exam Tips
- Pengenalan Cloud Dataflow
- Dataflow Pipeline Concepts
- Dataflow Security dan Access