Data Science Deep Learning

Gradient descent dan learning rate lanjutan akan membahas teknik gradient descent advanced yang umum digunakan. Masalah yang mungkin timbul saat melakukan optimization menggunakan gradient descent dan solusinya. Gradient Descent, atau GD menggunakan nilai learning rate yang kecil. GD akan melakukan update weights setelah semua data training harus selesai diproses, atau setiap 1 epoch (iterasi). Karena … Read more

Model Parameter Initialization adalah inisialisasi nilai awal parameter untuk model, yaitu weights dan biases. Inisialisasi nilai parameter sangat penting, karena inisialisasi yang asal akan menghasilkan model yang tidak optimal. Pada lesson sebelumnya, cara inisialisasi yang dilakukan hanya dengan menentukan nilai random dalam rentang -0.1 s/d 0.1 menggunakan numpy.random.uniform function. Setiap nilai dalam rentang diatas memiliki … Read more

Early stopping model training adalah strategi atau pendekatan untuk menghentikan training model untuk mencegah overfitting model. Pada lesson dan course sebelumnya, kita hanya melatih model dengan pendekatan sederhana. Hal ini sengaja dilakukan karena saat itu masalah overfitting belum diperkenalkan. Pada lesson Simple Linear Regression Menggunakan TensorFLow, kita hanya menentukan jumlah epoch. Tidak ada kepastian apakah … Read more

Pada prakteknya, kita perlu membagi data untuk 3 subset, yaitu Data training, validation dan test. Pembagian subset ini harus dilakukan dari awal. Komposisi pembagian bisa berbeda-beda, umumnya: 80% Training, 10% Validasi dan 10% Test Atau 70% Training, 20% Validasi dan 10% Test. Antar subset data tidak boleh overlap, karena akan merusak proses training model. Selalu … Read more