Lesson machine learning optimization akan membahas komponen machine learning yang terakhir, yaitu optimization algorithm.
Optimization algorithm yang umum digunakan adalah gradient descent. Tujuan dari gradient descent adalah mencari minimum dari sebuah fungsi. Pada konteks linear model maka optimization akan mencari nilai w dan b dengan hasil fungsi minimum.
Hal penting saat melakukan gradient descent adalah:
- Kita bisa mencari minimum value dengan cara trial and error.
- Setiap trial lebih baik dari trial sebelumnya berdasarkan update rule yang tepat.
- Learning rate harus cukup besar agar tidak melakukan iterasi tanpa akhir, dan cukup rendah agar tidak oscillate tanpa akhir.
- Saat mencapai minimum harus berhenti melakukan update.
Konsep ini penting bila akan membuat model dari scratch (tidak menggunakan library). Namun bila menggunakan library misalnya TensorFlow, maka kita hanya perlu melakukan setting parameter, proses mencari minimum akan dilakukan library berdasarkan setting parameter.