Sebelum memulai lebih jauh dan melakukan proyek scrapping, ada beberapa hal yang perlu diperhatikan dan dipertimbangkan.
Apakah API Official Tersedia
Jika kita akan mengambil data dari sebuah weh, namun tidak disediakan API. Atau API yang disediakan tidak memenuhi kebutuhan kita. Maka kita perlu melakukan web scrapping.
Apakah Boleh Melakukan Scrapping
Sebelum memulai scrapping, perlu kita baca Term of Service dari website tersebut. Apakah diijinkan untuk melakukan scrapping.
Etika Scrapping
- Selalu usahakan gunakan API yang disediakan
- Hindari spamming request yang berlebihan saat melakukan scrapping
- Jika Anda akan menjual data hasil scrapping, pastikan legalitasnya.
Masalah Dalam Scrapping
Perubahan dari website yang di scrap dapat membuat script yang telah dibuat tidak berjalan semestinya. Perlu dilakukan maintenance dan merubah script agar scrapping dapat berjalan lagi.