Scrapping Node

Pada modul ini kita akan membuat scrapper sederhana, mengambil informasi nama, profile picture, dan statistik seperti follower dan following dari instagram. Perlu diketahui, ada kemungkinan code tidak berjalan saat Anda gunakan karena ada perubahan web oleh instagram. Tools online yang berguna untuk tutorial ini adalah: (Anda bisa menggunakan yang lain) Regular Expression Editor : https://regexr.com/ … Read more

Walaupun cukup kompleks, proses login dapat dilakukan dengan menggunakan object request. Sebetulnya akan lebih mudah jika menggunakan headless browser. Untuk melakukan testing login, kita gunakan website yang memang disediakan untuk latihan dan testing scraping. Silakan kunjungi webnya di http://toscrape.com Alamat login form yang digunakan adalah http://quotes.toscrape.com/login. Login form ini menggunakan security CSRF Token. Apa itu … Read more

Pada modul ini kita akan mulai coding, dimulai dengan scrapper sederhana. Web imdb.com akan kita jadikan target scrapping. Data yang akan diambil adalah: Judul, Rating, Poster, Total Rating dan Release Date. Kemudian menyimpannya dalam file csv. Untuk file csv, kita akan gunakan library json2csv. Library ini untuk mengubah file json menjadi csv. Untuk dokumentasi detail … Read more

Setelah beberapa teori dasar dari web scrapping pada modul sebelumnya, kita akan memulai coding. Namun sebelumnya kita perlu men-setup dahulu dengan menginstall library yang diperlukan. Node.js Node.js, ini komponen utama. silakan download node.js disini. Library Setelah Node.js terinstall, baru lakukan instalasi library dibawah. Install library pada direktori proyek. Cheerio, adalah library dari node.js untuk melakukan … Read more