Web Scraping

Lesson web scraping IMDB posters akan mengambil poster dari top 250 movies. Pada lesson ini dibatasi 5 poster, jika ingin mendownload semua poster, hapus bagian if statement. Pendekatan yang dilakukan adalah, program pertama akan akses web imdb lalu download html kedalam teks file. Setelah itu file teks ini akan dibaca oleh program kedua untuk mendownload … Read more

Pada lesson web scrapping consumer report, program akan mengumpulkan data dari consumerreport.org. Informasi yang akan diambil adalah product category. Untuk melakukan scraping bisa lakukan secara online, artinya program mengakses page dan langsung melakukan scraping. Pada lesson ini dilakukan pendekatan offline, dimana isi halaman web akan didownload dan disimpan sebagai file text di local storage. Berikut … Read more

BeautifulSoup adalah library Web Paser untuk Python. BeautifulSoup memiliki banyak fungsi untuk melakukan navigasi obyek DOM pada HTML. Untuk install BeautifulSoup, gunakan perintah berikut pada command prompt: pip install beautifulsoup4 Lalu install lxml, library pendukungnya, dengan menggunakan perintah: pip install lxml Syntax diatas adalah untuk menggunakan beautifulSoup. file_html adalah file html yang akan diparsing, parser … Read more

Web scraping menggunakan Python adalah cara mengumpulkan data dari web, dan cukup mudah, karena sudah tersedia library yang mendukung. Modul Pendukung Web Scraping Selenium (gunakan pip untuk install: pip install selenium) Beautifulsoup (gunakan pip untuk install: pip install beautifulsoup4 ) ChromeDriver (download chromedriver disini) Selenium sebenarnya hanya berfungsi untuk otomasi browsers, namun dengan fungsi ini … Read more