Project Setup

by

Setelah beberapa teori dasar dari web scrapping pada modul sebelumnya, kita akan memulai coding. Namun sebelumnya kita perlu men-setup dahulu dengan menginstall library yang diperlukan.

Node.js

Node.js, ini komponen utama. silakan download node.js disini.

Library

Setelah Node.js terinstall, baru lakukan instalasi library dibawah. Install library pada direktori proyek.

  • Cheerio, adalah library dari node.js untuk melakukan HTML parsing. Untuk instalasi ketikan perintah: npm install –save cheerio
  • request-promise, adalah library node.js untuk melakukan request, namun sudah support return promise. Untuk install ketikan perintah: npm install –save request-promise
  • Puppeter, library node.js untuk headless browser. Umum digunakan bila scrapping memerlukan request yang kompleks, hingga lebih mudah menggunakan puppeter dibandingkan menggunakan library request-promise.

Text Editor

Silakan menggunakan text editor yang Anda sukai, pada course ini akan digunakan Visual Studio Code, karena free dan cukup powerfull karena bisa melakukan debuging. Jika ingin menggukananya, sIlakan download disini.

Memulai Project

Disarankan untuk membuat package.json, berikut langkahnya:

  • Buka terminal atau command prompt
  • Buat dan pindah ke rektori project, pada contoh adalah D:\Learning\webscrapping\nodejs
  • Lalu ketikan perintah npm init untuk membuat npm package. Silakan isi nama package, sisanya pilih default atau bila perlu silakan diisi sesuai kebutuhan. Pada akhir proses jawab pertanyaan dengan ketikan yes, kemudian enter.
  • Kemudian buat file index.js (sesuaikan dengan nama file saat membuat package.json menggunakan perintah npm init diatas). Defaultnya adalah index.js
Windows PowerShell
Copyright (C) Microsoft Corporation. All rights reserved.

Try the new cross-platform PowerShell https://aka.ms/pscore6

PS D:\Learning\webscraping\nodejs> npm init
This utility will walk you through creating a package.json file.
It only covers the most common items, and tries to guess sensible defaults.

See `npm help json` for definitive documentation on these fields
and exactly what they do.

Use `npm install <pkg>` afterwards to install a package and
save it as a dependency in the package.json file.

Press ^C at any time to quit.
package name: (nodejs) scrap1
version: (1.0.0)
description: web scrapping intro menggunakan node.js
entry point: (index.js)
test command:
git repository:
keywords:
author:
license: (ISC)
About to write to D:\Learning\webscraping\nodejs\package.json:

{
  "name": "scrap1",
  "version": "1.0.0",
  "description": "web scrapping intro menggunakan node.js",
  "main": "index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "author": "",
  "license": "ISC"
}


Is this OK? (yes) yes
Sharing is caring:

Leave a Comment