Pengenalan BeautifulSoup Web Parser

by

BeautifulSoup adalah library Web Paser untuk Python. BeautifulSoup memiliki banyak fungsi untuk melakukan navigasi obyek DOM pada HTML.

Untuk install BeautifulSoup, gunakan perintah berikut pada command prompt: pip install beautifulsoup4

Lalu install lxml, library pendukungnya, dengan menggunakan perintah: pip install lxml 

soup = BeautifulSoup(file_html, 'parser')

Syntax diatas adalah untuk menggunakan beautifulSoup. file_html adalah file html yang akan diparsing, parser dapat menggunakan lxml atau html.parser.

Berikut adalah file html yang akan digunakan untuk contoh penggunaan BeautifulSoup. Perhatian, contoh dibawah dilakukan di REPL.

>>> html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

Salah satu fungsi dari BeautifulSoup adalah untuk merapikan file html dengan memberikan identasi dan newline. Syntaxnya adalah soup.prettify()

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(html_file,'lxml')
>>> print(soup.prettify())
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The Dormouse's story
   </b>
  </p>
  <p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" id="link1">
    Elsie
   </a>
   ,
   <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
</html>

Contoh Menggunakan BeautifulSoup

Contoh mengakses tag title dan strukturnya.

>>> soup.title
<title>The Dormouse's story</title>
>>> soup.title.name
'title'
>>> soup.title.string
"The Dormouse's story"
soup.title.parent.name
'head'

Contoh mengakses tag p dan ahref

>>> soup.p
<p class="title"><b>The Dormouse's story</b></p>
>>> soup.p['class']
['title']
>>> soup.a
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
>>> soup.find_all('a')
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
>>> soup.find(id="link3")
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

Hal yang umum dilakukan adalah ekstrak informasi link ahref

>>> for link in soup.find_all('a'):
...     print(link.get('href'))
...
http://example.com/elsie
http://example.com/lacie
http://example.com/tillie

Hal yang sering dilakukan lainnya adalah ekstrak text dari sebuah halaman web.

>>> print(soup.get_text())

The Dormouse's story

The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.
...

Silakan lihat dokumentasi lengkap di https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Sharing is caring: