ALUR PROSES DATA SCRAPE WEBSITE

 

Hai para pembaca!

Pada artikel kali ini kita akan membahas tentang alur proses data scrape pada website lain

Silahkan dibaca artikel berikut dengan seksama dan semoga bermanfaat.

Apa itu web scraping?

Web scraping adalah proses ekstrasi data dari sebuah website. Salah satu contohnya adalah meng-copy daftar contact dari sebuah direktori web. Memang Anda bisa saja melakukan ini secara manual denagn meng-copy paste data ke excel, misalnya.

Tetapi bagaimana kalau datanya banyak? Untuk ini, Anda membutuhkan automation yang bisa membantu proses web scraping Anda lebih cepat dan mudah.

Web scraping dilakukan dengan menggunakan web scraper, bot, web spider, atau web crawler. Web scraper sendiri adalah program yang masuk ke halaman website, download kontennya, mengekstrak data dari konten, dan menyimpan data ke satu file atau database.

Kenapa kita perlu melakukan web scraping?

Ada banyak alasan mengapa web scraping semakin diperlukan di zaman sekarang. Dengan semakin berkembangnya big data, jumlah data yang tersedia sudah tidak terhitung lagi.

Bayangkan kalau Anda harus mengumpulkan dan menyimpan jutaan data dalam satu file sendirian, pasti pusing kan?

Web scraping bisa membantu Anda untuk mengumpulkan data dengan lebih cepat. Selain itu, kalau memang data yang Anda kumpulkan berjumlah besar, Anda juga bisa melakukan automation dan Anda tidak perlu repot lagi karena yang penting Anda bisa membiarkan server Anda berjalan.

Dengan efisiensi web scraping, ini juga membantu proses analisa data Anda karena membantu mengumpulkan semua data tanpa ketinggalan, Anda akan mendapat data lengkap dari proses ini.

Dengan begitu, Anda bisa mencari tahu lebih banyak tentang demografis Anda, mulai dari gender, umur, dan data-data lain yang bisa membantu bisnis Anda. Data-data ini tentunya akan memberi insight yang bernilai untuk membantu Anda membuat keputusan yang tepat dalam berbisnis.

Tidak hanya data pelanggan, Anda juga bisa memanfaatkan web scraping untuk mengumpulkan data lain yang penting untuk bisnis Anda.

Nah untuk alurnya sendiri terbagi menjadi beberapa langkah:

Pertama kita memerlukan alamat suatu website target contohnya seperti gambar dibawah

Inspect Element Website

Untuk mengetahui kode dari website http://quotes.toscrape.com kita bisa lakukan dengan teknik inspect element melalui browser

Caranya klik kanan di halaman website yang ingin diinspect kemudian pilih Inspect Element dan akan muncul halaman kode HTML dari halaman website tersebut. Posisi halaman inspect bisa diatur disebelah kiri halaman website atau dibawah

              

Kemudian gunakan library Beautifulsoup4 dengan menggunakan fungsi find() untuk mengekstrak file HTML contohnya seperti code dibawah ini:

from bs4 import BeautifulSoup

import requests

html = requests.get('https://quotes.toscrape.com')

html_soup = BeautifulSoup(html.content,'html.parser')

quote = html_soup.find('span', class_ = 'text').text

author = html_soup.find('small', class_ = 'author').text

print(quote)

print(author)