Web Crawling merupakan suatu teknik untuk:
1. Mengidentifikasikan Hyperlink.
Hyperlink yang ditemui pada konten akan ditambahkan pada daftar visit, disebut juga dengan istilah frontier.
2. Melakukan proses kunjungan/visit secara rekursif.
Dari setiap hyperlink, Web crawler akan menjelajahinya dan melakukan proses berulang, dengan ketentuan yang disesuaikan dengan keperluan aplikasi.
Selain itu, dengan menggunakan web crawler, juga kita dapat menghitung kira2 jumlah banyaknya pengunjung yang mengakses web itu.
Saya biasanya menggunakan web crawler bernama Win Web Crawler (WWC) 2.0. Dengan WWC, kita dapat dengan mudahnya melakukan kunjungan/ visit secara rekursif, juga kita dapat mengetahui meta, page size, total page read, dan data URL apa saja yang terhubung didalam web yang sedang kita crawling.
WWC atau Win Web Crawler merupakan program yang memiliki masa trial / percobaan 15 hari setelah diinstal. Bagi para pemula menurut saya WWC ini cukup cocok untuk mencoba - coba Web Crawling, karena selain tampilan yang simple WWC juga merupakan program yang terlihat mudah. Dengan tools yang tidak terlalu banyak dan tidak terlalu rumit, WWC ini dapat dikatakn program yang cukup friendly user. Oleh karena itulah saya memilih WWC sebagai program crawling pertama saya untuk mencoba - coba dan mengenal tentang web crawling.
WWC atau Win Web Crawler merupakan program yang memiliki masa trial / percobaan 15 hari setelah diinstal. Bagi para pemula menurut saya WWC ini cukup cocok untuk mencoba - coba Web Crawling, karena selain tampilan yang simple WWC juga merupakan program yang terlihat mudah. Dengan tools yang tidak terlalu banyak dan tidak terlalu rumit, WWC ini dapat dikatakn program yang cukup friendly user. Oleh karena itulah saya memilih WWC sebagai program crawling pertama saya untuk mencoba - coba dan mengenal tentang web crawling.
Tidak ada komentar:
Posting Komentar