Web Crawling

Web Crawling merupakan suatu teknik untuk:

1. Mengidentifikasikan Hyperlink.

   Hyperlink yang ditemui pada konten akan ditambahkan pada daftar visit, disebut juga dengan istilah frontier.

2. Melakukan proses kunjungan/visit secara rekursif.

  Dari setiap hyperlink, Web crawler akan menjelajahinya dan melakukan proses berulang, dengan ketentuan   yang disesuaikan dengan keperluan aplikasi.

Selain itu, dengan menggunakan web crawler, juga kita dapat menghitung kira2 jumlah banyaknya pengunjung yang mengakses web itu.

Saya biasanya menggunakan web crawler bernama Win Web Crawler (WWC) 2.0. Dengan WWC, kita dapat dengan mudahnya  melakukan kunjungan/ visit secara rekursif, juga kita dapat mengetahui meta, page size, total page read, dan data URL apa saja yang terhubung didalam web yang sedang kita crawling.


WWC atau Win Web Crawler merupakan program yang memiliki masa trial / percobaan 15 hari setelah diinstal. Bagi para pemula menurut saya WWC ini cukup cocok untuk mencoba - coba Web Crawling, karena selain tampilan yang simple WWC juga merupakan program yang terlihat mudah. Dengan tools yang tidak terlalu banyak dan tidak terlalu rumit, WWC ini dapat dikatakn program yang cukup friendly user. Oleh karena itulah saya memilih WWC sebagai program crawling pertama saya untuk mencoba - coba dan mengenal tentang web crawling.

Web Ditangan "yang" Bertanggung Jawab

     Seperti yang telah kita ketahui era globalisasi merupakan era dimana era ini mengutamakan kecepatan penyebaran informasi sebagai senjata utamanya. Dengan kecepatan informasi yang ada dewasa ini, baik di belahan bumi yang lain sekalipun kita dapat mengetahui kejadian - kejadian, event - event, trend fashion, dll. Banyak sekali cara - cara penyebaran informasi yang dapat dilakukan oleh setiap kalangan, salah satunya Web.

     Web atau juga kita kenal sebagai jaringan merupakan suatu cara yang paling diminati dan digemari oleh setiap kalangan. Kegunaan Web itu sendiri bermacam - macam, bisa untuk menyalurkan bakat menulis, promosi / iklan, berjual / beli (e-commerce), untuk sharing, bercengkrama dengan teman - teman, dan lain - lain. Dengan menggunakan Web banyak sekali info - info yang secara cepat kita bisa dapatkan. Dari kecepatan informasi yang bisa kita dapat dari web itu lah, Web dapat dikatakan dapat mempengaruhi hidup dan tradisi kita. Dengan kecepatan informasi itu, tradisi yang sedang booming pun seluruh dunia mengetahuinya. Trend, gaya hidup, teknologi terbaru semua dapat diketahui.

     Tetapi, dengan adanya teknologi Web yang luar biasa tersebut, Web masih tetap memiliki sisi negatif yang diterima oleh beberapa orang. Dari Web, banyak anak - anak yang belum cukup umur dengan mudah mengakses situs - situs yang tidak layak. Dengan hanya membayar 5000 rupiah, anak - anak dengan mudahnya mengakses di warnet - warnet yang ada. Selain itu, banyak juga kebudayaan - kebudayaan dan juga tradisi - tradisi turun temurun yang mulai dilupakan karena dianggap tidak booming atau tidak trend.

     Kesimpulannya, sebagaimana pun teknologi, barang, atau ide sekalipun pasti memiliki dua sisi berbeda yaitu sisi negatif dan positif. Dan sebagaimana pun itu pasti tetap ada juga yang tidak merasa puas atau merasa senang. Semua itu bagaimana kita menyikapinya sendiri. Web yang luar biasa kecanggihannya, jangan sampai disalahgunakan oleh tangan - tangan tidak bertanggung jawab.


Thanks to:
http://stonerocket.net/images/webtools.jpg