CRAWLER
Crawler bertugas untuk mengindeks, membuat
rangking, menyusun dan menata halaman dalam bentuk indeks terstruktur agar bisa
dicari dalam waktu yang sangat cepat.
Obyek dari crawler
adalah isi halaman, file, folder dan direktori web, sedangkan subyek dari robots.txt adalah mesin pencari/search engine crawler.
Crawler ini penting dipahami untuk SEO.
Crawler akan berhadapan
dengan robotsg.txt yang akan memandu mesin pencari/search
engine seperti google, yahoo dan bing untuk mengindeks sebuat blog atau
website, sehingga crawler akan tahu mana halaman, folder atau file yang boleh
diindeks atau tidak, semakin lengkap sebuah panduan dalam robots.txt akan lebih baik, dengan demikian robot
crawler akan dengan cepat mengindeks isi website, kebanyakan halaman situs
berisi link ke halaman lain.
Sebuah spider dapat memulai dari manapun,
apabila ia melihat sebuah link kepada halaman lain, maka ia akan segera menuju
ke sana dan mengambilnya.
Search engine seperti Alta vista mempunyai
banyak spider yang bekerja secara pararel. Sangat direkomendasikan untuk tidak
menggunakan javascript pada menu utama, gunakanlah tag noscript, hyal ini
dikarenakan javascript tidak bisa diambil oleh spider untuk search engine, dan
semua link yang mengandung javascript akan ditolak sebagai halaman teks.
Sumber :
https://211093awan.wordpress.com/2013/07/04/tugas-keempat-softskills-semester-4-web-content-structure-web-analysis-web/
Tidak ada komentar:
Posting Komentar