Kamis, 26 Mei 2016

Struktur Grid (Link Struktur)

Struktur Grid
·         Merupakan perluasan dari struktur linear murni.
·         Struktur ini juga mengandung struktur linear dengan halaman alternatif dan struktur linear dengan halaman tambahan

Sumber :
https://211093awan.wordpress.com/2013/07/04/tugas-keempat-softskills-semester-4-web-content-structure-web-analysis-web/


Struktur Linear (Link Struktur)

Struktur Linear

·         Struktur linear murni
Ø  Digunakan untuk situs-situs web yang kecil, seperti personal page.
Ø  Biasanya hanya terdiri dari 4 – 10 halaman.
Ø  Cocok digunakan untuk menampilkan isi yang bersifat tutorial atau penjelasan mengenai suatu pokok bahasan.
Ø  Kelemahan struktur jenis ini adalah ketidaknyamanan pengunjung dalam menjelajasi isi situs web.
Ø  Pada situs web yang besar struktur ini masih digunakan, tetapi hanya sebatas untuk bagian-bagian penting seperti halaman-halaman registrasi.

·         Struktur linear dengan halaman tambahan
Ø  Digunakan untuk menjelaskan sebuah isi sama seperti struktur linear murni
Ø  Uraian ini cocok untuk membuat sebuah penjelasan yang banyak mengandung uraian detail yang boleh untuk dilewatkan.
Ø  Kelemahan struktur ini sama dengan kelemahan struktur linear murni, yaitu pengunjung tidak dapat melompat kesuatu halaman tanpa melewati halaman berikutnya.

·         Struktur linear dengan halaman pilihan
Ø  Pada struktur ini pengunjung diberi pilihan untuk melompat ke suatu halaman tertentu tanpa harus melewati halaman berikutnya.
Ø  Struktur ini banyak digunakan pada sebagian besar situs web yang ada.
Ø  Cocok digunakan untuk menamoilkan informasi yang bersifat ringan, seperti artikel, berita dan informasi lain yang tidak menuntut pengunjung agar menyimak penjelasan secara bertahap.

·         Struktur linear dengan halaman alternatif
Ø  Pada dasarnya sama dengan struktur linear murni, bedanya pengunjug diberi alternatif “jalan” untuk pergi ke sebuah halaman.
Ø  Struktur ini hanya sedikit lebih baik dari struktur linear murni.
Ø  Struktur ini digunakan untuk isi situs yang bersifat menjelaskan halaman demi halaman, namun ada beberapa bagian yang memiliki tingkatan yang sama. Pada bagian inilah dapat dipisah menjadi halaman alternatif.

Sumber :
https://211093awan.wordpress.com/2013/07/04/tugas-keempat-softskills-semester-4-web-content-structure-web-analysis-web/

Struktur Web

Keuntungan struktur situs web yang dibuat dengan baik :
·         Dapat mengkomunikasikan pesan yang ingin disampaikan kepada pengunjung situs.
·         Pengguna situs web dapat dengan mudah memahami situs web.
·         Mudah untuk dikembangkan pada waktu yang akan datang, termasuk mengupdate suatu halaman situs jika diperlukan.
·         Dapat menurunkan biaya cost pengunjung situs

Contoh Struktur Web:



Struktur Situs Web :
·         Struktur Linear
ü  Struktur linear murni
ü  Struktur linear dengan halaman tambahan
ü  Struktur linear dengan halaman pilihan
ü  Struktur linear dengan halaman alternatif

·         Struktur Grid
ü  Merupakan perluasan dari struktur linear murni.
ü  Struktur ini juga mengandung struktur linear dengan halaman alternatif dan struktur linear dengan halaman tambahan.

·         Struktur Hierarki
ü  Sangat banyak digunakan oleh sebagian besar situs web. Karena struktur ini bersifat fleksibel dan mudah untuk dikembangkan jika diperlukan.
ü  Menggunakan sub-sub direktori dan membentuk level-level ke bawah.
ü  File-file yang memiliki karakteristik fungsi yang sama akan disimpan dalam satu dierktori.
ü  Pada struktur ini gambar-gambar yang digunakan dalam setiap halaman web disimpan dalam sebuah drektori tertentu.



Sumber :
https://211093awan.wordpress.com/2013/07/04/tugas-keempat-softskills-semester-4-web-content-structure-web-analysis-web/

Sabtu, 23 April 2016

Archiving Web (Prilaku Web)

Web Archiving adalah proses mengumpulkan bagian dari WWW dan memastikan koleksi tersebut diawetkan dalam suatu arsip, misalnya situs arsip, untuk diakses peneliti, sejarawan, dan masyarakat umum pada masa datang. Besarnya ukuran Web membuat arsiparis web umumnya menggunakan web crawlers untuk pengumpulan secara otomatis. Organisasi pengarsip web terbesar yang menggunakan ancangan perangkak web ini adalah Internet Archive yang berupaya memelihara arsip dari seluruh Web. Perpustakaan nasional, arsip nasional, dan berbagai konsorsium organisasi lain juga terlibat dalam upaya pengarsipan konten Web yang memiliki nilai penting bagi mereka. Perangkat lunak dan layanan komersial juga tersedia bagi organisasi yang ingin mengarsipkan konten web mereka sendiri untuk berbagai keperluan.
Arsiparis web umumnya mengumpulkan berbagai jenis konten web termasuk halaman HTML Web, style sheet, JavaScript, gambar, dan video. Arsiparsi web menggunakan archive metadata untuk sumber daya yang dikumpulkan seperti access time, MIME type, dan content length. Metadata ini berguna dalam memjaga keaslian dan asal dari koleksi arsip.

Cara kerja Web Archiving :

a. Remote Harvesting
Merupakan cara yang plaing umum dalam web archiving dengan menggunkana teknik web crawlers yang secara otomatis melakukan proses pengumpulan halaman web. Metode yang digunakan web crawler untuk mengakses halaman web sama semeprti user mengakses halaman web menggunakan wob browser. Contoh web crawler yang digunakan dalam web archiving seperti :
• Heritrix
• HTTrack
• Wget

b. On-Demand
Ada banyak layanan yang dapat digunakan sebagai sumber archive web “on-demand”, menggunakan teknik web crawling. Contohnya seperti :
• Aleph Archives
• archive.is
• Archive-It
• Archivethe.net
• Compliance WatchDog by SiteQuest Technologies
• freezePAGE snapshots
• Hanzo Archives
• Iterasi
• Nextpoint
• Patrina 
• PageFreezer
• Reed Archives
• Smarsh Web Archiving 
• The Web Archiving Service 
• webEchoFS
• WebCite
• Website-Archive.com

c. Database Archiving
Databasa Archiving mengacu pada metode untuk menarsipkan konten database-driven websites. Hal ini biasanya memerlukan ekstraksi konten database ke standard schema, sering menggunakan XML. Setelah disimpan dalam format standar, konten yang diarsipkan dari beberapa databse dapat tersedia untuk diakses dengan menggunakan single access system. Motode ini digunkanan seprti pada DeepArc dan Xinq masiing masing dikembangkan oleh Bibliothèque nationale de France dan National Library of Australia.

d. Transactional archiving
Transactional archiving merupakan event-driven yang mengumpulkan transaksi yang berlangsung antara web server dan web browser. Hal ini terutama digunakan untuk menjamin keaslian dari isi suatu website, pada tanggal tertentu. Hal ini sangatlah penting untuk organisasi atau perusahaan yang perlu mematuhi persyaratan hukum atau peraturan untuk mengungkapkan dan mempertahankan informasi.
Sistem yang digunakan pada transactional archiving biasanya beroperasi dengan memeriksa setiap permintaan HTTP dan respon dari web server, menyaring setiap aktifitas untuk menghilangkan konten yang duklikat dan secara permanen disimpan sebagai bitstreams. Sebuah sistem transactional archiving membutuhkan instalasi perangkat lunak pada web server, dan karena hal itu maka metode ini tidka dapat mengumpulkan konten dari remote website.

Web archiving beralih ke halaman ini. Untuk web.archive.org, lihat Wayback Machine. Untuk format file Safari, lihat webarchive. Untuk format file Sun Microsystems, lihat WAR (Sun format file).
Artikel ini berisi daftar referensi, namun tetap tidak jelas sumber karena memiliki inline citations cukup. Harap membantu memperbaiki artikel ini dengan memperkenalkan kutipan lebih tepat. (Januari 2010)
Web pengarsipan adalah proses pengumpulan bagian dari World Wide Web untuk memastikan informasi tersebut diawetkan dalam arsip bagi para peneliti di masa depan, sejarawan, dan masyarakat umum. Arsiparis web biasanya menggunakan web crawler untuk menangkap otomatis karena ukuran besar dan jumlah informasi di Web. Organisasi web terbesar pengarsipan berdasarkan pendekatan merangkak massal adalah Internet Archive yang berusaha untuk memelihara arsip dari seluruh Web. Perpustakaan nasional, arsip nasional dan konsorsium berbagai organisasi yang juga terlibat dalam pengarsipan konten Web budaya penting. Web komersial pengarsipan perangkat lunak dan layanan juga tersedia bagi organisasi yang perlu arsip konten web mereka sendiri untuk warisan perusahaan, peraturan, atau tujuan hukum.

Arsiparis web jenis arsip umum berbagai konten web termasuk halaman web HTML, style sheet, JavaScript, gambar, dan video. Mereka juga arsip metadata tentang sumber daya dikumpulkan seperti waktu akses, tipe MIME, dan panjang konten. Metadata ini berguna dalam membangun keaslian dan asal dari koleksi arsip.

Metode pengumpulan

panen Jarak Jauh
Web yang paling umum pengarsipan teknik menggunakan web crawler untuk mengotomatisasi proses pengumpulan halaman web. Web crawler biasanya mengakses halaman web dengan cara yang sama bahwa pengguna dengan browser Web melihat, dan karena itu memberikan metode yang relatif sederhana dari konten web panen jarak jauh. Contoh web crawler yang digunakan untuk web pengarsipan meliputi:
1. Heritrix
2. HTTrack
3. Wget
4. On-demand
Ada banyak layanan yang dapat digunakan untuk sumber daya arsip web “on-demand”, menggunakan teknik web merangkak.
Aleph Arsip, menawarkan layanan web pengarsipan untuk kepatuhan peraturan dan eDiscovery bertujuan untuk perusahaan (pasar Global 500), industri hukum dan pemerintah.
archive.is, sebuah layanan gratis yang menghemat halaman dan semua gambar nya. Hal ini dapat menyimpan halaman Web 2.0.
Arsip-It, sebuah layanan berlangganan yang memungkinkan lembaga-lembaga untuk membangun, mengelola dan mencari arsip web mereka sendiri.

Archivethe.net, sebuah shared web-platform pengarsipan dioperasikan oleh Internet Research Memory, spin-off dari dasar memori internet (sebelumnya Eropa Arsip Yayasan). IM Situs
Kepatuhan Watchdog oleh SiteQuest Technologies, sebuah layanan berlangganan yang arsip website dan memungkinkan pengguna untuk menelusuri situs tersebut seperti yang muncul di masa lalu. Hal ini juga memonitor situs untuk perubahan dan personil kepatuhan peringatan jika perubahan terdeteksi.

freezePAGE snapshot, sebuah layanan gratis / langganan. Untuk melestarikan snapshot, membutuhkan login setiap hari tiga puluh untuk pengguna terdaftar, enam puluh hari untuk pengguna terdaftar.
Hanzo Arsip, menyediakan web pengarsipan, awan pengarsipan, dan media sosial pengarsipan perangkat lunak dan layanan untuk e-discovery, manajemen informasi, konten perusahaan sosial, Financial Industry Regulatory Authority, Amerika Serikat Securities and Exchange Commission, dan kepatuhan Food and Drug Administration, dan perusahaan warisan. Hanzo digunakan oleh organisasi terkemuka di banyak industri, dan lembaga pemerintah nasional. Web akses arsip adalah on-demand dalam format asli, dan termasuk pencarian teks lengkap, penjelasan, redaksi, kebijakan arsip dan browsing temporal. Hanzo terintegrasi dengan aplikasi terkemuka penemuan elektronik dan jasa.

Iterasi, Menyediakan web perusahaan pengarsipan untuk kepatuhan, litigasi, e-discovery perlindungan dan warisan merek. Bagi perusahaan perusahaan, organisasi keuangan, lembaga pemerintah dan banyak lagi.

NextPoint, menawarkan berbasis cloud otomatis, SaaS untuk kebutuhan pemasaran, kepatuhan dan litigasi terkait termasuk penemuan elektronik.

PageFreezer, berlangganan layanan SaaS untuk arsip, replay dan situs pencari, blog, web 2.0, Flash & media sosial untuk memenuhi pemasaran, eDiscovery dan peraturan dengan US Food and Drug Administration (FDA), Keuangan Industri Regulatory Authority (FINRA), US Securities and Exchange Commission, Sarbanes-Oxley Act federal Aturan Bukti dan hukum catatan manajemen. Arsip dapat digunakan sebagai bukti hukum.

Reed Arsip, menawarkan perlindungan litigasi, kepatuhan terhadap peraturan & eDiscovery dalam, industri perusahaan hukum dan pemerintah.

Smarsh Web Pengarsipan dirancang untuk menangkap, memelihara dan menciptakan kembali pengalaman web seperti ada setiap saat dalam waktu untuk kewajiban kepatuhan e-discovery dan peraturan. (Smarsh diperoleh menerus Mei 2012).

The Web Pengarsipan Layanan adalah layanan berlangganan dioptimalkan untuk lingkungan akademik dipandu oleh masukan dari pustakawan, arsiparis dan peneliti. WS menyediakan penjelajahan topikal, perbandingan perubahan dan situs-by-lokasi kontrol pengaturan penangkapan dan frekuensi. Dikembangkan dan diselenggarakan oleh University of California Pusat Kurasi di Perpustakaan Digital California.
webEchoFS, menawarkan layanan berlangganan yang diciptakan khusus untuk memenuhi kebutuhan perusahaan Jasa Keuangan peraturan periklanan subjek yang berhubungan dengan FINRA dan Investasi Act Advisors.

WebCite, sebuah layanan gratis khusus untuk penulis ilmiah, editor jurnal, dan penerbit untuk secara permanen arsip dan mengambil referensi dikutip Internet.

Situs-Archive.com, layanan berlangganan. Captures layar-tembakan halaman, transaksi dan perjalanan pengguna menggunakan “browser yang sebenarnya”. Layar-tembakan dapat dilihat secara online atau download dalam arsip bulanan. Menggunakan teknologi Cloud Pengujian.

database pengarsipan
Database pengarsipan mengacu pada metode untuk pengarsipan konten mendasari database-driven website. Hal ini biasanya memerlukan ekstraksi dari isi database ke skema standar, sering menggunakan XML. Setelah disimpan dalam format standar, isi arsip dari beberapa database kemudian dapat dibuat tersedia dengan menggunakan sistem akses tunggal. Pendekatan ini dicontohkan oleh alat DeepArc dan Xinq dikembangkan oleh Bibliothèque nationale de France dan Perpustakaan Nasional Australia masing-masing. DeepArc memungkinkan struktur database relasional yang akan dipetakan ke skema XML, dan konten diekspor ke dokumen XML. Xinq kemudian memungkinkan konten yang akan disampaikan secara online. Meskipun tata letak asli dan perilaku website tidak dapat dipertahankan dengan tepat, Xinq tidak memungkinkan query dasar dan fungsi pengambilan dapat direplikasi.

Transaksional pengarsipan
Transaksional pengarsipan adalah sebuah pendekatan event-driven, yang mengumpulkan transaksi yang sebenarnya yang terjadi antara web server dan browser web. Hal ini terutama digunakan sebagai sarana melestarikan bukti isi yang sebenarnya dilihat di situs web tertentu, pada tanggal tertentu. Hal ini mungkin sangat penting bagi organisasi yang perlu mematuhi persyaratan hukum atau peraturan untuk mengungkapkan dan mempertahankan informasi.
Sebuah sistem pengarsipan transaksional biasanya beroperasi dengan mencegat setiap permintaan HTTP untuk, dan tanggapan dari, server web, penyaringan setiap respon untuk menghilangkan duplikat konten, dan secara permanen menyimpan tanggapan sebagai bitstreams. Sebuah sistem pengarsipan transaksional memerlukan instalasi software pada server web, dan karenanya tidak dapat digunakan untuk mengumpulkan konten dari situs remote.

Sumber :
http://fryunfirst.blogspot.co.id/2013/05/web-archiving.html


Crawler Web (Prilaku Web)

Web crawler adalah suatu program atau script otomat yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.
Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan.

Ketika web crawl suatu search engine mengunjungi halaman web, ia “membaca” teks yang terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti meta tag yang banyak berisi keyword. Berdasar informasi yang dikumpulkan web crawl, search engine akan menentukan mengenai apakah suatu situs dan mengindex informasinya. Website itu kemudian dimasukkan ke dalam database search engine dan dilakukan proses penentuan ranking halaman-halamannya.
Namun search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa menggunakan web crawl untuk melakukan analisis tekstual; yakni, mereka bisa menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini. Peneliti pasar dapat menggunakan web crawl untuk menentukan dan memanipulasi trend pada suatu pasar tertentu. Ini semua merupakan contoh beragam penggunaan web crawl. Web crawl dapat digunakan oleh siapapun yang melakukan pencarian informasi di Internet.
Web crawl bisa beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan, atau jika tujuannya untuk jangka panjang seperti pada kasus search engine, mereka bisa diprogram untuk menyisir Internet secara periodik untuk menentukan apakah sudah berlangsung perubahan signifikan. Jika suatu situs mengalami trafik sangat padat atau kesulitan teknis, spider atau crawl dapat diprogram untuk mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu terselesaikan

Sumber :
https://djuyadi.wordpress.com/2010/03/06/web-crawl-web-spider-web-robot-bot-crawl-automatic-indexer/


Spider Web (Prilaku Web)

Apakah sebenarnya yang dimaksud dengan Spider Web? Ternyata maksud dari Spider Web adalah Seluruh peserta harus berpindah dari satu sisi ke sisi yang lain melalui sebuah jaring laba-laba raksasa dengan dibantu rekan yang lain..

Spider Web adalah salah satu informasi penting yang sangat berguna bagi anda yang membutuhkan informasi tentang Seluruh peserta harus berpindah dari satu sisi ke sisi yang lain melalui sebuah jaring laba-laba raksasa dengan dibantu rekan yang lain.. Terkadang informasi ini sangat sulit karena Seluruh peserta harus berpindah dari satu sisi ke sisi yang lain melalui sebuah jaring laba-laba raksasa dengan dibantu rekan yang lain. masih jarang tersedia informasinya secara lengkap di internet.
Walaupun demikian bukan berarti Spider Web sulit digali informasinya, terutama di dunia maya (internet). Informasi tentang Seluruh peserta harus berpindah dari satu sisi ke sisi yang lain melalui sebuah jaring laba-laba raksasa dengan dibantu rekan yang lain. bisa dengan mudah anda dapatkan jika anda mau jeli dalam mencarinya di internet.
Rekomendasi kami tentang informasi Spider Web sementara ini hanya masih sebatas beberapa website saja. Informasi Seluruh peserta harus berpindah dari satu sisi ke sisi yang lain melalui sebuah jaring laba-laba raksasa dengan dibantu rekan yang lain. yang anda inginkan silahkan akses di beberapa link website di bawah ini.
Jika masih belum bisa menemukan informasi tentang Spider Web yang berisi detail tentang Seluruh peserta harus berpindah dari satu sisi ke sisi yang lain melalui sebuah jaring laba-laba raksasa dengan dibantu rekan yang lain. silahkan mencari referensi di Google. Masukkan kata kunci yang berhubungan dengan Spider Web maka anda akan bisa menemukan berbagai website atau blog yang memuat tentang Seluruh peserta harus berpindah dari satu sisi ke sisi yang lain melalui sebuah jaring laba-laba raksasa dengan dibantu rekan yang lain. yang bisa anda ambil informasinya secara cuma-cuma.


Search Engine (Prilaku Web)

Mesin pencari web (web search engine) adalah program komputer yang dirancang untuk melakukan pencarian atas berkas-berkas yang tersimpan dalam layanan www, ftp, publikasi milis, ataupun news group dalam sebuah ataupun sejumlah komputer peladen dalam suatu jaringan. Search engine merupakan perangkat pencari informasi dari dokumen-dokumen yang tersedia. Hasil pencarian umumnya ditampilkan dalam bentuk daftar yang seringkali diurutkan menurut tingkat akurasi ataupun rasio pengunjung atas suatu berkas yang disebut sebagai hits. Informasi yang menjadi target pencarian bisa terdapat dalam berbagai macam jenis berkas seperti halaman situs web, gambar, ataupun jenis-jenis berkas lainnya. Beberapa mesin pencari juga diketahui melakukan pengumpulan informasi atas data yang tersimpan dalam suatu basisdata ataupun direktori web.
Sebagian besar mesin pencari dijalankan oleh perusahaan swasta yang menggunakan algoritma kepemilikan danbasisdata tertutup, di antaranya yang paling populer adalah Google (MSN Search dan Yahoo!). Telah ada beberapa upaya menciptakan mesin pencari dengan sumber terbuka (open source), contohnya adalah Htdig, Nutch, Egothor

Sejarah
Saat awal perkembangan internet, Tim Berners-Lee membuat sebuah situs web yang berisikan daftar situs web yang ada di internet melalui peladen web CERN. Sejarah yang mencatat sejak tahun 1992 masih ada hingga kini. Dengan semakin banyaknya situs web yang aktif membuat daftar ini tidak lagi memungkinkan untuk dikelola oleh manusia. Utilitas pencari yang pertama kali digunakan untuk melakukan pencarian di internet adalah Archie yang berasal dari kata "archive" tanpa menggunakan huruf "v". Archie dibuat tahun 1990 oleh Alan Emtage, Bill Heelan dan J. Peter Deutsch, saat itu adalah mahasiswa ilmu komputer Universitas McGill, Amerika Serikat. Cara kerja program tersebut adalah mengunduh daftar direktori serta berkas yang terdapat pada layanan ftp publik (anonim) kemudian memuatnya ke dalam basisdata yang memungkinkan pencarian.
Mesin pencari lainnya seperti Aliweb, muncul di 1993 dan masih berjalan hingga saat ini. Salah satu mesin pencari pertama yang sekarang berkembang menjadi usaha komersial yang cukup besar adalah Lycos, yang dimulai di Carnegie Mellon University sebagai proyek riset pada tahun 1994.
Segera setelah itu, banyak mesin pencari yang bermunculan dan bersaing memperebutkan popularitas. Termasuk di antaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi, dan AltaVista. Masing-masing bersaing dengan menambahkan layakan-layanan tambahan seperti yang dilakukan oleh Yahoo.
Tahun 2002 Yahoo! mengakuisisi Inktomi, setahun kemudian mengakuisisi AlltheWeb dan Altavista kemudian meluncurkan mesin pencari sendiri yang didasarkan pada teknologi gabungan dari mesin-mesin pencari yang telah diakuisisinya serta memberikan layanan yang mengutamakan pencarian Web daripada layanan-layanan lainnya.
Di bulan desember 2003, Orase menerbitkan versi pertama dari teknologi pencari waktu-riilnya. Mesin ini memiliki banyak fungsi baru dan tingkat unjuk kerja yang jauh lebih baik.
Mesin pencari juga dikenal sebagai target investasi internet yang terjadi pada akhir tahun 1990-an. Beberapa perusahaan mesin pencari yang masuk ke dalam pasar saham diketahui mencatat keuntungan besar. Sebagian lagi sama sekali menonaktifkan layanan mesin pencari, dan hanya memasarkannya pada edisi-edisi enterprise saja, contoh Northern Light sebelumnya diketahui merupakan salah satu perintis layanan mesin pencari di internet.
Buku Osmar R. Zaïane From Resource Discovery to Knowledge Discovery on the Internet menjelaskan secara rinci sejarah teknologi mesin pencari sebelum munculnya Google. Mesin-mesin pencari lainnya mencakup a9.com, AlltheWeb, Ask Jeeves, Clusty, Gigablast, Teoma, Wisenut, GoHook, Kartoo, dan Vivisimo.

Cara Kerja Mesin Pencari
Mesin pencari web bekerja dengan cara menyimpan informasi tentang banyak halaman web, yang diambil langsung dari WWW. Halaman-halaman ini diambil dengan web crawler — browser web otomatis yang mengikuti setiap pranala/link yang dilihatnya. Isi setiap halaman lalu dianalisis untuk menentukan cara indeks-nya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah databaseindeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.
Selain halaman web, Mesin pencari juga menyimpan dan memberikan informasi hasil pencarian berupa pranala yang merujuk pada file, seperti file audio, file video, gambar, foto dan sebagainya, serta informasi tentang seseorang, suatu produk, layanan, dan informasi beragam lainnya yang semakin terus berkembang sesuai dengan perkembangan teknologi informasi.
Ketika seseorang mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan kadang-kadang sebagian teksnya.
Ada jenis mesin pencari lain: mesin pencari real-time, seperti Orase. Mesin seperti ini tidak menggunakan indeks. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal: informasi selalu mutakhir, (hampir) tak ada pranala mati, dan lebih sedikit sumber daya sistem yang diperlukan. (Google menggunakan hampir 100.000 komputer, Orase hanya satu.) Tetapi, ada juga kelemahannya: pencarian lebih lama rampungnya.
Manfaat mesin pencari bergantung pada relevansi hasil-hasil yang diberikannya. Meskipun mungkin ada jutaan halaman web yang mengandung suatu kata atau frasa, sebagian halaman mungkin lebih relevan, populer, atau autoritatif daripada yang lain. Kebanyakan mesin pencari menggunakan berbagai metode untuk menentukan peringkat hasil pencarian agar mampu memberikan hasil "terbaik" lebih dahulu. Cara mesin menentukan halaman mana yang paling sesuai, dan urutan halaman-halaman itu diperlihatkan, sangat bervariasi. Metode-metode nya juga berubah seiring waktu dengan berubahnya penggunaan internet dan berevolusinya teknik-teknik baru.
Sebagian besar mesin pencari web adalah usaha komersial yang didukung pemasukan iklan dan karenanya sebagian menjalankan praktik kontroversial, yaitu membolehkan pengiklan membayar agar halaman mereka diberi peringkat lebih tinggi dalam hasil pencarian.

Proses Pencarian
Melakukan pencarian dokumen yang dimuat pada suatu situs bisa begitu mudah dan kelihatannya mungkin sulit juga. apalagi mengingat begitu menyebarnya informasi di mana-mana, bahkan University of Calofornia menyebutkan saat ini telah terdapat lebih dari 50 miliar halaman web di internet, meskipun tidak ada ada satupun yang benar-benar tahu jumlah persisnya.
kesulitan yang mungkin terjadi adalah karena WWW tersebut tidak terdata dalam bentuk yang terstandardisasi isinya. tidak sama halnya dengan katalog yang ada di perpustakaan, yang memiliki standardisasi secara mendunia berdasarkan subjek dari judul buku, meskipun jumlahnya juga tidak sedikit.
Dalam pencarian di web, pengguna selalu memperkirakan kata apa yang di kira-kira terdapat pada halaman yang ingin anda temukan. atau kira-kira apa subjek yang dipilih oleh seseorang untuk mengelola halaman situs yang mereka kelola, topik apa saja kira-kira yang di bahas.
Jika pengguna melakukan apa yang dikenal dengan pencarian pada halaman web, sebenarnya tidaklah melakukan pencarian. tidak mungkin melakukan pencarian di WWWsecara langsung.
Pada web benar-benar terdiri dari banyak sekali halaman web yang ingin disimpan dari berbagai server diseluruh dunia. Komputer pengguna tidak langsung melakukan pencarian kepada seluruh komputer tersebut secara langsung.
Apa yang mungkin pengguna lakukan hanyalah melalui komputer untuk mengakses satu atau lebih perantara yang disebut dengan alat bantu pencarian yang ada saat ini. Melakukan pencarian pada alat bantu itu tadi ke database yang dimiliki. database tersebut mengkoleksi situs-situs yang ditemukan dan simpan.
alat bantu pencarian ini menyediakan hasil pencarian dalam bentuk hypertext link dengan URL menuju halaman lainnya. ketika anda klik link ini, dan menuju ke alamat tersebut maka dokumen, gambar, suara dan banyak lagi bentuk lainnya yang ada pada server tersebut disediakan, sesuai dengan informasi yang terdapat di dalamnya. layanan ini bisa menjangkau ke manapun di seluruh dunia.
Tidak mungkin seseorang untuk melakukan pencarian ke seluruh komputer yang terhubung internet ini, atau bahkan alat bantu pencarian yang mengklaim bahwa melakukannya, tidak benar

Prinsip Umum Dari Mesin Pencari
Sistem kinerja mesin ini ada beberapa hal yang perlu di perhatikan terutama keterkaitannya dengan masalah arsitekrut dan mekanismenya.

Spider

Merupakan program yang men-download halaman-halaman yang mereka temukan, mirip dengan browser. Perbedannya adalah bahwa browser menapilkan secara langsung informasi yang ada (baik tekas, gambar, dll). Untuk kepentingan manusia yang menggunakannya pada saat itu, sedangkan spider tidak melakukan untuk menampilkan dalam bentuk yang terlihat seperti itu, karena kepentingannya adalah untuk mesin, bukan untuk manusia, spider pun dijalankan oleh mesin secara otomatis. Kepentingannya adalah untuk mengambil halaman-halaman yang dikunjunginya untuk disimpan kedalam database yang dimiliki oleh search engine.

Crawler

Merupakan program yang dimiliki search engine untuk melacak dan menemukan link yang terdapat dari setiap halaman yang ditemuinya. Tugasnya adalah untuk menentukan spoder harus pergi kemana dan mengevaluasi link berdasarkan alamat yang ditentukan dari awal. Crawler mengikuti link dan mencoba menemukan dokumen yang belum dikenal oleh search engine.

Indexer

Komponen ini melakukan aktivitas untuk menguraikan masing-masing halaman dan meneliti berbagai unsur, seperti teks, headers, struktur atau fitur dari gaya penulisan, tagHTML khusus, dll.

Database

Merupakan tempat standar untuk menyimpan data-data dari halaman yang telah dikunjungi, di-download dan sudah dianalisis. kadang kala disebut juga dengan index dari suatu search engine.

Result Engine

Mesin yang melakukan penggolongan dan penentuan peringkat dari hasil pencarian pada search engine. Mesin ini menentukan halaman mana yang menemui kriteria terbaik dari hasil pencarian berdasarkan permintaan penggunanya, dan bagaimana bentuk penampulan yang akan ditampilkan.
Proses ini dilaksanakan berdasarkan algoritma perangkingan yang dimiliki oleh search engine tersebut, mengikuti kaidah perangkingan hakaman yang dipergunakan oleh mereka adalah hak mereka, para peneliti mempelajari sifat-sifat yang mereka gunakan, terutama untuk meningkatkan pencarian yang dihasilkan oleh serach engine tersebut.

Web Server

Merupakan komponen yang melayani permintaan dan memberikan respon balik dari permintaan tersebut. Web Server ini biasanya menghasilkan informasi atau dokumen dalam format HTML. Pada halaman tersebut tersedia layanan untuk mengisikan kata kunci pencarian yang diinginkan oleh usernya. Web Server ini juga bertanggung jawab dalam menyampaikan hasil pencarian yang dikirimkan kepada komputer yang meminta informasi.

Sumber :
https://id.wikipedia.org/wiki/Mesin_pencari_web