Cara Kerja Search Engine Dibalik Layar

Biasanya para mastah (master) SEO pada umumnya menjelaskan Riset Keyword di awal dari setiap pembelajaran, namun kali ini saya akan mencoba sesuatu yang berbeda. Yang akan merubah mindset Anda mengenai cara kerja Search Engine pada umumnya, sebagai contoh kasus kita akan menggunakan search engine raksasa yang populer pada saat ini Google.

Google itu terdiri dari 2 bagian, yang pertama adalah bagian crawlernya, robot yang berkeliaran untuk mencari data berupa halaman website, dan yang kedua adalah index web, yang kedua ini adalah bagian yang setiap hari kita gunakan, setiap kali kita akan mencari sesuatu dengan cara mengetikan keyword dikotak pencarian. Saya tidak akan membahas yang bagian kedua. Karena Anda sudah biasa menggunakannya.

Bagian yang pertama yaitu crawler, atau biasa disebut sebagai bot spider, googlebot saat ini sudah sampai versi ke 2.1, googlebot 2.1, bertugas sebagai crawler atau bot spider screen scraper.

Apa sih fungsi dari googlebot, atau crawler atau bot spider yang dimiliki google?

Googlebot 2.1 atau crawler berfungsi sebagai robot yang terus merayap, bergerilya ,bergentayangan, untuk terus menerus mencari data/berita/artikel terbaru berupa halaman website yang uptodate. Maksudnya seperti apa?

Anggaplah seperti ini, Anda adalah googlebot, tugas Anda adalah mengecek semua website didunia, apakah ada situs terbaru yang terdaftar, atau adakah pembaruan/update dari situs yang lama yang sudah masuk ke dalam database penyimpanan? Kemudian Anda akan masuk ke dalam sebuah situs server dunia yang di mana terdapat nama-nama website/domain terbaru yang terdaftar, setelah itu Anda mengunjungi satu persatu websitenya, dan setiap halaman dari semua website itu Anda kunjungi pula, dan Anda simpan setiap halaman dari semua website itu ke dalam sebuah tempat penyimpanan data, anggaplah flashdisk. Tentunya Anda pun membuat semacam daftar halaman apa saja yang sudah disimpan, dan diambil di website mana, waktunya kapan.

Setelah Anda melakukan itu semua, maka di hari berikutnya Anda pun melakukan hal yang sama, di tambah dengan mengunjungi situs yang sebelumnya pernah dikunjungi, Anda mengecek apakah ada halaman yang baru, jika Ada maka Anda langsung kunjungi halaman tersebut dan menyimpannya kembali di dalam database penyimpanan, misalnya flashdisk. Nah begitulah googlebot bekerja, robot internet ini bekerja layaknya manusia yang sudah saya jabarkan tadi. Cuma bedanya adalah ini semua dilakukan secara otomatis dan natural, natural di sini maksudnya manusia tidak ikut campur tangan, karena tidak ada operator sama sekali dalam kegiatan crawler yang dilakukan oleh google. Semuanya dilakukan oleh mesin.

Sehingga ketika kita masuk ke dalam www.google.com dan mengetikan suatu keyword misalkan belajar seo di google, maka Anda akan mendapati banyak sekali halaman-halaman website ditampilkan sesuai dengan keyword yang diketikkan di kotak pencarian. Halaman-halaman website ini di ambil oleh googlebot 2.1 yang sebelumnya telah mengcrawl, mengunjungi halaman website tersebut dan menyimpannya di dalam database google, sehingga Anda bisa langsung melihat hasil dari setiap keyword yang Anda ketikkan di dalam kotak pencarian milik google.

Secara teknis cara kerja googlebot yang nyatanya adalah seperti ini :

 

1. Pengecekan database submit url / pengecekan direktori web
2. Crawler mengecek web di direktori
3. Masuk ke halaman depan web
4. Mengecek ke satu persatu link di halaman depan sambil indexing
5. Masuk ke dalam halaman, dan terus mengecek satu persatu link yang ada dalam halaman, sampai halaman tersebut tidak memiliki link ke luar

Dan begitu seterusnya...
Nah dari cara kerja google seperti inilah kemudian para master SEO mencari-cari celah agar halaman websitenya itu bisa muncul dihalaman depan google, google dipaksa untuk
menampilkan halaman-halaman website yang diseokan untuk muncul pada halaman pertama. Ilmu tersebut bernama SEO, Search Engine Optimization.

Sehingga dari sini pula lah google mengeluarkan aturan-aturan yang mana aturan tersebut
sebetulnya berfungsi untuk mengurangi kegiatan pemaksaan google agar memunculkan halaman yang diseokan itu muncul dihalaman pertama google.

Aturan-aturan tersebut adalah Google Panda, Google EMD, Google Penguin, Google Dinosaurus, dan banyak lagi hewan-hewan google lainnya.

@

• Facebook
• Twitter
• Google+
• Pinterest
• StumbleUpon
• Delicious
• LinkedIn
• Reddit