Bagaimana Cara Agar Mesin Penelusuran Tidak Mengindex Halaman Tertentu Di Blog?
Setelah saya membahas spesifikasi mesin pencari mirip Google, kini ada yang lanjut bertanya "Gimana caranya semoga postingan gak muncul di Google?".
Berkat pertanyaan tersebut, postingan sumbangan ini di buat...
Bagi kamu yang belum tau kenapa harus nge-blok webcrawler atau mesin penelusuran agar enggak merayapi beberapa halaman penting di blog, ini dia jawabannya:
Berkat pertanyaan tersebut, postingan sumbangan ini di buat...
Bagi kamu yang belum tau kenapa harus nge-blok webcrawler atau mesin penelusuran agar enggak merayapi beberapa halaman penting di blog, ini dia jawabannya:
- Faktor SEO
- Privasi
- Struktur website
- Profesionalitas
Gak semua halaman harus timbul di mesin penelusuran, seperti: halaman about, kontak, search, subscribe, form dan lain-lain.
Cara menangkal mesin telusur mengindex halaman penting di website / blog (secara umum):
Setting robot.txt
Pernah denger kan? Mungkin saking seringnya kamu denger, sampai gak tau fungsinya apa. :D
Dengan mengkonfigurasi file robot.txt di halaman website, maka mesin penelusuran akan menyesuaikan sesuai dengan isyarat atau aba-aba yang kau tuliskan di file tersebut.
berikut arahan robot.txt:
User-agent: *
Disallow:
Keterangan: user agent mampu kamu ganti sesuai dengan harapan, robot mana yang hendak kau blok? contohnya kamu ingin nge-blok Google, maka kodenya seperti berikut:
User-agent: Googlebot
Disallow: /
Disallow berfungsi untuk mesin penelusuran atau suatu robot berhenti merayapi halaman tersebut, kau bisa isi disallow dengan link URL halaman yang gak mau di index atau di rayapi.
Contohnya, saya gak mau halaman search aku di index Google, maka kodenya menjadi:
User-agent: Googlebot
Disallow: /search
Praktis kan?
Semua juga bisa melakukan hal semacam ini, gak usah menjadi anak IT untuk dapat merubah konfigurasi situs web. Tinggal baca artikel derma ngeblog di IBH, semuanya tertuntaskan.
Berikut ini daftar nama-nama webcrawler yang tersebar di internet (user-agent):
Tapi yang terpercaya dan paling populer cuma ada 3 user-agent:
Berikut ini daftar nama-nama webcrawler yang tersebar di internet (user-agent):
- AhrefsBot
- Baiduspider
- Ezooms
- MJ12bot
- YandexBot
Tapi yang terpercaya dan paling populer cuma ada 3 user-agent:
- Googlebot
- Yahoo! Slurp
- bingbot
Tentukan pilihanmu, mana yang harus kamu izinkan, mana yang kau larang. Semuanya kembali lagi ke teknik SEO yang paling baru dan sesuai dengan algoritma terkini.
Jika ada pertanyaan terkait robot.txt atau mesin penelusuran, silahkan berkomentar dan jangan ragu!
0 Response to "Bagaimana Cara Agar Mesin Penelusuran Tidak Mengindex Halaman Tertentu Di Blog?"
Post a Comment