Cara Menggunakan dan Pasang Robot.txt di Blog

Cara Menggunakan dan Pasang Robot.txt di Blog Selamat Malam Selamat Jumpa kembali dengan Saya kali ini saya akan bahas tentang Cara Pasang Robot.txt dimana Robot.txt ini hanya untuk memberitahukan robot mesin pencari tentang struktur apa yan boleh dirayapi apa yang tidak boleh dirayapi oleh google bot, dan sebelumnya juga sudah saya bahas tentang Cara Menjadi Rangking 1 di Google serta Cara pasang widget artikel acak di blog, nah mari kita lanjutkan kembali ke topik pembahasannya Secara defaultnya maka robot.txt yang ada pada blog anda adalah seperti ini:

CARA PASANG ROBOT.TXT

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://www.jasaseoblog.com/feeds/posts/default?orderby=UPDATED

Penjelasan Tentang Bagian-Bagian Robot.txt

User-agent: Mediapartners-Google =Yang artinya adalah Robot Google Adsense diijinkan untuk merayapi blog anda.

Disallow: =Yang artinya adalah Yang tidak diperbolehkan tidak ada

User-agent: * =Yang artinya adalah Semua robot Search Engine atau mesin pencari jadi semua

Disallow: /search =Yang artinya adalah robot Tidak diperbolehkan merayapi folder search seperti yang ada pada label blog

Allow: / =Yang artinya Mengizinkan semua halaman blog untuk dirayapi, kecuali yang telah tertulis pada Disallow di atas. dan Tanda (/) kurang lebihnya artinya adalah nama blog.

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED =Yang artinya adalah sitemap (Peta situs) atau alamat feed blog kita

Bagimana Cara Mengedit Robot.txt tersebut?

Caranya cukuplah mudah anda masuk ke menu SETELAN > PREFERENSI PENELUSURAN > ROBOT.TXT KHUSUS atau anda bisa perhatikan gambar berikut ini:

Jika anda ingin pasang robot txt khusus secara default maka anda tinggal pasang yang seperti diatas yang telah saya contohkan, tetapi jika anda ingin melarang robot mesin pencari merayapi halaman yang tidak ingin dirayapi oleh robot anda bisa lihat contohnya dibawah ini:

Robot.txt Default atau Standar:
User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.jasaseoblog.com/feeds/posts/default?orderby=UPDATED

Contoh Halaman About Yang Tidak dirayapi:
User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /2013/12/tentang-penulis.html
Disallow: /search
Allow: /
Sitemap: http://www.jasaseoblog.com/feeds/posts/default?orderby=UPDATED

Contoh Halaman TV Online Yang Tidak dirayapi:
User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /2013/12/nonton-tv-online-gratis.html
Disallow: /search
Allow: /
Sitemap: http://www.jasaseoblog.com/feeds/posts/default?orderby=UPDATED

Contoh 2 Halaman About dan TV Online Yang Tidak dirayapi:
User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /2013/12/nonton-tv-online-gratis.html
Disallow: /2013/12/tentang-penulis.html
Disallow: /search
Allow: /
Sitemap: http://www.jasaseoblog.com/feeds/posts/default?orderby=UPDATED

Referensi Robot.txt
https://support.google.com/webmasters/answer/40361?hl=id
http://www.mcanerin.com/en/search-engine/robots-txt.asp
http://www.robotstxt.org/robotstxt.html
http://en.wikipedia.org/wiki/Robots_exclusion_standard

Ok itu saja informasi kali ini tentang Cara Menggunakan dan Pasang Robot.txt di Blog dan semoga informasi ini bermanfaat buat anda semuanya, terima kasih.