CARA SETTING ROBOT.TXT DAN TAG ROBOT PADA BLOG

Panduan Blog yang disusun pada halaman ini sengaja saya buat untuk memudahkan Anda dalam mencari tutorial blog yang Anda butuhkan. Dengan demikian bagi anda yang baru saja membuat blog tidak lagi kesulitan dalam memodifikasi, mempercantik blog yang Anda miliki. Tidak hanya itu saja, panduan blogger yang saya muat pada halaman ini juga merupakan panduan blogger terbaru sehingga relevansi tutorial blog yang disajikan mudah-mudahan bisa diaplikasikan dengan mudah, dalam hal ini saya akan membahas tentang penyetingan robot.txt pada fungsi Perayap dan Pengindeksan blog.

Robot sering digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang saya baca, penggunaan robot.txt ini sangat berguna untuk mendongkrak SEO blog, hmm mau dong…

The Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.

Misalkan ada halaman yang tidak ingin kita tampilkan kepada publik dan mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger sudah mendukung fungsi ini dan ini menunjukkan bahwa blogger semakin memudahkan kita untuk optimasi SEO blog kita.

Kalo belum mengerti juga, anda dapat mendaftarkan blog anda di google websmaster disini. Lalu liat pada kesalahan perayapan, fungsi pemblokiran akan dilakukan oleh robot.txt ini.

Cara Mengaktifkan Dan Setting Robot.txt:   

1. Log in ke blogger dengan akun blogger anda. 
2. Klik setelan > Preferensi penelusuran / Search preferences. 
   
3. Pada tab perayap dan pengindeksan pilih robot.txt. 
4. Dan masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://saungblogist.blogspot.com/feeds/posts/default?orderby=UPDATED

 KETERANGAN: Ganti url: http://saungblogist.blogspot.com dengan url anda.

Keterangan:

• Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
• Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search  yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
• Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
• Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

5.  Klik simpan perubahan.

Setting TAG ROBOT Perayap dan Pengindeksan

1. Masih di menu setting Search preferences / Preferensi penelusuran
2. Dibagian paling bawah ada menu Custom robots header tags/Tag tajuk robot khusus. Klik edit.
3. Pilih yes
4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini

5. Save changes

CATATAN PENTING UNTUK DI PERHATIKAN

Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur. Artinya, bila salah penempatan dan penginputan kode bisa-bisa blog anda tidak akan dilirik alias diabaikan.

Demikian itu saja tips dan cara setting robot.txt dan tag robot yang dapat saya jelaskan, semoga bermanfaat. Kunjungi terus saungblogist.blogspot.com untuk pendapatkan panduan blogger terbaru serta SEO, bila anda berkenan untuk me-like dan Share akan sangat membantu sekali terhadap perkembangan Saung Blogist ini. Jangan bosan berkunjung ya.