Beberapa waktu lalu juga mencoba melakukan perubahan dengan setting robots.txt mempergunakan custom robots yang menyebabkan terjadinya duplicate conten yang disebabkan index mobile, serta indexs label yang tidak menentu halaman label yang terindex. Namun hal tersebut tidak lagi di temukan pada menu kesehatan pada google webmasters tools. Setting robots txt yang dipergunakan beberapa minggu terakhir kurang lebihnya seperti berikut:
User-agent: Mediapartners-GoogleKeinginan untuk membidik kata kunci dan menanamkan keyword tersebut dalam label masih sangat kuat, untuk mengatasi rasa penasaran tersebut, maka saya mencoba untuk menerapkan setting robots txt yang lain seperti tampak pada screenshoot gambar berikut:
Disallow:
User-agent: *
Disallow: /*?
Disallow: /*archive.html
Disallow: /search
Allow: /search?q=*
Allow: /atom.xml?*
Allow: /
Sitemap: http://citro-mduro.blogspot.com/feeds/posts/default?orderby=updated
Untuk memperjelas custom robots seperti pada gambar sebagai berikut:
1. User-agent: Mediapartners-GoogleJika diterjemahkan dalam bahasa saya, kurang lebihnya sebagai berikut berdasarkan baris sintax diatas:
2. Disallow:
3.
4. User-agent: *
5. Allow: /
6. Disallow: /*?
7. Allow: /atom.xml?*
8.
9. Sitemap: http://citro-mduro.blogspot.com/atom.xml?redirect=false&start-
index=1&max-results=500
- Baris satu dan dua melarang index untuk iklan google, kebetulan blog ini memasang script google adsense.
- Baris 4 s/d 9 sintax untuk blog ini
- Allow : /, mengijinkan robots mengindex halaman utama, atau url utama atau domain blog
- Disallow :/*?, segala bentuk url yang mengandung '?' dilarang untuk terindex, misalkan url dari halaman selanjutnya dari halaman label Blogging, kurang lebih url yang dihasilkan http://citro-mduro.blogspot.com/search/label/Blogging?max-results=20. Halaman label terindex, sementara jika terdapat banyak posting dalam satu label dan ditampilkan pada halaman berikutnya, maka halaman tersebut tidak termasuk kedalam halaman yang diijinkan terindex
- Baris 7 diberikan perintah allow karena sintax untuk sitemap yang dipergunakan agar tidak terjadi error pada sitemap yang disubmit pada webmaster SE.
Bagaimana menurut anda tentang pengaruh setting robots terhadap SEO sebuah blog. Tinggalkan kesan dan cacian anda melalui kotak komentar Sebagai penutup artikel kali ini, saya mengucapkan banyak terima kasih atas kesediaan para sahabat untuk mengunjungi Blog CITRO MDURO dan membaca tulisan yang bertajuk Mencoba Setting Custom Robots Blogspot Terbaru, walaupun bukan tulisan insiratif dan kurang inovatif yang dapat memberikan inspirasi bagi para pembaca ataupun anda lewat karena tersasar dan terdampar pada tulisan Mencoba Setting Custom Robots Blogspot Terbaru. Kami sangat berterima kasih karena anda sudah berkenan walaupun mungkin sangat terpaksa. Silahkan tinggalkan jejak anda untuk menjalin silaturahmi, atau temukan yang anda cari tentang Mencoba Setting Custom Robots Blogspot Terbaru dan salam jabat erat dari PAMEKASAN MADURA