Cara Settingan Robot txt Pada Blogger Sepaya Lebih SEO

Cara Settingan Robot txt Pada Blogger. Dengan melakukan settingan Robot txt ini dapat membantu perayapan dan pengindeksan blog di Search Engine serta dapat menjadikkan blog anda bisa menjadi lebih SEO.

Pada dasarnya Robot Txt merupakan sebuah konvensi untuk memerintahkan web crawler atau Robot mesin pencari untuk menelusuri semua halaman pada suatu blog. dan dapat juga digunakan untuk memblokir suatu halaman yang tidak ingin anda publikasikan pada blog anda.

Setiap Blog pada blogspot sudah tentu mempunyai robot txt yang sudah diberikan oleh blogger, namun secara default robot txt nya seperti dibawah ini

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://4rie-ngr.blogspot.com/sitemap.xml

Jika anda ingin memodifikasinya bisa anda ikuti beberapa settingan dari Robot txt dibawah ini yang saya coba bagikan untuk anda semua untuk meningkatkan SEO pada blog anda, Berikut ini beberapa settingan Robot Txt yang bisa anda coba.

Cara Settingan Robot Txt

1. Settingan Robot Txt 1

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://Url Blog Anda/feeds/posts/default?orderby=updated

Arti konfigurasi diatas merupakan semua artikel dan halaman pada blog anda akan di index oleh robot webcraw karena pada kode Disallow semuanya kosong. Untuk memecahkan masalah pada paginasi yang muncul di blogspot setelah anda menghapus /search pada kode Disallow : /search ( Disallow:/search : seperti....../search/label dan ... search/search?updated...) .

2. Settingan Robot Txt 2
Untuk memperbolehkan robot crawler mengindex semua halaman pada blog anda, bisa ikuti setingan Robot txt berikut :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://Url Blog Anda/feeds/posts/default?orderby=updated

3. Settingan Robot Txt 3
Jika anda menginginkan untuk memblokir halaman tertentu, anda hanya menambahkan Url halaman yang ingin anda blokir dibelakang Disallow. Langsungsaja setiingannya seperti dibawah ini

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://URL blog Anda/feeds/posts/default?orderby=updated

4. Setingan Robot Txt 4
Jika anda ingin mencegah dulikat konten atau judul di blog anda bisa anda ikuti setingan robot txt berikut.

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://Url Blog Anda/feeds/posts/default?orderby=UPDATED

Baca Juga:
Cara Settingan Tag Header Robot Khusus di Blog

Dengan melakukan salah satu cara setingan di atas anda bisa meningkatkan SEO pada blog anda. Sekian artikel tentang Cara Settingan Robot txt Pada Blogger Sepaya Lebih SEO.  Semoga bisa bermanfaat untuk anda yang ingin meningkatkan SEO pada blog anda, Selamat Mencoba.!!