Cara Setting dan Merubah robots.txt di Blogger

Supaya mesin pencari mudah merayapi situs kita maka perlu setting robots.txt yang sesuai unjuran. Blogger dengan situs blogspot maupun yang sudah custom domain sebenarnya sudah otomatis disetel dengan robots.txt default.

Meski demikian sebagai pemilik Blog kita bisa merubah lagi robots.txt dengan setelan khusus yang tetap aman dan bahkan bisa lebih Seo fiendly. Asalkan sudah tahu setelan yang tepat dan benar, jangan sampai merubahnya dengan asal asalan supaya tidak menimbulkan hal buruk situs di mesin penelusuran.

Seperti yang telah kami katakan bahwa sudah ada robots.txt bawaan blogger tanpa kita merubahnya dan itu sebetulnya sudah cukup, seperti ini;

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.BlogAnda.com/sitemap.xml

*Keterangan dan maksud dari file robots.txt tersebut :

Mediapartners-Google: Artinya robot dari Google Adsense untuk mengindeks halaman situs Anda.

User-agent:* Artinya semua agen pengguna diizinkan untuk meng-crawl atau merayapi seluruh situs.

Disallow: /search Adalah berfungsi untuk memberi tahu mesin pencari agar tidak meng-indeks url yang diawali dengan /search setelah alamat situs.

Sitemap: Ini untuk memberi tahu pada robot perayap dimana peta situs berada.

Bagi Anda pengguna blogger yang belum paham akan aturan penerapan robots.txt, kami sarankan biarkan setting default saja. Kecuali saat ini sedang mengalami masalah Diindeks Meski Diblokir oleh robots.txt maka itu baru diperlukan tindakan khusus untuk memperbaikinya.

Tapi kalau sudah paham dengan aturan yang ada dan siap terhadap kemungkinan akan terjadi, selama masih dalam standar aturan pengaturan robots.txt maka akan aman. Mari kita coba setting dengan pengaturan khusus berikut ini.

Setting robots.txt dengan Mencegah Halaman About dan Contact

Kalau ada halaman tertentu yang ingin kamu abaikan dari hasil penelusuran Google, dalam contoh ini adalah halaman About dan Kontak maka gunakan aturan setting robots.txt berikut yakni dengan menambahkan Disallow.

 

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Allow: /
Disallow: /search
Disallow: /p/contact.html
Disallow: /p/about.html

Sitemap: https://www.BlogAnda.com/sitemap.xml

Berikutnya untuk cek apakah robots.txt di situs kita sudah berubah atau belum, dengan cara membuka url BlogAnda.com/robots.txt (ganti BlogAnda.com dengan alamat situs kalian)

Bisanya akan langsung berubah dalam waktu beberapa detik saja. Buka url pengecekan langsung pada kotak address browser yang digunakan.

Cara Aktifkan Custom robots.txt di Blogger

Dari tadi kita sudah menjelaskan tentang aturan dasar robots.txt yang umum dan aman digunakan Blogger, akan tetapi kalau kita belum tahu letak pengaturan untuk Custom robots.txt bagaimana bisa menerapkan? Berikut ini langkah-langkahnya,

1. Buka blogger.com dan pilih situs Anda

2. Masuk menu Setelan (settings) > Crawler dan pengindeksan Anda aktifkan, lalu klik robots.txt custom

3. Setelah itu baru bisa meletakkan pengaturan robots.txt yang diinginkan

Kami ingatkan lagi!!!, gunakan pengaturan ini dengan teliti dan hati-hati. Sebab kalau sampai salah penerapan fitur tersebut bukan tak mungkin blog Anda malah tidak diindeks mesin pencari secara maksimal.

Penutup

Demikianlah aturan Cara Setting dan Merubah robots.txt di Blogger yang bisa kami sampaikan pada kalian. Sekiranya ada yang kurang jalas bisa disampaikan melalui kolom komentar atau menurut kalian ada hal yang kurang tepat dalam penulisan robots.txt mohon sampaikan kritik dan saran, terima kasih.