Author 
Beberapa waktu lalu ketika saya cek di Google Search Console (GSC) sedikit kaget karena disana menampilkan keterangan “diindeks meski diblokir oleh robots.txt” dan diikuti sama diagram warna kuning. Artinya disana situs saya terindikasi adanya halaman yang tetap terindeks walaupun pada pengaturan robots.txt sudah ada perintah untuk diblokir atau disallow.
Lalu apa yang mendasari masalah itu terjadi? Pendapat saya pribadi mungkin ini tidak akan terjadi jika kita menggunakan template bawaan blogger, akan tetapi peringatan tersebut bisa tiba-tiba muncul ketika kita memasang template dari pihak ketiga.
Dan ternyata pendapat saya ada sedikit benarnya, setelah mencari beberapa sumber terpercaya akhirnya menemukan alasan mengapa masalah diindeks meski diblokir robots.txt ini bisa terjadi.
- Yang pertama Google bot akan tetap merayapi halaman pencarian, jika kita blog kita menggunakan template yang memiliki menu navigasi, breadcrumb, widget navigasi penomoran, widget arsip dan widget label.
- Dan alasan yang kedua, ini katanya sekarang ini mesin pencari Google sudah mengabaikan perintah noindex menggunakan file robots.txt.
Solusi: Masalah Diindeks Meski Diblokir oleh Robots.txt
Sekarang kita akan masuk ke tahap cara mengatasi masalah tersebut, supaya peringatan yang ada di Google Search Console bisa hilang secara perlahan. Yuk! Simak langkah-langkah apa saja yang harus kita lakukan.
1. Langsung saja kita masuk ke blogger.com kemudian pilih satu blog Anda yang mengalami masalah diindeks meski diblokir oleh robots.txt
2. Lalu setelah itu masuk ke menu Setelan, dan Aktifkan robots.txt kustom jika sebelumnya belum aktif. Jika sudah langsung klik “robots.txt kustom”
3. Jika sudah, pasang robots.txt berikut, kalau sebelumnya sudah ada ganti dengan yang baru ini.
Allow: /
Disallow:
Sitemap: https://www.NamaDomain.com/sitemap.xml
Note: Ganti NamaDomain dengan alamat blog Anda.
4. Jika sudah jangan lupa klik Simpan
Apakah ini sudah selesai? Secara umum ini sebenarnya sudah mengatasi masalah “diindeks meski diblokir oleh robots.txt” Akan tetapi karena kita telah meniadakan perintah Disallow: /search, pada robots.txt maka nantinya halaman pencarian dan label akan diindeks sama Google. Maka sebaiknya kita perlu menghindari hal itu juga karena halaman tersebut termasuk halaman berkualitas rendah.
Selanjutnya...
Untuk itu kita perlu menambahkan tag header robots guna memberitahu Google agar nantinya tidak mengindex halaman pencarian dan label, caranya adalah.
Buka Blog Anda lalu klik menu Tema > pilih Edit HTML, lalu tambahkan meta tag berikut ini di bawah kode <head>
<meta content='noindex, noarchive' name='robots'/>
</b:if>
Jika sudah jangan lupa klik tombol Simpan. Dengan begitu maka Anda telah berhasil blokir halaman pencarian dan label supaya tidak diindeks mesin pencari.
Note: Kalau masih ada yang kurang paham, mohon sampaikan melalui komentar kalau perlu sertakan gambar juga.
Baca juga : Cara Submit Sitemap Blogger ke Google Search Console
Penutup
Mudah-mudahan setelah Anda mengikuti cara ini perlahan jumlah data diindeks meski diblokir oleh robots.txt menurun dan ingat meskipun sudah menerapkan sekarang butuh waktu paling tidak satu minggu untuk mengetahui adanya perubahan pada Google Search Console. Sekian dan silahkan segera Anda praktekkan.