Mengatasi Masalah URL Yang Dikirimkan Diblokir Oleh Robots.txt

Mengatasi masalah Diindeks, meski diblokir oleh robots.txt, Detail kesalahan url yang dialami pada blog dapat dibaca pada pesan yng kirimkan oleh google di Google Search Console. Di sinilah pengelola blog perlu melakukan tindakan apabila ditemukan kesalahan url. Lakukanlah perbaikan dan segera validasi di bagian peringatan google untuk di uji kembali.

Ababila tidak segera dilakukan perbaikan terhadap kesalahan indeks dan url ini, akan menyebabkan halaman blog tidak muncul di hasil penelusuran mesin pencari google, masalah bisa merembet menjadi duplikat konten di blog, dan lain sebagainya.

Gambar di bawah ini menunjukkan pesan kesalahan indeks dan url yang mesti segera diperbaiki. Pilih tombol perbaiki liputan masalah untuk melihat detail permasalahan di Google Search Console.

Perbaiki Cakupan Masalah

Dan sekarang saya akan berbagi pengalaman perihal cara saya memperbaiki liputan maslalah diindeks dan url yang diblokir robot.txt sebagaimana pesan notifikasi dari Google Search Console pada tanggal 12/12/2019. Ada 2 masalah yang perlu diatasi :

1. Ada 3 halaman yang diberi warna merah 'URL yang dikirimkan diblokir oleh robots.txt' status kesalahan
2. Ada 32 halaman diberi warna kuning untuk masalah 'Diindeks, meski diblokir oleh robots.txt' status peringatan (valid dengan peringatan)

Cakupan Google Search Console

Pada gambar di atas ditemukan ada 3 kesalahan url, 32 valid dengan peringatan, 74 valid dan 176 dikecualikan. Cara mengatasi masalah ini, langkah pertama pelajari detail kesalahan URL dan kesalahan iindeks dengan menekan tombol Perbaiki Liputan masalah Apabila ditemukan masalah yang sama persis dengan yang saya hadapi. Silahkan lakukan cara ini untuk mengatasi masalahnya.

1. Memblokir label blog yang tertaut dengan halaman dengan melakukan seting robot.txt pada setelan blogger. Di Preferensi penelusuran, Aktifkan Robot txt khusus dengan memilih ya, lalu edit.

Seting robot txt khusus

Gunakan kode robot.txt seperti di bawah ini. Sesuaikan sitemapnya dengan blog sobat. Simpan perubahan jika telah selesai. Langkah berikutnya kirim robots txt di google search console. Caranya ketik saja di google 'Penguji robots.txt' pilih properti yang terverifikasi. Lihat gambar penguji robots.txt

Penguji Robots Txt

Robots.txt untuk mengatasi masalah :

URL yang dikirimkan diblokir lleh robots.txt
Diindeks, meski diblokir oleh robots.txt

Sebelum menggunakan robots.txt ini, gantilah https://www.menuliscatatan.com dengan url blog milik sobat.

User-agent: *
Disallow:

Sitemap: https://www.menuliscatatan.com/sitemap.xml
Sitemap: https://www.menuliscatatan.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.menuliscatatan.com/feeds/posts/default
Sitemap: https://www.menuliscatatan.com/sitemap-pages.xml

Selanjutnya edit tema html blog, tambahkan kode meta tag noindex untuk arsip blog diantara kode <head> ...</head> noarchive berarti di halaman blog tidak ada lagi widget archive.

<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>

Simpan template jika sudah selesai. Setelah langkah ini lakukanlah validasi perbaikan di Google Search Console untuk memberitahukan kepada google bahwa liputan kesalahan yang ada di blog sudah diperbaiki. Google akan segera melakukan pengujian dan tunggulah hasilnya, dan rajin rajinlah mmengecek di Google Search Console, Apakah perbaikan yang dikirim lulus uji atau tidak.

Sebagai perbandingan untuk mengatasi masalah Diindeks, meski diblokir oleh robots.txt. Untuk mengatasi masalah 'URL yang dikirimkan diblokir oleh robots.txt.' Dengan langkah langkah yang telah saya jelaskan di atas. Masalah URL yang dikirimkan diblokir oleh robots.txt teratasi. Status kesalahan muncul pada tanggal 14/12/2019 dan lulus validasi perbaikan urlnya pada tanggal 17/12/2019. Lebih jelasnya perhatikan gambar liputan yang di centang warna hijau. (Validasi lulus). Tidak ada halaman yang terpengaruh karena kesalahan url.

Mengatasi masalah indeks yang diblokir robot.txt

Selanjutnya untuk masalah Diindeks, meski diblokir oleh robots.txt.Untuk hasil validasi lulusnya lebih lama dari masalah url, ini disebabkan karena banyaknya masalah indeks yang diblokir robot yang mencapai 32 masalah dibandingkan dengan url ada 3 masalah.

Untuk masalah yang kedua ini penyelesaiannya lebih lama dari masalah url. Validasi lulusnya tercatat tanggal 31/12/2019.

Mengatasi diindeks, meski diblokir oleh robots.txt

Secara keseluruhan dari kedua masalah yang dihadapi telah terselesaikan dengan baik. Pada dasboard Google Search Console, pilih bagian liputan maka akan ditampilkan secara detail jenis kesalahan, valid dengan peringatan, vaid dan dikecualikan. Untuk lebih memahaminya, sobat bisa mempelajarinya di Google Search Console dan tanyakan masalahnya di penelusuran google.

Liputan Google Search Console

Diindeks, meski diblokir oleh robots.txt

Solusi untuk mengatasi masalah Diindeks, meski diblokir oleh robots.txt pada bagian seacrh dan search/label. Ambil contoh pada blog saya yang mengalami masalah cakupan indeks di bagian 'https://www.menuliscatatan.com/search' dan 'https://www.menuliscatatan.com/search/label/'
Cara mengatasinya dengan menambahkan kode di bawah ini, tempatkan di bawah <head> pada template blog yang digunakan :

<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>

Selesai dan simpan template. Selanjutnya validasi masalah cakupan indeks di google search console dan tunggu hasilnya dalam beberapa hari dengan melakukan pengecekan di cakupan google search console. Demikian sobat blogger catatan hari ini untuk mengatasi masalah indeks dan URL yang dikirimkan diblokir oleh robots.txt Selamat membaca dan mencoba, semoga sukses. Terima kasih.

Update validasi masalah cakupan indeks di google search console. Validasi lulus pada tanggal 11/08/2020.