Cara Membaca Laporan Statistik Crawl di Search Console

Laporan Statistik crawl di Search Console adalah laporan yang menampilkan aktivitas Googlebot saat mengambil halaman situs: jumlah permintaan, ukuran unduhan, waktu respons, dan masalah server. Crawl adalah proses Googlebot mengambil halaman sebelum halaman bisa diindeks.

Laporan statistik crawl biasanya dibuka saat halaman baru lambat masuk Google, atau saat klik turun setelah server bermasalah. Panduan ini membahas letak laporan, arti setiap grafik, status host, dan jenis respons crawl.

Di mana laporan Statistik crawl di Search Console?

Laporan Statistik crawl ada di halaman Setelan Search Console, di baris Statistik perayapan. Search Console berbahasa Indonesia menamai laporan ini Statistik perayapan (Crawl stats). Laporan hanya tersedia untuk properti tingkat root: properti domain seperti example.com, atau properti awalan URL di root seperti https://example.com.

Dokumentasi Google menyebut laporan ini ditujukan untuk pengguna tingkat lanjut. Situs dengan kurang dari 1.000 halaman umumnya tidak perlu memantaunya secara rutin.

Apa arti grafik total permintaan crawl?

Total permintaan crawl adalah jumlah semua permintaan Googlebot ke URL situs dalam periode laporan, baik berhasil maupun gagal. Permintaan ulang ke URL yang sama dihitung terpisah.

Laju crawl seharusnya relatif stabil dalam 1 sampai 2 minggu, menurut dokumentasi Google. Penurunan mendadak bisa bertepatan dengan aturan robots.txt yang terlalu luas, respons server yang lambat, atau kenaikan error.

Apa arti status host di laporan Statistik crawl?

Status host menunjukkan apakah Googlebot mengalami masalah ketersediaan saat mengakses situs dalam 90 hari terakhir. Status hijau menandakan tidak ada masalah berarti selama periode tersebut.

Status host punya 3 tingkat:

• Tidak ada masalah ketersediaan berarti dalam 90 hari terakhir.
• Ada masalah dalam 90 hari terakhir, tetapi kejadiannya sudah lebih dari 1 minggu yang lalu.
• Ada masalah dalam 1 minggu terakhir, yang mungkin masih berulang dan perlu diperiksa.

Kategori masalah host

Kategori masalah host terdiri dari pengambilan robots.txt, resolusi DNS, dan konektivitas server. Setiap kategori punya grafik dengan garis batas merah putus-putus.

• Pengambilan robots.txt dihitung gagal bila server menjawab 429 atau 5xx. Jawaban 403, 404, atau 410 dianggap berhasil, karena berarti robots.txt tidak ada.
• Resolusi DNS dihitung gagal bila server DNS tidak mengenali nama host atau tidak menjawab.
• Konektivitas server dihitung gagal bila server tidak menjawab atau jawabannya tidak lengkap.

Contoh di dokumentasi Google: kegagalan DNS di atas 5% permintaan dalam 1 hari dihitung sebagai masalah.

Bagaimana membaca rincian respons crawl?

Rincian respons crawl membagi semua jawaban server menurut kode status, dalam persen dari total respons. Sebagian besar respons seharusnya 200 atau jenis baik lain, kecuali situs sedang direorganisasi atau dipindah.

Pengalihan dihitung per langkah, jadi rantai 3 pengalihan tercatat sebagai 3 permintaan. Contoh URL di setiap kelompok hanya sampel, bukan daftar lengkap. Status setiap URL bisa dicek satu per satu dengan Inspeksi URL.

Tujuan crawl, jenis file, dan jenis Googlebot

Tujuan crawl dibagi menjadi penemuan untuk URL yang belum pernah di-crawl dan penyegaran untuk halaman yang sudah dikenal. Halaman baru yang belum pernah diambil Googlebot tercatat di kelompok penemuan.

Rincian lain membagi permintaan menurut jenis file, misalnya HTML, gambar, JavaScript, CSS, dan PDF. Persen jenis file dihitung dari jumlah respons, bukan ukuran byte. Rincian jenis Googlebot memisahkan smartphone, desktop, gambar, video, pemuatan sumber daya halaman, AdsBot, dan StoreBot.

Kapan laporan Statistik crawl perlu masuk laporan klien?

Laporan Statistik crawl perlu masuk laporan klien saat status host merah, saat persen respons buruk naik, atau saat permintaan crawl turun tajam. Bulan tanpa masalah cukup dicatat dengan satu kalimat status host.

Catat 3 angka setiap bulan: total permintaan crawl, waktu respons rata-rata, dan persen respons buruk. Angka bulan sebelumnya memudahkan penjelasan perubahan, misalnya saat trafik organik turun.

Google tidak menyediakan cara untuk menaikkan laju crawl. Dokumentasi Google menyarankan situs kecil memperbarui sitemap dan mengecek halaman yang terblokir.

Laporan Statistik crawl belum tersedia di Search Console API. Recalytics membaca data performa, sitemap, dan Inspeksi URL lewat API tersebut, jadi angka statistik crawl dicatat manual bila perlu masuk laporan.

Pertanyaan yang sering muncul

Apakah laju crawl bisa dinaikkan dari Search Console?

Tidak. Google tidak menyediakan pengaturan untuk menaikkan laju crawl.

Kenapa angka laporan berbeda dengan log server?

Dokumentasi Google menyebut angka laporan bisa sedikit berbeda dari log server. Selisihnya bisa jauh lebih besar bila robots.txt lama tidak tersedia.

Apakah respons 404 berarti ada masalah?

Belum tentu. Respons 404 wajar untuk halaman yang memang sudah dihapus.