Crawl budget adalah jatah kunjungan Googlebot per hari ke satu situs. Google tidak crawl semua URL di dunia setiap hari โ tiap situs dapat jatah berdasarkan popularitas dan kecepatan server. Situs baru dengan traffic kecil seperti funpedia360 mendapat jatah yang terbatas, mungkin hanya beberapa ratus halaman per hari.
Ini bukan limitasi Google yang bisa diminta dinaikkan โ ini sinyal otomatis. Semakin tinggi traffic organik dan authority situs, semakin besar jatah crawl-nya. Jalan satu-satunya: buat Googlebot tidak buang waktu ke halaman yang tidak perlu.
Mengapa crawl budget funpedia360 habis:
| Sumber URL | Jumlah estimasi | Status |
|---|---|---|
| /brand/xxx/ | ~3.700+ halaman | Boros crawl |
| /author/hilmanrevanda/ | 1 halaman | Tidak relevan |
| ?add-to-cart=xxx | 17+ URL | Sudah diblock โ |
Googlebot "buang waktu" ke brand pages yang tidak bernilai โ jatah habis sebelum sempat crawl halaman produk yang penting. Setelah noindex dipasang pada brand pages tipis, dalam 2โ4 minggu Googlebot mulai mengalihkan crawl ke halaman produk.
/brand/ tidak pernah dikrawl/brand/XXX/ yang terbuat otomatis WooCommerce. "Last crawled: N/A" artinya Googlebot tidak pernah masuk โ crawl budget situs habis dipakai ke halaman yang lebih penting.
term_count < 5, set noindex. Brand dengan sedikit produk tidak punya nilai SEO dan hanya buang crawl budget.product_brand dari sitemap, atau filter agar hanya masuk brand dengan โฅ5 produk./author/ dari indexing/author/hilmanrevanda/ tidak punya nilai SEO di toko WooCommerce. Set noindex via Yoast: Settings โ Search Appearance โ Archives โ matikan Author Archives./product/star-wars-black-series-the-armorer-premium-electronic-helmet/ menjadi /product/star-wars-armorer-helmet/. Pastikan redirect 301 dari slug lama.?add-to-cart=XXXXX โ sudah benar diblockWooCommerce generate URL ?add-to-cart=ID saat user klik tombol Add to Cart. URL ini tidak boleh diindex karena isinya sama dengan halaman produk (duplikat). Robots.txt sudah membloknya dengan benar โ tidak perlu tindakan apa pun.
?ref=, ?s=) yang canonical-nya mengarah ke URL bersih. Buka URL dari GSC, cek source HTML untuk tag <link rel="canonical"> dan pastikan tujuannya sudah diindex.