Краулинговый бюджет — это количество URL, которое поисковый робот может и хочет просканировать на сайте за определённый период.
Он формируется как пересечение двух факторов: crawl rate limit (ограничение скорости обхода, зависящее от сервера) и crawl demand (спрос на обход, зависящий от популярности и свежести контента).
Google прямо определяет его как «число URL, которые Googlebot может и хочет просканировать», а практическая модель описывается как минимум между лимитом и спросом, например 80 URL/день при лимите 100 и спросе 80.
Бюджет ограничен вычислительными ресурсами поисковой системы и не является фиксированным значением, он динамически меняется в зависимости от состояния сайта и сигналов качества.
Для сайтов с небольшим объёмом страниц (сотни или тысячи URL) этот фактор обычно не становится узким местом, тогда как на масштабах десятков тысяч и выше начинает влиять на полноту и скорость индексации.