Невозможность Google найти файл robots.txt — это ошибка, возникающая, когда поисковый робот не может получить к нему доступ из-за неверного расположения файла или ответа сервера с кодом 5xx.
Основными причинами служат ошибки в настройке брандмауэра, блокировки со стороны хостинг-провайдера или размещение файла не в корневом каталоге сайта.
Поисковые системы ожидают, что файл robots.txt будет иметь размер до 32 Кб и отдавать код ответа 200 OK. Если Googlebot получает ошибку 4xx, он игнорирует ограничения и считает, что весь сайт открыт для сканирования.