Дмитрий, успокойтесь уже. Доказательств того, что она появилась недавно, нету. Она могла быть проиндексирована год назад. Пока вы не отдали статуса 301/302/410 или типа того, то он может проверять еще очень долго. Вчитайтесь:
- 404 Not Found
Все знакомы с этим кодом, не так ли? Он означает, что запрошенный ресурс не может быть найден, но в будущем – когда он, возможно, там появится, – к нему можно будет осуществить доступ. Также здесь допустимы последующие запросы от клиента.
- 410 Gone
Такой ответ сервер посылает, если ресурс раньше был по указанному URL, но был удалён и теперь недоступен. Пользователю не следует повторять идентичный запрос.
Разницу видите? Ваш сервер не сказал "этого здесь больше не будет", он сказал "а я чой-то не могу найти, приди позже".