Вопрос по ссылкам

Если они добавляются (а не просто не исчезают), значит они все еще существуют. Как правило при заходе из браузера они себя не проявляют (прописана проверка на юзер-агента). Зайдите с телефона или включите в браузере подмену юзер-агента. То есть надо убедиться, что их действительно нет. А то знаете ли, после чистки вирус может проникнуть опять. Плюс к этому надо настроить правила запрета индексирования в robots.txt, в примеру, Disallow: /tag/

просто прикол в том, что они отдают 404 ошибку.

Они это кто? Вирусный скрипт? Или ссылки?

ссылки

Говорю же, может влиять юзерагент. Пришлите в личку проблемную ссылку.

Вы тщательней свои подозрения проверяйте. Ни в гугле, ни в яндексе за год нет ни одной новой ссылки по сайту, ни хорошей, ни плохой.

хмм, странно, не может быть такого

Не пытайтесь меня в обратном убедить.

а, понял, человек, который занимается сео их удаляет, но просто вовремя удаляет, получается.

Ну если он их в гугломастере смотрит или типа того, пусть посмотрит дату появления. А то может они там "по старой памяти". Я в настоящий момент проблемы не вижу.

ну вот, и это еще не весь список

Все очень просто: когда-то гугль нарыл и проиндексировал тысячи спам-ссылок на вашем сайте. Сейчас он, как я и сказал, по старой памяти заходит на сайт и проверяет есть они или нет, и получает 404-ую. И что он вам должен показать? Он не показывает "появилась новая ссылка", он показывает "нашел новую ошибку". Закрывайте от индексации по маске. Да, правил будет много, а что делать? А то, что он получил 404-ую, еще не говорит, что у вас что-то попало в индекс.

почему он может заходить на сайт, sitemap я проверил, там нет этих ссылок?

Потому что ему плевать на ваш сайтмап. У него есть свои данные и свои алгоритмы.

ну я понял, что эта ссылка может проиндексироваться (из индекса убирает сеошник, как только они появляются), используя внутренние ссылки, ну это ж ссылка как-то формируется, явно вирус какой сидитт

Дмитрий, успокойтесь уже. Доказательств того, что она появилась недавно, нету. Она могла быть проиндексирована год назад. Пока вы не отдали статуса 301/302/410 или типа того, то он может проверять еще очень долго. Вчитайтесь:

404 Not Found Все знакомы с этим кодом, не так ли? Он означает, что запрошенный ресурс не может быть найден, но в будущем – когда он, возможно, там появится, – к нему можно будет осуществить доступ. Также здесь допустимы последующие запросы от клиента.
410 Gone Такой ответ сервер посылает, если ресурс раньше был по указанному URL, но был удалён и теперь недоступен. Пользователю не следует повторять идентичный запрос.

Разницу видите? Ваш сервер не сказал "этого здесь больше не будет", он сказал "а я чой-то не могу найти, приди позже".

Хорошо, понял немного теперь, спасибо большое за помощь!)

Пожалуйста.

Привет еще раз, вот новая информация, которую я откопал за выходные, смотри, ты когда делаешь выборку по дате в поисковиках, не отображается ничего, хотя страницы точно есть новые и они проиндексированы, всё дел в заголовке Last-Modified (последние изменения), так вот сервер не отдает мне его, и из-за этого как раз и идут последствия:

Цитата из Яндекса:

в результатах поиска не будет показываться дата рядом со страницами вашего сайта;
при сортировке по дате сайт не будет виден большинству пользователей;
робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.

соответственно, страницы новые появляются в поисковике, но т.к сеошник их убирает, они таи не задерживают, а это явно не есть хорошо, тем более, что они появkяются как tag/(тут что-то на китайском)

У меня тоже эти заголовки не отдаются. Это не мешает яше и гуглу для себя отмечать когда они в первый раз у меня обнаружили новую страницу http://joxi.ru/Vm6a53Mt4Vxpjr

P.S. Режим зануды включен. Не на китайском, а на японском.

Окей, на японском, но от этого легче не стало, в чем может быть причина такова, может есть идеи?

Страницы точно новые есть, и в индексе они появляются, но по сортировке даты не работает.