Робот побеждён!

vovan_sidorytch 2009 M12 23
595
2
0
0

Небольшая заметка о Shopline.kz, в продолжение статьи Как я ловил роботов. Спустя некоторое время, можно посмотреть статистику Здесь, в красной зоне видно, как гугельбот, сканируя малое количество...

Небольшая заметка о Shopline.kz, в продолжение статьи Как я ловил роботов. Спустя некоторое время, можно посмотреть статистику

Здесь, в красной зоне видно, как гугельбот, сканируя малое количество страниц, получал большое время их загрузки. Основная причина в том, что в это же время Яндекс сканировал до 20-30-ти тысяч страниц в сутки, тем самым нагружая сервер создаваемыми соответсвенно десятками тысяч долгоживущих сессий.

В синей зоне видно "послевоенное" состояние: резко снизилась средняя скорость загрузки страниц, при очень высокой активности гугельбота. При этом, активность ботов Google и Yandex явно не соответствовала общему количеству уникальных страниц на сайте. Их навскидку около 10 тыс. на тот момент, каждые сутки боты сканировали несколько десятков тысяч страниц. О причинах долго думать не пришлось - на сайте есть фильтры для поиска товаров по их характеристикам, в виде ссылок. Из-за этого списки одних и тех же товаров, в разных вариациях порождали огромное количество вариантов URL, которые и пытались отсканировать боты. Гугельбот, спустя некоторое время подтвердил предположения, написав нам предупредительное письмо о том, что ситуация нехорошая, и наверное это у вас фильтры, предложив поставить nofollow на ссылки, порождающие ненужные вариации контента.

В зелёной зоне видно изменение работы гугельбота, после того, как на все ссылки фильтров было поставлено rel='nofollow'.

Оцените пост

0

Комментарии

0
Чем больше страниц в индексе, тем лучше.
0
до определённой степени - да. но когда из-за дублирующегося контента не доходит очередь до индескации части уникального контента, тут уже стоит призадуматься. Гугельбот об этом написал прямым текстом: "Кроме того, есть вероятность, что он не сможет полностью просканировать все содержание сайта"
Показать комментарии