Робот побеждён!

Небольшая заметка о Shopline.kz, в продолжение статьи Как я ловил роботов. Спустя некоторое время, можно посмотреть статистику

Здесь, в красной зоне видно, как гугельбот, сканируя малое количество страниц, получал большое время их загрузки. Основная причина в том, что в это же время Яндекс сканировал до 20-30-ти тысяч страниц в сутки, тем самым нагружая сервер создаваемыми соответсвенно десятками тысяч долгоживущих сессий.

В синей зоне видно "послевоенное" состояние: резко снизилась средняя скорость загрузки страниц, при очень высокой активности гугельбота. При этом, активность ботов Google и Yandex явно не соответствовала общему количеству уникальных страниц на сайте. Их навскидку около 10 тыс. на тот момент, каждые сутки боты сканировали несколько десятков тысяч страниц. О причинах долго думать не пришлось - на сайте есть фильтры для поиска товаров по их характеристикам, в виде ссылок. Из-за этого списки одних и тех же товаров, в разных вариациях порождали огромное количество вариантов URL, которые и пытались отсканировать боты. Гугельбот, спустя некоторое время подтвердил предположения, написав нам предупредительное письмо о том, что ситуация нехорошая, и наверное это у вас фильтры, предложив поставить nofollow на ссылки, порождающие ненужные вариации контента.

В зелёной зоне видно изменение работы гугельбота, после того, как на все ссылки фильтров было поставлено rel='nofollow'.