---
title: "Робот побеждён!"
description: "Небольшая заметка о Shopline.kz, в продолжение статьи Как я ловил роботов. Спустя некоторое время, м..."
author: "vovan_sidorytch"
published: "2009-12-23T23:42:29+00:00"
modified: "2009-12-23T23:42:29+00:00"
locale: "ru"
canonical_url: "https://yvision.kz/post/robot-pobezhden-25010"
markdown_url: "https://yvision.kz/post/robot-pobezhden-25010/markdown"
site_name: "Yvision.kz"
---

# Робот побеждён!

> Небольшая заметка о Shopline.kz, в продолжение статьи Как я ловил роботов. Спустя некоторое время, м...

Небольшая заметка о [Shopline.kz](http://shopline.kz), в продолжение статьи [Как я ловил роботов](http://yvision.kz/community/%D0%9F%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%B8/20632.html). Спустя некоторое время, можно посмотреть статистику

![Робот побеждён!](http://storage.yvision.kz/images/user/vovan_sidorytch/it5CmaycqUjWF7Mho7zn826snO35gE.png)

Здесь, в красной зоне видно, как гугельбот, сканируя малое количество страниц, получал большое время их загрузки. Основная причина в том, что в это же время Яндекс сканировал до 20-30-ти тысяч страниц в сутки, тем самым нагружая сервер создаваемыми соответсвенно десятками тысяч долгоживущих сессий.

В синей зоне видно "послевоенное" состояние: резко снизилась средняя скорость загрузки страниц, при очень высокой активности гугельбота. При этом, активность ботов Google и Yandex явно не соответствовала общему количеству уникальных страниц на сайте. Их навскидку около 10 тыс. на тот момент, каждые сутки боты сканировали несколько десятков тысяч страниц. О причинах долго думать не пришлось - на сайте есть фильтры для поиска товаров по их характеристикам, в виде ссылок. Из-за этого списки одних и тех же товаров, в разных вариациях порождали огромное количество вариантов URL, которые и пытались отсканировать боты. Гугельбот, спустя некоторое время подтвердил предположения, написав нам предупредительное письмо о том, что ситуация нехорошая, и наверное это у вас фильтры, предложив поставить nofollow на ссылки, порождающие ненужные вариации контента.

В зелёной зоне видно изменение работы гугельбота, после того, как на все ссылки фильтров было поставлено rel='nofollow'.

---

Source: [https://yvision.kz/post/robot-pobezhden-25010](https://yvision.kz/post/robot-pobezhden-25010)