• 14458
  • 120
  • 7
Нравится блог?
Подписывайтесь!

Робот побеждён!

Небольшая заметка о Shopline.kz, в продолжение статьи Как я ловил роботов. Спустя некоторое время, можно посмотреть статистику

Здесь, в красной зоне видно, как гугельбот, сканируя малое количество страниц, получал большое время их загрузки. Основная причина в том, что в это же время Яндекс сканировал до 20-30-ти тысяч страниц в сутки, тем самым нагружая сервер создаваемыми соответсвенно десятками тысяч долгоживущих сессий.

В синей зоне видно "послевоенное" состояние: резко снизилась средняя скорость загрузки страниц, при очень высокой активности гугельбота. При этом, активность ботов Google и Yandex явно не соответствовала общему количеству уникальных страниц на сайте. Их навскидку около 10 тыс. на тот момент, каждые сутки боты сканировали несколько десятков тысяч страниц. О причинах долго думать не пришлось - на сайте есть фильтры для поиска товаров по их характеристикам, в виде ссылок. Из-за этого списки одних и тех же товаров, в разных вариациях порождали огромное количество вариантов URL, которые и пытались отсканировать боты. Гугельбот, спустя некоторое время подтвердил предположения, написав нам предупредительное письмо о том, что ситуация нехорошая, и наверное это у вас фильтры, предложив поставить nofollow на ссылки, порождающие ненужные вариации контента.

В зелёной зоне видно изменение работы гугельбота, после того, как на все ссылки фильтров было поставлено rel='nofollow'.

vovan_sidorytch
24 декабря 2009, 11:42
573

Загрузка...
Loading...

Комментарии

Чем больше страниц в индексе, тем лучше.
до определённой степени - да. но когда из-за дублирующегося контента не доходит очередь до индескации части уникального контента, тут уже стоит призадуматься. Гугельбот об этом написал прямым текстом: "Кроме того, есть вероятность, что он не сможет полностью просканировать все содержание сайта"

Оставьте свой комментарий

Спасибо за открытие блога в Yvision.kz! Чтобы убедиться в отсутствии спама, все комментарии новых пользователей проходят премодерацию. Соблюдение правил нашей блог-платформы ускорит ваш переход в категорию надежных пользователей, не нуждающихся в премодерации. Обязательно прочтите наши правила по указанной ссылке: Правила

Также можно нажать Ctrl+Enter

Популярные посты

Прогноз эксперта: в Казахстане будут жить 5 миллионов китайцев

Прогноз эксперта: в Казахстане будут жить 5 миллионов китайцев

В ближайшие годы в Центральной Азии будут проживать восемь миллионов китайцев, считает заведующий отделением востоковедения национального исследовательского университета высшей школы экономики.
kurmanovainur
сегодня / 11:23
  • 23553
  • 4
Они сделали это! Kaspi Bank презентовал свое мобильное приложение

Они сделали это! Kaspi Bank презентовал свое мобильное приложение

Изучив ошибки предшественников и собрав воедино новейшие идеи онлайн-банкинга, Kaspi Bank наконец выпустил... свое мобильное приложение!
niyazov
20 июня 2017 / 15:05
  • 7996
  • 4
Отмечаю юбилей! 5 лет назад покорил Монблан – главное украшение в Короне Европы

Отмечаю юбилей! 5 лет назад покорил Монблан – главное украшение в Короне Европы

Сегодня настоящий юбилей! У меня и Юрия Суханова из Смоленска! Ровно 5 лет назад 16 июня мы стояли на вершине Монблана (4809м), вершине с которой начинался альпинизм!
Almazoff
16 июня 2017 / 13:39
  • 6891
  • 25
Кайрат Келимбетов об азербайджанской инвестиции: «Вернется и «тело», и проценты»!

Кайрат Келимбетов об азербайджанской инвестиции: «Вернется и «тело», и проценты»!

Мы записали уникальное интервью с Кайратом Келимбетовым. Предлагаю вам посмотреть первую часть, где мы постарались по возможности поставить все точки на «I» именно по Азербайджанскому вопросу.
Zhumanova
19 июня 2017 / 12:00
  • 5789
  • 7
Почему мы должны быть благодарны журналисту Джеймсу Палмеру за критику ЭКСПО

Почему мы должны быть благодарны журналисту Джеймсу Палмеру за критику ЭКСПО

Как одним критичным постом зарубежному журналисту Джеймсу Палмеру удалось вскрыть сразу несколько гнойников казахстанского общества.
anotherblogger
21 июня 2017 / 0:39
  • 5406
  • 54
«За красный диплом доплата будет?» Записки карьериста о потерянном поколении

«За красный диплом доплата будет?» Записки карьериста о потерянном поколении

«Вы пригласили, вот я и пришел» - именно с таким выражением лица сидят на собеседовании молодые люди. Создается впечатление, что человек без опыта работы дает шанс заполучить такого «ценного» кадра как он.
ArenMir
16 июня 2017 / 15:58
  • 4127
  • 44
Долговое рабство: почему казахстанцы берут кредиты под 1330%

Долговое рабство: почему казахстанцы берут кредиты под 1330%

Эти кабальные займы никакой пользы для экономики не несут, при этом ухудшают финансовые возможности населения, пополняют ряды новых неплательщиков, тем самым создавая социальную напряженность в...
Armanjan
18 июня 2017 / 15:43
  • 3772
  • 28
Инфантильный миф о «молодом народе Казахстана» опасен. В 21-м веке ни у кого нет форы

Инфантильный миф о «молодом народе Казахстана» опасен. В 21-м веке ни у кого нет форы

Терпеть не могу миф о том, что мы "молодой народ, окруженный старыми нациями" и у нас еще есть время на развитие. Это чушь! Мы что - на миллион лет позже эволюционировали из обезьян?
Aks_Ras
18 июня 2017 / 10:16
  • 3024
  • 18
В Казахстане заблокировали сайт, раскритиковавший EXPO в «захолустной» Астане

В Казахстане заблокировали сайт, раскритиковавший EXPO в «захолустной» Астане

Все помнят Медузу и ЖЖ. Теперь в этот "особенный" список попал сайт Foreign policy. Предполагается, что причиной блокировки стала нелицеприятная заметка Джеймса Палмера об EXPO в Астане.
Seattle
19 июня 2017 / 15:40