Как я ловил роботов
Команда разработчиков нашего сайта Shopline.kz недавно заметила, что веб-сервер начинает кушать память, до тех пор, пока не падает по OutOfMemory. Исследование процессов на сервере показало, что в момент его падения, на нём было открыто более сотни живых сессий. Статистика Google Analytics сообщает что огромного наплыва посетителей нет, и о сотне посетителей, вошедших одновременно речи быть не может. Внутренняя статистика при этом показывает что в сутки открывается 8-18 тысяч(!!!) сессий, хотя живых посетителей на порядки меньше. Наш софт работает так, что на каждое посещение на сервере создаётся и хранится сессия пользователя. Получалось, что десятки тысяч сессий создаются скорее всего для посещения только одной страницы. Уже тогда возникло подозрение, что это "шалят" поисковые боты. Реш…








