Списки ботов устаревают на глазах

Готовый список кажется решением: скачал, вставил, работаешь. На практике он живёт недолго, и вот почему.

Адреса проверяющих меняются. Список, собранный месяц назад, описывает состояние на день сбора.

Второе: по одному адресу отличить проверку от человека нельзя. Смотрят на совокупность: заголовки запроса, поведение, скорость, порядок обращений.

Третье: чужой список у всех одинаковый, значит и поведение у всех одинаковое. Это само по себе признак.

Что делать вместо: смотреть на свои логи и на то, что отличается у ваших посетителей. Разрезы отчёта разбирали здесь: четыре разреза отчёта по кампании.