Убираем рефспам (refspam) из статистики или как победить ilovevitaly

Многие вебмастера анализирующие статистику переходов на свой сайт с середины 2014 года обратили внимание на непонятные переходы на свой сайт по непонятным ссылкам. На скриншоте системы аналитики Яндекс.Метрика это выглядит примерно так

ilovevitaly

ilovevitaly-2

Переходы с этих сайтов генерируют 100% отказов. Мы видим тут переходы с сайта http://ru.lovevitaly.com, http://addons.mozila.org и http://ftns.ru

На первый взгляд, ну что такого, ну переходы. Ну генерируют они 100% отказов. Ну подумаешь?

Итак, начнем разбираться.

Если совершить переход на сайт http://ftns.ru то нас перенаправляет редиректом на сайт http://shoping.lovevitaly.ru а с него тут же на сайт http://activities.aliexpress.com/af/bestselling.php?aff_platform=aaf&sk=RFm6E2zfQ%3A&cpt=1428348761227

Особый интерес представляет вот эта ссылка http://activities.aliexpress.com/af/bestselling.php?aff_platform=aaf&sk=RFm6E2zfQ%3A&cpt=1428348761227

Если вы когда-нибудь программировали на языке PHP то вы наверное понимаете, что значения переменных в этом языке методом GET передаются по URL то есть мы имеем ситуацию в которой по ссылке передаются следующие значения следующих переменных

aff_platform=aaf
sk=RFm6E2zfQ%3A
cpt=1428348761227

Это параметры, которые прописываются на ваш, клиентский компьютер в качестве cookies и связывают вас и сайт aliexpress сроком на 30 дней.

Вот такие вот у вас теперь на компьютере "печеньки"

ilovevitaly-cookies

ilovevitaly-cookies-2

Но вот только в качестве партнерской ссылки, то есть ссылки партнера, который получит процент от покупки совершенной вами в течение 30 дней (срока жизни cookies) на сайте aliexpress, прописывается реферальная ссылка некого Виталия.

Ведь вам эти цифры совсем ничего не говорят? А ему многое -- RFm6E2zfQ%3A 1428348761227

Если бы вы жили в Евросоюзе, то такое деяние, наказывается там штрафом в размере 500 000

С этой даты сайты, не соответствующие требованиям закона, могут быть оштрафованы на сумму £500 000.

В общих словах, новые правила требуют, чтобы веб-сайт получал разрешение от посетителей прежде, чем записывать cookies на их компьютеры. Это значит, что вы должны прямо спросить посетителей, можно ли записать cookies и четко объяснить, какие cookies для чего используются. Это непростая задача.

http://habrahabr.ru/post/143235/

Кто виноват?

Виноват некий Виталий из Самары (V***ly A P***v Samara Samarskaya oblast 443070 +7********** pov***ly@****.**)

Жажда наживы затмила ему взор, и человек решил что ему все можно. Отсутствие внятной законодательной базы, и вменяемой реакции как ПА, хостинг компаний так и сообщества вебмастеров, которого собственно и нет, говорит о том, что Виталий в каком-то смысле прав, до тех пор пока не доказано обратное.

Подробности этой вакханалии можно прочитать на 48 страницах на форуме searchengines.ru http://searchengines.guru/showthread.php?t=866350

Если я правильно понял суть повествования, некий Виталий из Самары, придумал как нагнать трафик, через ссылки регистрируемые в системах аналитики, но не придумал что с ним делать с этим трафиком. Потом он придумал, что с ним делать, и завернул редиректы на свои рефки в партнерках... и тут всплыли все его рефки и прочие куки на 30 дней.

По словам самого Виталия, который кстати многословен в треде не серче, у него 300 доменных имен, а значит настроен парень весьма серьезно.

Что делать?

Яндекс предложил не замечать сей трафик, и настроить фильтры

В данный момент действительно могут присутствовать подобные некорректные переходы.

Наши специалисты создали автоматический фильтр для подобных сайтов. Для его включения рекомендуем установить настройку "Фильтровать по строгим правилам и по поведению" фильтрации роботов. Подробнее: http://help.yandex.ru/metrika/general/filters.xml.

Подробнее о таких переходах: http://clubs.ya.ru/metrika/replies.xml?item_no=12395

На рейтинг сайта такие переходы не повлияют.

Если у Вас остались дополнительные вопросы, пожалуйста, обращайтесь!

Настройка фильтра, навскидку выглядит примерно так:

ilovevitaly-metrika-filters

Команда Яндекса решила, что она не сможет найти и обезвредить все вредоносное ПО распространяемое Виталием, и дала вебмастерам инструмент самостоятельной блокировки негодного трафика реализовав всем вкладку Фильтры в Метрику. Окей сказали веб-мастера, но я пошел читать серч дальше.

А дальше нам предлагают пару программных решений на уровне настроек файла .htaccess для веб-сервера apache

Решение № 1

  1. RewriteCond %{HTTP_REFERER} ^http://[^/]+ilovevitaly\.co/ [NC]
  2. RewriteCond %{HTTP_REFERER} ^http://[^/]+ilovevitaly\.com/ [NC]
  3. RewriteCond %{HTTP_REFERER} ^http://[^/]+ilovevitaly\.ru/ [NC]
  4. RewriteCond %{HTTP_REFERER} ^http://[^/]+priceg\.com/ [NC]
  5. RewriteCond %{HTTP_REFERER} ^http://[^/]+advokateg\.ru/ [NC]
  6. RewriteCond %{HTTP_REFERER} ^http://[^/]+ftns\.ru/ [NC]
  7. RewriteCond %{HTTP_REFERER} ^http://[^/]+cenoval\.ru/ [NC]
  8. RewriteCond %{HTTP_REFERER} ^http://[^/]+cenokos\.ru/ [NC]
  9. RewriteCond %{HTTP_REFERER} ^http://[^/]+vodkoved\.ru/ [NC]
  10. RewriteCond %{HTTP_REFERER} ^http://[^/]+goodseolinks\.ru/ [NC]
  11. RewriteCond %{HTTP_REFERER} ^http://[^/]+darodar\.com/ [NC]
  12. RewriteRule .? - [F]

Решение № 2

  1. <IfModule mod_setenvif.c>
  2. <FilesMatch "(.*)">
  3. SetEnvIfNoCase Referer econom.co spambot=yes
  4. SetEnvIfNoCase Referer ilovevitaly.com spambot=yes
  5. SetEnvIfNoCase Referer ilovevitaly.ru spambot=yes
  6. SetEnvIfNoCase Referer ilovevitaly.org spambot=yes
  7. SetEnvIfNoCase Referer ilovevitaly.info spambot=yes
  8. SetEnvIfNoCase Referer iloveitaly.ru spambot=yes
  9. SetEnvIfNoCase Referer shopping.ilovevitaly.ru spambot=yes
  10. SetEnvIfNoCase Referer maps.ilovevitaly.com spambot=yes
  11. SetEnvIfNoCase Referer 230-60-110-78.net.hts.ru spambot=yes
  12. SetEnvIfNoCase Referer net.hts.ru spambot=yes
  13. SetEnvIfNoCase Referer 78.110.60.230 spambot=yes
  14. SetEnvIfNoCase Referer darodar.com spambot=yes
  15. SetEnvIfNoCase Referer iedit.ilovevitaly.com spambot=yes
  16. SetEnvIfNoCase Referer forum.topic51720095.darodar.com spambot=yes
  17. SetEnvIfNoCase Referer shopping.ilovevitaly.com spambot=yes
  18. Order Allow,Deny
  19. Allow from All
  20. Deny from env=spambot
  21. </FilesMatch>
  22. </IfModule>

Рекомендую использовать и предложения Яндекс и решения предложенные на форуме searchengines. От всей души желаю Виталию применить его знания в более полезном направлении, и не породить своими творениями таких идиотских законов, которые возникли в Евросоюзе, вроде закона о использовании cookies

Кстати, наш боец, засветился уже и в зарубежной части интернета https://www.tythewebguy.com/how-to-block-darodar-referral-spam-to-your-website/