0
20.01.201513:3920.01.2015 13:39:00
Директивы указанные в файле robots.txt являются рекомендательными и большенство ботов не реагируют на них по этому для действенной защиты сайта от Ботов необходимо добавить в .htaccess следующие правила:
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) -
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) -
RewriteCond ...
20.01.201513:3920.01.2015 13:39:00
0
16.12.201411:1516.12.2014 11:15:00
MJ12bot назойливый бот который не делает Вашему сайту ни какой пользы, но при этом так же, как SEMRushBot усердно сканирует сайт и тем самым грузит процессор. Без промедления добавляйте user agent mj12bot в robots.txt
User-agent: MJ12bot
Disallow: /
Или используйте более надежный способ: запрет доступа дл...
16.12.201411:1516.12.2014 11:15:00
0
05.11.201418:4705.11.2014 18:47:00
SEMrush - это хороший аналитический сервис для анализа своего сайта и сайтов конкурентов https://ru.semrush.com. Бесплатно можно получить скромный отчет SEO параметров и за деньги подробный отчет для SEO специалиста или маркетолога. Казалось бы классная штука, но когда Ваш сайт начинают ...
05.11.201418:4705.11.2014 18:47:00
0
22.10.201416:4322.10.2014 16:43:00
Ahrefs хороший аналитический сервис https://ahrefs.com для анализа внешних факторов, но зачастую в логах веб-сервера можно увидеть по несколько обращений в секунду USER AGENT AhrefsBot который ищет на страницах Вашего сайты ссылки на другие сайты и тем самым создает не нужную нагрузку проце...
22.10.201416:4322.10.2014 16:43:00