Создать форум бесплатно: ixbb.ru :: Календарь на Апрель 2024 года: calendar2008.ru/2024/aprel/

  Reply to this topicStart new topicStart Poll

Перенаправление поисковых ботов

Sitemaster
Отправлено: Jun 4 2010, 01:30 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 425
Пользователь №: 2805
Регистрация:
6-September 09



Есть задача перенаправить поисковых ботов, но не всех, а только нужных, из дериктории в другое место. Делаю это, например, с помощью файла в дериктории .htaccess
перенаправление посетителей с ip адресом 77.88.22.0 на страницу about_my_sity.html:
CODE

SetEnvIf REMOTE_ADDR 77.88.22.0 REDIR="redir"
RewriteCond %{REDIR} redir
RewriteRule ^/$ /about_my_sity.html


Но, у яши и гугла ботов полно.
Вот IP диапазоны яши
77.88.22.0 – 77.88.23.255 (77.88.0.0/18)
87.250.224.0 – 87.250.255.255 (87.250.224.0/19)
93.158.128.0 – 93.158.191.255 (93.158.128.0/18)
95.108.128.0 – 95.108.255.255 (95.108.128.0/17)
213.180.214.128 – 213.180.214.255 (213.180.192.0/19

Спрашивается: как вставить правильно не IP, а диапазон IP.
И как эти диапазоны вставить кучей, а не повторять код для каждого?


--------------------
Аватар Макса - это мой дядя!
PMEmail Poster
Top
Sitemaster
Отправлено: Jun 4 2010, 07:38 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 425
Пользователь №: 2805
Регистрация:
6-September 09



Нашёл способ, заблокировал доступ для IP поисковиков яши, гугла, рамблера, майла и аппорта. Правда разброс адресов широкий получился и ещё много кого кажись заблокировал, но мне это не особо и важно.
CODE
Order Allow,Deny
Allow from all
Deny from local.
Deny from 77.88.22, 77.88.23, 87.250, 93.158, 95.108, 213.180.214, 64.68, 64.233, 66.102, 66.249, 72.14, 209.85, 216.239, 81.19, 94.100, 195.239.211, 194.67.18


Если кто-то скажет, что можно просто указать их имена, то я на это отвечу, что по директории бегает бот-проверяльщик, который проверяет доступность файла для поисковиков. Он то уж точно способен вычислить простой запрет по именам, вот и приходится идти на хитрости, т к в директории каталог с сотнями ссылок, которые мне не хотелось светить бы перед поисковиками.
Это конечно обман биржи автоматического обмена ссылками, но они тоже обманывают. Говорят, что сколько у тебя ссылок, столько и на тебя будет. Но бабло они зарабатывают, торгуя ссылками, которые незаметно подсовывают нам!


--------------------
Аватар Макса - это мой дядя!
PMEmail Poster
Top
Sitemaster
Отправлено: Jun 5 2010, 06:48 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 425
Пользователь №: 2805
Регистрация:
6-September 09



А вообще, кто-нибудь пользовал линкообменники?
Какие впечатления, есть ли подъём ИЦ тИЦ от них?


--------------------
Аватар Макса - это мой дядя!
PMEmail Poster
Top
Sitemaster
Отправлено: Jun 9 2010, 12:56 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 425
Пользователь №: 2805
Регистрация:
6-September 09



Странно, что никто не пользовался. Хотя, по моему беспонтовая штука это.
Я поставил на сайт 3 каталога от линкообменников неделю назад. Ни в одном из линкообменников сайт не забанили, так что уловка удалась. НО! Индексации-то нет!
Не нашлось ни одной дополнительной внешней ссылки в поисковиках на мой сайт. И только по тексту описания сайта, которое я задавал для линкообменников, Гугл нашёл 3 каталога с этим текстом. Яша и остальные ни одного! Неделя конечно не срок, но я ожидал большего...


--------------------
Аватар Макса - это мой дядя!
PMEmail Poster
Top
meravaz
Отправлено: Jun 10 2010, 12:05 AM
Quote Post


  Генерал
*

Группа: Members
Сообщений: 266
Пользователь №: 1600
Регистрация:
22-May 08



Горе от ума )))))


--------------------
PMEmail Poster
Top
Sitemaster
Отправлено: Jul 22 2010, 12:46 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 425
Пользователь №: 2805
Регистрация:
6-September 09



Индексация, к стати прошла успешно. Проиндексировалась уйма ссылок на сайт.
Только обратные тоже попали в индексацию из-за ошибки в коде файла .httpaccess
По примерам настройки httpaccess в интернете , я ip ставил в строчку через запятую. С одним ip всё прекрасно блокировало, а вот с двумя и более - нет!
Сейчас переделал код для блокировки по имени бота
CODE

SetEnvIfNoCase User-Agent "^Yandex" search_bot

SetEnvIfNoCase User-Agent "^Yahoo" search_bot

SetEnvIfNoCase User-Agent "^Googlebot" search_bot

SetEnvIfNoCase User-Agent "^Aport" search_bot

SetEnvIfNoCase User-Agent "^msnbot" search_bot

SetEnvIfNoCase User-Agent "^spider" search_bot

SetEnvIfNoCase User-Agent "^Robot" search_bot

SetEnvIfNoCase User-Agent "^php" search_bot

SetEnvIfNoCase User-Agent "^Mail" search_bot

SetEnvIfNoCase User-Agent "^bot" search_bot

SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot

SetEnvIfNoCase User-Agent "^Snapbot" search_bot

SetEnvIfNoCase User-Agent "^WordPress" search_bot

SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot

SetEnvIfNoCase User-Agent "^Parser" search_bot

<FilesMatch "^.*taom.*$">

Order Allow,Deny

Allow from all

Deny from env=search_bot

</FilesMatch>

<FilesMatch "^.*cat.*$">

Order Allow,Deny

Allow from all

Deny from env=search_bot

</FilesMatch>

<FilesMatch "^.*yh.*$">

Order Allow,Deny

Allow from all

Deny from env=search_bot

</FilesMatch>

блокируются 3 файла, в именах которых есть слова: taom cat и yh.
Можно конечно запретить доступ ботам в robots.txt, но в последнее время на его дерективы плюют даже роботы поисковиков, да и любой модер линкообменника при проверке может открыть его, а httpaccess для постороннего просмотра не доступен!


--------------------
Аватар Макса - это мой дядя!
PMEmail Poster
Top
Sitemaster
Отправлено: Jul 28 2010, 02:05 AM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 425
Пользователь №: 2805
Регистрация:
6-September 09



Нашёл скрипт, с помощю которого можно заходить на любой сайт под именем любого бота http://rapidshare.com/files/118658951/test.php.html это обычный php файл, который надо залить в корневую папку.
Проверил. Всё отлично работает! part.gif


--------------------
Аватар Макса - это мой дядя!
PMEmail Poster
Top

Topic Options Reply to this topicStart new topicStart Poll

 



[ Script Execution time: 0.0216 ]   [ 10 queries used ]   [ GZIP выключен ]