Создать форум бесплатно: ixbb.ru :: Календарь на Май 2024 года: calendar2008.ru/2024/may/

Страницы: (2) 1 [2]  ( Перейти к первому непрочитанному сообщению ) Reply to this topicStart new topicStart Poll

robots.txt

, На что влияет
Djurik
Отправлено: Sep 7 2007, 12:19 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 767
Пользователь №: 666
Регистрация:
27-April 07



biggrin.gif - ты так и вставил, как есть biggrin.gif

Sample robots.txt file - в переводе с англ. значит "Пример файла роботс.тхт"

User-agent: - это относится к роботам (для какого робота)
Disallow: - что запретить для этого робота..

Например стандартный Юкозовский роботс.тхт:
CODE
User-agent: TurtleScanner
Disallow: /

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /dir/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /main/
Disallow: /admin/
Disallow: /secure/
Disallow: /mchat/


User-agent: TurtleScanner
Disallow: /

Здесь:
Запрет роботу TurtleScanner индексировать весь сайт (не знаю чо это за робот и чей smile.gif )

User-agent: *
Disallow: /a/
Disallow: /stat/

Здесь:
* - относится ко всем роботам.
Остальное запреты на индексацию..

Еще в самом начале можно добавить
Host: www.sait.ru , чтобы указать роботу на главное зеркало...


--------------------
user posted image
Купим ссылки с главной и внутренних, дорого! Подробнее
Рекламируй свой сайт за копейки!
PMEmail PosterUsers Website
Top
Spartak
Отправлено: Sep 7 2007, 04:54 PM
Quote Post


  Генерал
*

Группа: Members
Сообщений: 332
Пользователь №: 245
Регистрация:
19-January 07



QUOTE
в переводе с англ. значит "Пример файла роботс.тхт"
АнглиЦКОГО не знаю. biggrin.gif
Спасибо за пример.


--------------------
PMEmail PosterUsers Website
Top
centurion
  Отправлено: Nov 10 2007, 07:14 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Members
Сообщений: 1265
Пользователь №: 959
Регистрация:
16-June 07




Интересно, а как себя робот поведет, если написать так:

QUOTE

User-agent: *
Disallow: robots.txt


Заглючит? laugh.gif
PMAOLYahooMSN
Top
meta-trader
Отправлено: Nov 10 2007, 07:48 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 1120
Пользователь №: 1194
Регистрация:
11-October 07



QUOTE (centurion @ Nov 10 2007, 04:14 PM)
Интересно, а как себя робот поведет, если написать так:



Заглючит? laugh.gif

Вирус коровьего бешенства родит smile.gif

У меня так в роботсе:
User-agent: *
Disallow:


--------------------
Нужен форум для сайта? Создать свой форум
Нравятся ролевые игры? Создать форум для ролевой игры - создай ролевую и наслаждайся игрой!
Международный сервис фришных форумов - создать форум бесплатно.
PMEmail PosterUsers WebsiteICQ
Top
Asid Storm
Отправлено: Nov 10 2007, 10:06 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Super moderator
Сообщений: 895
Пользователь №: 39
Регистрация:
27-August 06



QUOTE
User-agent: *
Disallow: robots.txt

Заспамит твою Гостевую книгу (Если есть)
Сообщит своему хАзяину (СисАдмину) что ты его своей командой вывел из строя
И тебя выведут из индекса )
PMEmail PosterUsers WebsiteICQ
Top
centurion
Отправлено: Nov 11 2007, 12:52 AM
Quote Post


  Команда ЭйсВэб
*

Группа: Members
Сообщений: 1265
Пользователь №: 959
Регистрация:
16-June 07



Ну значит конкурентам будет сюрприз blink.gif , если я к ним в админку сумею попасть smile.gif
PMAOLYahooMSN
Top
centurion
Отправлено: Nov 11 2007, 08:10 PM
Quote Post


  Команда ЭйсВэб
*

Группа: Members
Сообщений: 1265
Пользователь №: 959
Регистрация:
16-June 07



QUOTE
Еще в самом начале можно добавить
Host: www.sait.ru , чтобы указать роботу на главное зеркало...


В какое именно место добавлять?

ТАК:
QUOTE
Host: www.sait.ru
User-agent: *
Disallow: /a/
Disallow: /stat/


ИЛИ ТАК:
QUOTE
User-agent: *
Host: www.sait.ru
Disallow: /a/
Disallow: /stat/


Токо ответьте побыстрей, пжста!

Это сообщение отредактировал centurion - Nov 11 2007, 08:11 PM
PMAOLYahooMSN
Top
STRALIS
Отправлено: Nov 11 2007, 08:18 PM
Quote Post


  Генерал
*

Группа: Members
Сообщений: 174
Пользователь №: 1187
Регистрация:
7-October 07



QUOTE (centurion @ Nov 11 2007, 05:10 PM)

В какое именно место добавлять?

ТАК:


ИЛИ ТАК:


Токо ответьте побыстрей, пжста!

В самом верху.


--------------------
Все права защищены
1976-2009 © V 3.3
PMEmail Poster
Top

Topic OptionsСтраницы: (2) 1 [2]  Reply to this topicStart new topicStart Poll

 



[ Script Execution time: 0.0429 ]   [ 10 queries used ]   [ GZIP выключен ]