, На что влияет

robots.txt как-то влияет на поисковую оптимизацию?
Или он служит только для запрета индексации отдельных страниц?
Как выглядит robots.txt (формат, пример кода)?
Где можно почитать про него?

# Sample robots.txt file
User-agent: *
Disallow:

вот то что должно быть в файле robots.txt

# Sample robots.txt file обязательно

User-agent: * это означает для всех роботов
Disallow: это означает нет запрета на страницы


фаил должен лежать в корневой дериктории сайта например www.site.ru/robots.txt

А если у меня много папок на хосте. Каждая папка отвечает допустим за форум, Чат и т.д. Могу я robots.txt вложить в конкретную папку которую не хочу индексировать.

Зачем? Просто укажи в этом же роботсе какие папки запрещены и все, туда роботы и не полезут...

Как указывать?

Дайте пример!

А то у меня в Корневой даже такого текстового файла нет

Через роботс можно запретить индексацию определенных страниц, директорий. Прописать запрет для определенных поисковых систем. Указать на основной домен, если домены параллельные. Короче, без него - никуда!

>> Как выглядит robots.txt (формат, пример кода)?
обычный формат txt

>> Где можно почитать про него?
В интернете. Благо поисковиков у нас много

А если мне не нужно устанавливать запрет, отсутствие robots.txt на что-то влияет?

Скажу так: лучше если он будет...

Зачем и почему?
Он должень лучше быть.

Это типа меда для пчел?

В моем случае достаточно прописать это в текстовом формате и ни какие теги не пишутся?
ЗЫ: Я поместил в таком виде файл, при проверке Гугль выдал:

Что это значит?