[centurion]

Вот я знаю только несколько названий роботов которые нужно указывать в robots.txt.
Это:
Яндекс - Yandex,
Рамблер - StackRambler,
Апорт - Aport,
Гугл - Googlebot,

-----------
подскажите у других поисковиков боты как правильно называются?

Нужно срочно robots.txt дописать!

[Djurik]

'Имя бота' => 'Принадлежность',

'antabot' => 'antabot (private)',
'aport' => 'Aport',
'Ask Jeeves' => 'Ask Jeeves',
'Asterias' => 'Singingfish Spider',
'Baiduspider' => 'Baidu Spider',
'Feedfetcher-Google' => 'Feedfetcher-Google',
'GameSpyHTTP' => 'GameSpy HTTP',
'GigaBlast' => 'GigaBlast',
'Gigabot' => 'Gigabot',
'Accoona' => 'Google.com',
'Googlebot-Image' => 'Googlebot-Image',
'Googlebot' => 'Googlebot',
'grub-client' => 'Grub',
'gsa-crawler' => 'Google Search Appliance',
'Slurp' => 'Inktomi Spider',
'slurp@inktomi' => 'Hot Bot',
'lycos' => 'Lycos.com',
'whatuseek' => 'What You Seek',
'ia_archiver' => 'Alexa',
'is_archiver' => 'Archive.org',
'archive_org' => 'Archive.org',

'YandexBlog' => 'YandexBlog',
'YandexSomething' => 'YandexSomething',
'Yandex' => 'Yandex',
'StackRambler' => 'Rambler',

'WebAlta Crawler' => 'WebAlta Crawler',
'Yahoo' => 'Yahoo',
'zyborg@looksmart' => 'WiseNut',
'WebCrawler' => 'Fast',
'Openbot' => 'Openfind',
'TurtleScanner' => 'Turtle',
'libwww' => 'Punto',

'msnbot' => 'MSN',
'MnoGoSearch' => 'mnoGoSearch',
'booch' => 'booch_Bot',
'WebZIP' => 'WebZIP',
'GetSmart' => 'GetSmart',
'NaverBot' => 'NaverBot',
'Vampire' => 'Net_Vampire',
'ZipppBot' => 'ZipppBot',

'W3C_Validator' => 'W3C Validator',
'W3C_CSS_Validator' => 'W3C CSS Validator'

Тока не знаю нафик тебе оно надо.. Такое впечатление, что ты для каждого бота разнве команды писать будеш

[centurion]

ОГО-ГО!
Как их много.
Ладно всех пропишу, мне не жалко.
Спасибо!!!