Yahoo объявил, что поддерживает шаблоны в robots.txt . Это позволяет роботу Yahoo понимать два новых символа: * и $.
«Звездочка» соответствует последовательности символов. Это значит, что вы можете предотвратить индексирование URL с текстом, который вы зададите. Например:
User-Agent: Yahoo! Slurp Disallow: /*?sessionid
Предотвратит Yahoo от индексирования страницы со строкой ?sessionid .
Знак «доллара» фиксирует текст в конце строки URL . Это означает, что вы можете предотвратить индексирование Yahoo страниц, с определенным текстом в конце. Например:
User-Agent: Yahoo! Slurp Disallow: /*.gif$
Не даст Yahoo индексировать файлы, оканчивающиеся на .gif
Больше информации и примеров можете найти на официальном блоге Yahoo.
