Коментарі до Правильне складання robots.txt

Від: kopaweb

kopaweb — Thu, 03 Mar 2011 10:04:21 +0000

Хоча гугл говорить, що він сам, автоматично визначає які сторінки потрібні у видачі, а які не потрібні, думаю, що скласти правильно robots.txt для тогощоб підсказати йому не помішає. Крім того гугл не єдина пошукова система!!!
Так, що robots.txt, на мою думку, обовязковий елемент сайту!

Від: gorih

gorih — Thu, 03 Mar 2011 09:53:44 +0000

А це ще діє?

Від: Оптимізовуємо блог на WordPress. Частина 2 » Життя і заробіток в інтернеті

Оптимізовуємо блог на WordPress. Частина 2 » Життя і заробіток в інтернеті — Fri, 13 Aug 2010 17:48:06 +0000

[...] Або це все можна вручно налаштувати в файлі robots.txt. [...]

Від: XML SiteMap. Що таке, і для чого потрібен? » Життя і заробіток в інтернеті

XML SiteMap. Що таке, і для чого потрібен? » Життя і заробіток в інтернеті — Wed, 02 Jun 2010 17:13:25 +0000

[...] SiteMap, як і robots.txt, необхідна річ на любому сайті. В чому ж заключається [...]