04 Бер 2010 о 16:19
Дивно, але менше половини власників сайтів використовують файл robots.txt.
Хочу показати Вам найчастіші помилки які допускаються при складанні даного файлу від яких часто багато залежить із сторони SEO.
Так як, на блозі використовую двигун Wordpress, то як приклад приведу написання файлу robots.txt спеціально для Wordpress.
User-agent:*
Dissallow: /wp-login.php
Dissallow: /wp-register.php
Dissallow: /?s=
Dissallow: /wp-admin/
Dissallow: /wp-content/
Dissallow: /wp-includes/
Dissallow: /out/
Dissallow: /xmirps.phpUser-agent: Yandex
Dissallow: /wp-login.php
Dissallow: /wp-register.php
Dissallow: /?s=
Dissallow: /wp-admin/
Dissallow: /wp-content/
Dissallow: /wp-includes/
Dissallow: /out/
Dissallow: /xmirps.php
Host: kopaweb.org.ua
Sitemap: http://kopaweb.org.ua/?page_id=556
Як видно, ми заборонили індексацію тих файлів і папок які містять службові документи, а також якщо активний плагін (J)ExR, який робить зовнішні посилання внутрішніми , закриваємо папку, що вказана в його налаштуваннях. Також сторінки від пошуку по блогу, які зовсім не потрібні в індексі.
Якщо говоорити про інші CMS сайтів, то часто зустрічається така помилка, що сайт доступний і сайт.com і сайт.com/index.php. А з позиції SEO це дубль головної сторінки, що не бажано для сайта.
Обов’язково закрийте сторінки яка дублює головну сторінку:
Disallow: /index.php
Наступна помилка заключається в тому, що часто вказуючи Яндексу (як він просить вказувати) як сприймати Ваш домен з “www” або без. Також адрусу розміщення карти сайту тим жеж Вы звільняєте його від команди “User-agent: *”.
User-agent:*
Dissallow: /wp-login.php
Dissallow: /wp-register.php
Dissallow: /?s=
Dissallow: /wp-admin/
Dissallow: /wp-content/
Dissallow: /wp-includes/
Dissallow: /out/
Dissallow: /xmirps.phpUser-agent: Yandex
Host: kopaweb.org.ua
Sitemap: http://kopaweb.org.ua/?page_id=556
І тепер Яндекс буду ігнорувати заборони які ми адресували всім пошуковим роботам, а значить потрібно для Яндекса прописувати ті ж команди, що і для усіх роботів.
Також запамятайте, пустої строки перед “Host” не повинно бути.
(Ніхто не проголосував)
Loading ...Для отримання оновлень на електронну пошту
введіть свою e-mail адресу в цю форму.
2 червня 2010
[...] SiteMap, як і robots.txt, необхідна річ на любому сайті. В чому ж заключається [...]
13 серпня 2010
[...] Або це все можна вручно налаштувати в файлі robots.txt. [...]
3 березня 2011
А це ще діє?
3 березня 2011
Хоча гугл говорить, що він сам, автоматично визначає які сторінки потрібні у видачі, а які не потрібні, думаю, що скласти правильно robots.txt для тогощоб підсказати йому не помішає. Крім того гугл не єдина пошукова система!!!
Так, що robots.txt, на мою думку, обовязковий елемент сайту!