Дивно, але менше половини власників сайтів використовують файл robots.txt.
Хочу показати Вам найчастіші помилки які допускаються при складанні даного файлу від яких часто багато залежить із сторони SEO.
Так як, на блозі використовую двигун Wordpress, то як приклад приведу написання файлу robots.txt спеціально для Wordpress.
User-agent:*
Dissallow: /wp-login.php
Dissallow: /wp-register.php
Dissallow: /?s=
Dissallow: /wp-admin/
Dissallow: /wp-content/
Dissallow: /wp-includes/
Dissallow: /out/
Dissallow: /xmirps.php
User-agent: Yandex
Dissallow: /wp-login.php
Dissallow: /wp-register.php
Dissallow: /?s=
Dissallow: /wp-admin/
Dissallow: /wp-content/
Dissallow: /wp-includes/
Dissallow: /out/
Dissallow: /xmirps.php
Host: kopaweb.org.ua
Sitemap: http://kopaweb.org.ua/?page_id=556
Як видно, ми заборонили індексацію тих файлів і папок які містять службові документи, а також якщо активний плагін (J)ExR, який робить зовнішні посилання внутрішніми , закриваємо папку, що вказана в його налаштуваннях. Також сторінки від пошуку по блогу, які зовсім не потрібні в індексі.
Якщо говоорити про інші CMS сайтів, то часто зустрічається така помилка, що сайт доступний і сайт.com і сайт.com/index.php. А з позиції SEO це дубль головної сторінки, що не бажано для сайта.
Обов’язково закрийте сторінки яка дублює головну сторінку:
Disallow: /index.php
Наступна помилка заключається в тому, що часто вказуючи Яндексу (як він просить вказувати) як сприймати Ваш домен з “www” або без. Також адрусу розміщення карти сайту тим жеж Вы звільняєте його від команди “User-agent: *”.
User-agent:*
Dissallow: /wp-login.php
Dissallow: /wp-register.php
Dissallow: /?s=
Dissallow: /wp-admin/
Dissallow: /wp-content/
Dissallow: /wp-includes/
Dissallow: /out/
Dissallow: /xmirps.php
User-agent: Yandex
Host: kopaweb.org.ua
Sitemap: http://kopaweb.org.ua/?page_id=556
І тепер Яндекс буду ігнорувати заборони які ми адресували всім пошуковим роботам, а значить потрібно для Яндекса прописувати ті ж команди, що і для усіх роботів.
Також запамятайте, пустої строки перед “Host” не повинно бути.
Popularity: 3% [?]
