Життя і заробіток в інтернеті

Одна із найбільш поширених помилок веб-майстрів та оптимізаторів є те, що вони не  використовують robots.txt, META-роботс та атрибут nofollow. Всі вищевказані фактори впливають на індексацію, та ріст PageRank, а також це все впливає на ранжування сайту у видачі та ваш інтернет бізнес зокрема. Трохи поговоримо про вплив robots.txt, META-тегів і nofollow на SEO і як потрібно використовувати їх для покращення рейтингу вашого сайту.

Robots.txt

Robots.txt (так званий Стандарт винятків для роботів) являє собою спеціальний текстовий файл, який знаходиться в кореневій папці веб-сайт. Він використовується веб-майстрами для того, щоб дати інструкції пошуковим роботам. Цей файл містить інформацію про те, які сторінки не повинні скануватися, яка максимальна швидкість сканування, адресу карти XML   і т.д. Одним з найпоширеніших видів використання в robots.txt, це заборона пошуковим систем скануваннявказані сторінки чи папки.

МЕТА-роботc

Цей мета-тег вказує чи повинна та чи інша сторінка бути проіндексованою і чи враховувати з неї вихідні посилання. Значення за замовчуванням для цього тега індексація та враховування всіх посилань що не закриті в  nofollow. Допустимі варіанти:

<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”INDEX, NOFOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>

rel = “nofollow”

rel = “nofollow” використовується в якорі того посилання якого ми забороняємо індексувати пошуковим роботам.

Зверніть увагу на те, що ви повинні бути дуже обережні при використанні файлу robots.txt та META-роботс, так як ви можете в значній мірі впливає на індексацію вашого сайту і як результам на ранжування. З точки зору  SEO, найкращим способом запобігання появи сторінки в результатах видачі полягає у використанні NOINDEX в META-роботс. Тому що в такому випадку вона не просто не потрапить до видачі, а ще й не буде забирати вагу PageRank в інших сторінок.