Недавно TiLL, регулярный читатель моего блога, спросил меня, как закрыть ссылки от индексирования поисковиками? Я думал, что это общеизвестно, но оказывается я ошибался и по этому решил написать отдельный пост на эту тему.

Для чего закрывать ссылки от индексирования

Поговорим сперва о том, для чего вообще внешние, исходящие ссылки от индексирования закрывать нужно. Один из факторов в поисковых алгоритмах по определению рейтинга сайта, является соотношение входящих и исходящих ссылок. При этом, сайты с многим количеством входящими ссылок и малым количеством исходящих поисковики считают хорошими. Напоминаю на всякий случай, что это только один из многих факторов и сайт с хорошим соотношением ссылок может оказаться в глазах поисковиков по другим причинам не очень. Обратный вариант, когда исходящих ссылок больше, чем входящих, стоит избегать, чтобы не попасть под какой-нибудь фильтр. Например, социальные закладки ушли под АГС, который некоторые прозвали антиговносайтом, именно из-за большого количества исходящих ссылок.

Кроме того роль играет тематика сайтов, которые ссылаются, а так же анкор ссылки. Например, Яндекс сильно учитывает тематичность ссылок при присваивании ТИЦа и это не удивляет, ведь ТИЦ расшифровывается как тематический индекс цитирования. Если на ваш сайт ссылаются сайты на тему SEO или раскрутка сайта, то у поисковика будут все основания полагать, что ваш сайт о поисковой оптимизации. Если ещё и в анкоре ссылки будут эти слова, то ваш сайт появится по таким запросам в выдаче.

Короче, закрывая лишние ссылки от индексации мы избавляемся от лишних внешних и нетематических ссылок, например, счётчиков, рейтингов, рекламных баннеров и всего такого, тем самым повышаем популярность сайта для поисковиков.

RSS был изобретён корпорацией Apple в 1995 году и относится к семейству XML-форматов. Расшифровывается эта аббревиатура как Really Simple Syndication - в натуре простое приобретение информации. Эта технология приобрела известность в 1997 году после того, как компания Netscape применила его для наполнения своего портала Netcenter. RSS используется в основном на часто обновляемых сайтах, например, форумах, блогах или интернет-магазинах. Предназначен RSS для описания лент новостей, сообщений, ответов, постов, комментариев, анонсов статей и обновления прайслистов. При этом пользователь может абонировать нужную ему информацию и не заходить каждый раз на сайт в поисках новых материалов. Информация приходит сама к пользователю. Существует множество программ, как почтовые клиенты или веб-браузеры, для чтения RSS-потоков. Так же популярны RSS-агрегаторы расположенные в интернете, например Яндекс.Лента и Google Reader. Любой блог просто обязан иметь свой RSS-поток, предпочтительно прожённый для удобства пользователей на FeedBurner.Com. Этот гугловский сервис облегчает добавление новостного потока в агрегаторы и предоставляет статистику по подписчикам. Количество подписчиков считается одним из признаков значимости блога. Рядом с моим блогом в Feedburner сейчас красуется циферка пять - не густо. Но ещё всё впереди, и если блог RealOnlineMoney вам понравился, то подпишитесь на нашу RSS-ленту.

Иногда счётчики, баннеры или другие картинки не подходят к дизайну сайта. Для таких случаев в CSS есть возможность сделать изображения бледнее, прозрачней. Например, нам нужно встроить код такой код на сайт:


Этот баннер выглядит так:



Теперь мы создаём в стилях CSS идентификатор, который у нас будет называться img1. Он будет влиять на видимость картинок (img) в ссылках (a). В фигурных скобках содержатся три значения, для браузеров Opera, Mozila Firefox и Internet Explorer. От этих данных зависит, какая видимость будет у изображений. При значении 1 для первых двух браузеров и 100 для альфа-фильтра изображение будет полностью видно, при нулевых значениях изображение не будет видно. В нашем примере мы имеем 30% видимости баннера:


Код баннера теперь нужно заключить в такой тег:


Теперь наш баннер выглядит так:

Иногда нужно, чтобы при наведении курсора эффект прозрачности пропадал. Дополняем код в стилях CSS ещё одной строкой. Теперь при активной ссылке (a:hover) будет полная видимость картинки. Код для CSS-файла:


И вот что получается:

В этот раз поговорим о нескольких способах переадресации с одной страницы на другую. Редирект может пригодится, например, при переезде на другой домен. При этом посетители старого домена автоматически перенаправляются на новый. Редиректы используются и для избавления от внешних ссылок. Так же редиректы широко используются строителями дорвеев. Реализировать это чудо веб-программирования можно разными способами.

Файл robots.txt - это текстовой файл, который находится в корневой папке и создаётся он для поисковых агентов. Через него вы можете управлять доступом ботов к вашему сайту. Robots.txt является полезным дополнением к файлу Sitemap. Этот файл поддерживается всеми большими поисковыми машинами.

Для чего запрет доступа для поисковиков может быть хорош? Он может быть хорош по нескольким понятиям. Из-за вопросов безопасности, например, отключается индексация администраторских разделов. Из-за соображений оптимизации может быть исключён зафлуженый форум от индексации, который мог бы негативно повлиять на позиции сайта в поисковиках.

Читайте в полной статье, как правильно составить такой файл и какие директивы в него можно внести.

Файл Sitemap содержит адреса всех страниц вашего сайта и существенно ускоряет индексацию. Как известно поисковые системы находят сайты по внешним ссылкам, то есть робот заходит на один сайт, сканирует его, а потом переходит дальше по ссылкам. Если ваш сайт новый, то никакой речи о внешних ссылках быть не может. То есть его очень сложно будет найти - для Гугла и товарищей он будет просто невидим. С помощью Sitemap эта проблема решается, этот файл показывает поисковиках, где нужно искать.

Карта сайта полезна так же в следующих случаях:
- На сайте большое количество динамического, постоянно обновляемого контента.
- На сайте большое количество слабо друг с другом связанных или не связанных страниц.
- На сайте применяются технологии Flash или AJAX, из которых поисковик не может самостоятельно извлечь информацию.