|
Словарь SEO терминов Новости Полезные статьи Информация о проекте Услуги оптимизаторам Услуги владельцам сайта Оплата услуг SEO сервисы SEO справочник Статьи и публикации |
Растолкованный PageRank|
10.11.2017
Новый формат витальной рекламы
Витальная реклама - новый инструмент продвижения - размещение рекомендаций в местах общения пользователей. Его особенностью будет то, что размещаемые отзывы содержат информацию, по которой с помощью поисковых систем можно идентифицировать продвигаемый сай |
|
21.01.2010
Новые возможности SAPE
В ручном поиске появилась возможность в критериях поиска указать рубрику(и) Яндекс.каталога, при этом в результатах поиска появятся как сайты из Яндекс.каталога. |
|
06.01.2010
Компания Яндекс на прошлой неделе подвела итоги 2009 года
Компания Яндекс успешна тогда, когда не разбрасывается, не тратит ресурсы на непрофильные проекты, но фокусируется на главном, - сообщается в блоге компании. - Главное для нас – массовые информационно-справочные сервисы, как общего характера, так и персон |
|
24.12.2009
Более 28% сайтов в сети используют Google Analytics для работы со своими сайтми
Исследование стало возможным, благодаря проекту CommonCrawl.org, поисковому роботу, который предоставил статистику по всем выборочным сайтам, которые содержат около трех миллиардов адресов в разных доменных зонах. Около 20% иследуемых сайтов используют те |
|
23.12.2009
Только 20% запросов к Google являются уникальными
Только 20% запросов к поисковой системе Google являются уникальными. Об этом Google написал в своем официальном блоге: «Учитывая, что 20% поисковых запросов, - это те запросы, которые мы не встречали в последние 90 дней». Получается, что 8 из 10 пользоват |
|
22.12.2009
Yahoo планирует закрыть свои офисы по всему миру на неделю
Такие каникулы будут для сотрудников компании неоплачиваемыми (в США). Они также могут быть потрачены как отпускные дни, чем, скорее всего, многие и воспользуются. Таким образом, Yahoo пытается сократить издержки во время недели с традиционно низкой делов |
|
21.12.2009
The Nielsen Company делает свои прогнозы на 2010 год.
Одним из основных трендов 2010 года, по мнению Nielsen Company, является конвергенция различных способов онлайн-продвижения. Для измерения эффективности такого микса будет все больше использоваться ROI |
|
18.12.2009
Поиск Mail.ru запустил новый алгоритм обработки названий фильмов и книг
По утверждению Mail.ru, «Поисковый робот GoGo.Ru умеет корректно выделять фактологические данные из проиндексированной информации и анализировать поведение пользователей». |
|
15.12.2009
Google выкатывает новый инструмент, для работы с юзабилити сайта.
Инструмент работает на основе данных пользователей google.com: ширина и высота экрана. Используя эту информацию, инструмент Browser Size подскажет владельцам сайтов, какой процент пользователь видит или не видит определенную часть веб-страницы. |
|
03.12.2009
Яндекс представил руководство по белой оптимизации сайт
Яндекс представил руководство по белой оптимизации сайта. Свой рассказ об этом документе Александр Садовский начал так: «ЭТО ТО, что давно ждали.. просили.. надеялись..». Объемное руководство можно найти на Яндекс.Вебмастере. Документ, который сейчас начн |
Разрешения и запрещения на индексацию берутся всеми поисковыми системами из файла robots.txt, находящегося в корневом каталоге сервера. Запрет на индексацию ряда страниц может появиться, например, из соображений секретности или из желания не индексировать одинаковые документы в разных кодировках. Чем меньше ваш сервер, тем быстрее робот поисковой системы его обойдет. Поэтому запретите в файле robots.txt все документы, которые не имеет смысла индексировать (например, файлы статистики или списки файлов в директориях). Обратите особое внимание на CGI или ISAPI скрипты - наш робот индексирует их наравне с другими документами.
В простейшем виде (разрешено все, кроме директории скриптов) файл robots.txt выглядит следующим образом:
User-Agent: *
Disallow: /cgi-bin/
При написании файла robots.txt обратите внимание на следующие часто встречающиеся ошибки:
Строка с полем User-Agent является обязательной и должна предшествовать строкам с полем Disallow. Так, приведенный ниже файл robots.txt не запрещает ничего:
Disallow: /cgi-bin
Disallow: /forum
Пустые строки в файле robots.txt являются значимыми, они разделяют записи, относящиеся к разным роботам поисковиков. Например, в следующем фрагменте файла robots.txt строка “Disallow: /forum” игнорируется, поскольку перед ней нет строки с полем User-Agent.
User-Agent: *
Disallow: /cgi-bin
Disallow: /forum
Строка с полем Disallow может запретить индексирование документов только с одним префиксом. Для запрета нескольких префиксов нужно написать несколько строк. Например, нижеприведенный файл robots.txt запрещает индексирование документов, начинающихся с “/cgi-bin /forum”, которых, скорее всего, не существует (а не документов с префиксами “/cgi-bin” и “/forum”).
User-Agent: *
Disallow: /cgi-bin /forum
В строках с полем Disallow записываются не абсолютные, а относительные префиксы. То есть файл:
User-Agent: *
Disallow:
запрещает, например, индексирование документа
http://www.мойhost.ru/www.myhost.ru/cgi-bin/counter.cgi,
но НЕ запрещает индексирование документа поисковыми системами
В строках файла robots.txt с полем Disallow указываются именно префиксы, а не что-нибудь еще. Так, файл robots.txt :
User-Agent: *
Disallow: *
запрещает индексирование документов, начинающихся с символа «* » (которых в природе не существует), и сильно отличается от файла:
User-Agent: *
Disallow: /
который запрещает индексирование всеми поисковыми системами всего сайта.
Если вы не можете создать/изменить файл robots.txt, то еще не все потеряно — достаточно добавить дополнительный тег <META> в HTML-код вашей страницы (внутри тега <HEAD>):
<META NAME="ROBOTS" CONTENT="NOINDEX">
Тогда данный документ также не будет проиндексирован.
Вы также можете использовать тэг
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
Он означает, что робот поисковой машины не должен идти по ссылкам с данной страницы.
Для одновременного запрета поисковым системам индексирования страницы и обхода ссылок с нее используется тэг
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
Как запретить поисковым системам индексацию определенных частей текста?
Чтобы запретить поисковым системам индексирование определенных фрагментов текста в документе, пометьте их тегами
<NOINDEX></NOINDEX>