Индексация сайта: принципы работы, советы, секреты

Индексация страниц сайта в Яндекс Вебмастер

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

• новые – страницы, которые недавно появились на сайте либо робот их только что обошел;
• изменившиеся – страницы, который поисковик Яндекса раньше видел, но они изменились;
• история обхода – количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

 

В этом пункте отображены страницы, которые Яндекс нашел.

N/a – URL не известен роботу, т.е. робот её раньше не встречал. 

Какие выводы из скрина можно сделать:

1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет. 
2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо – Яндекс удалил, а что надо – Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется – добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

• для отслеживания изменений количества страниц в Яндексе;
• для слежения за добавленными и исключенными страницами;
• для выяснения причин исключения сайта из поисковой выдачи;
• для получения информации о дате посещения сайта поисковиком;
• для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Почему проект не индексируется

Мы подробно рассмотрели, что такое индексация сайта, для чего она нужна, какую играет роль. Мы узнали, как проводится проверка индексации сайта в Яндексе и Google. Теперь нужно понять, почему страницы ресурса могут не попасть в базу поисковых систем. Тут возможно несколько вариантов развития событий.

Во-первых, ошибка 404. Распространенная проблема, когда страница недоступна. Следовательно, поисковый робот не может ее найти, проанализировать и добавить в базу. И проверка индексации страниц сайта не даст желаемый результат. Это может случиться из-за отсутствия самой страницы, неправильного адреса или блокировки скриптом. Необходимо проверить весь проект на предмет ошибок, проанализировать работу скриптов. Многие из них отправляют сообщение о результате проверки, что поможет выявить проблему и устранить ее. После исправления ошибок стоит повторно проверить индексацию сайта.

Во-вторых, спам или переоптимизация. Здесь подразумевается манипуляция пользователями и поисковыми системами с целью привлечь трафик на ресурс. Здесь могут быть использованы различные подходы, например, добавление большого количества ключевых слов в заголовок и текст страницы, маскирование ключевых слов при помощи цвета фона или мелкого шрифта и так далее. Визуально страница может выглядеть нормально (для пользователя), но в глазах поискового робота она будет избыточно нагружена ключевыми словами. Результат — неудачная проверка сайта в поисковых системах.

Использовать подобные сомнительные способы продвижения не стоит, поскольку сегодня поисковики могут успешно определять спам и переоптимизацию, что наказывается фильтрами и баном всего проекта. Подобные подходы могут привести и к снижению позиций в поисковой выдаче, что негативно скажется на общем состоянии сайта. Мгновенное перенаправление на другую страницу (длительность перенаправления равна 0 секунд) тоже может закончиться исключением из списка выдачи.

Помните, что поисковики служат для пользователей. Они предоставляют им сайты с информацией, которая максимально релевантна их запросам, то есть соответствует тому, что они ищут. Задача оптимизатора — создать такой контент, который легко ищется поисковиком и предоставляется пользователю. И своевременная проверка индексации сайта в Гугле и Яндексе имеет здесь весомое значение.

В-третьих, ошибки в датах. Поисковики умеют сортировать загружаемые данные по датам, однако это не всегда происходит верно. По этим причинам нужно не только правильно отображать данные о времени публикации в HTML документе, но и поработать с настройками вебсервера. Будет хорошим тоном настроить систему так, чтобы при передаче запросов указывались временные данные, что позволит исключить возможные неприятности. В этом случае проверка индексации сайтов покажет положительный результат.

В-четвертых, проблемы с кодировок. Очень частая и крайне неприятная ситуация. Если в HTML документе неправильно указана кодировка текстов (или ее там вовсе нет), то на выходе поисковый робот может загрузить не полноценный текстовый материал, а набор символов. Особенно это актуально при работе с документами не на английском языке (русский, украинский и пр.). Соответствующие правки можно внести в мета-тег «Content-type». Это поможет обезопасить себя и сделать посещение сайта комфортным для пользователей.

Если проект содержит одинаковые страницы, но с разным языковым наполнением, то тут стоит осуществлять передачу кодировок в разных robots.txt на разных портах (серверах). Если передача проходит по директориям, то достаточно одного robots с соответствующими записями. После внесения изменений не забудьте проверить индексацию сайта в Google и Yandex.

В-пятых, загрузка одного веб-сайта с разных серверов. Эта проблема актуальна при наличии зеркал или mirror. Под ними понимают разные доменные адреса, ведущие на один и тот же сайт. В результате может случиться так, что поисковый бот проиндексирует один из вариантов, а другой документ исключит (а ведь это может быть не зеркало, а основной ресурс). Здесь поможет внесение записей в файл robots.txt.

Стоит поговорить и о том, сколько индексируется сайт в Яндексе или в Google. Длительность процедуры нигде не установлена и может составлять как один день, так и несколько недель. На это влияет ряд факторов:

• возраст сайта;
• состояние внутренней оптимизации (перелинковка);
• наличие ошибок на сайте;
• скорость загрузки страниц;
• количество и качество контента.

Проверка индексации сайта в Google

Как и в «Яндексе», для этого существует два способа:

• Ввод комбинации site:ваш сайт вручную. Результат будет идентичен тому, что получен в «Яндексе».
• Применение инструментов Google для веб-мастеров (аналог «Яндекс.Вебмастера»).

Подсчитав, какое количество страниц из существующих вошло в индекс поисковой системы, можно получить три варианта:

1. Число страниц на сайте и проиндексированных поисковиками идентично. Это значит, что ваш ресурс в отличном состоянии.
2. В индекс вошло меньше страниц, чем содержит сайт. Это признак того, что есть определенные проблемы, скорее всего – статьи с низкой уникальностью или недостаточно информативные.
3. Проиндексировано больше страниц, чем размещено на ресурсе. Причина – дублирование страниц, то есть к одной и той же есть доступ с разных адресов. Это отрицательно сказывается на продвижении сайта, поскольку размывается статический вес страниц и некоторые из них содержат одинаковый контент.

Чтобы продолжить диагностику, придется определить, какие именно страницы попали в индекс, а какие нет.

Необходимость в этом появляется при желании проверить конкретную (например, только что опубликованную) страницу на своем ресурсе или на чужом, где вами куплена ссылка, и вы ждете, когда страничка будет проиндексирована.

Ручной способ. Скопированный адрес страницы помещаете в поисковую строку «Яндекса» или Google. Внесенная в индекс займет верхнюю позицию в поисковой выдаче:

Автоматический способ. В этом случае используется плагин «RDS бар». С его помощью можно узнать, прошла ли индексацию страница, на которой вы находитесь в данный момент.

Затем определим на включение в индекс одновременно все страницы сайта. Это позволит понять, какие конкретно страницы не проиндексированы в поисковике.

Для этого потребуется не только знать, сколько страниц фактически находится на сайте, но и иметь список их адресов (url). При генерировании карты сайта создается и список страниц, однако адреса из него необходимо извлекать при помощи какой-либо программы по обработке данных.

Список всех страниц сайта получим, используя программу для Windows, функция которой – генерирование карты сайта, это Sitemap Generator (.

Настройка параметра Exclude Patterns предваряет сбор ссылок, чтобы исключить попадание ненужных. К примеру, адреса, указывающие на комментарий к странице, нам не нужны. Их можно исключить, используя маску *replytocom*.

Следующий шаг – запуск сбора url программой, по окончании которого осуществляем переход на вкладку Yahoo Map/Text, чтобы оттуда скопировать адреса (в бесплатной версии программы кнопка «Сохранить» не активна).

В итоге мы получили адреса всех страниц.

Для следующего этапа требуется программа YCCY (.

Запускаем программу и добавляем в список исходных url тот перечень адресов, который мы получили ранее. Возможности программы таковы, что проверить индексацию сайта в поисковых системах «Яндекс» и «Гугл» не составит труда, достаточно выбрать одну из них и начать процесс.

Результатом проверки станет перечень страниц, не включенных в базу данных. Наша цель – разобраться, что стало причиной. Если технических проблем нет, то индексации страницы может поспособствовать закупка ссылок на нее или ретвитов с прокачанных аккаунтов.

Проверка индексации сайта в поисковиках – очень полезная процедура, которая повысит продуктивность вашей работы с системами и поможет определить, какие проблемы присущи вашему ресурсу.

Вас также может заинтересовать: Файл htaccess: применение, включение, настройка

Проверка индексации сайта в Яндексе

Переходим в ПС Яндекс, например по этой ссылке. После чего в форму ввода поисковой фразы вписываем следующее:

Оператор site отвечает за поиск всех страниц Вашего блога.

На нажимаем кнопку «Найти» и перед нами открывается следующая картина:

И мы видим, что 327 страниц моего блога было проиндексировано в поисковой системе Яндекс.

Так же, можно проверить находиться ли какая-то определенная страница. Для этого необходимо ввести следующую фразу:

Оператор url отвечает за нахождение в индексе определенной страницы, адрес которой Вы ввели при поиске.

И мы видим, что статья «Можно ли заработать в Интернете» успешно красуется в индексе. Но если вместо страничке Вы наблюдаете следующую фразу «По вашему запросу ничего не нашлось», то это значит что страницы еще нет в поисковой выдаче. Поэтому необходимо ускорить индексацию.

Так же, в Яндексе проверить необходимую страницу можно из сервиса Яндекс Вебмастер, который находится по этой ссылке. Если Ваш сайт еще не зарегистрирован там, то скорее регистрируйте! А если сайт уже успешно добавлен в центр, то переходим «Индексирование сайта» — «Страницы в поиске» и наблюдаем довольно подробный отчет по всем страницам Вашего блога, которые находятся в индексе.

И мы видим, что у моего блога 274 страницы в индексе по данный Яндекс Вебмастер. А в поисковой выдаче написано, что 327 страниц, как быть в этом случае?  Давайте подсчитаем: 327-274=153 страницы, от которых мне нужно избавиться! Это страницы-сопли, то есть дубли каких-то существующих страниц.

Так, с Яндексом мы разобрались, теперь давайте перейдем к Google.

Проверка индексации сайта в Google

Переходим в ПС Google по этой ссылке, и по аналогии с Яшей вписываем следующий запрос:

После чего Google выдает нам перечь страниц, находящихся у него в индексе.

И здесь, в моем случае, мы наблюдаем то, что количество страниц в Google значительно больше, чем в Яндексе, практически в два раза. Это обозначает, что в Google так же содержится большое количество страниц-соплей, от которых мне нужно избавиться.

Стоит понимать, что база данных у Гугла делится на две части: основная выдача и дополнительная. И как Вы уже поняли, основная выдача содержит только те страницы, которые отображаются именно в поисковой выдаче, ранжируются. А в дополнительной выдаче хранятся все остальные страницы и документы Вашего сайта.

И для того, чтобы проверить сколько страниц находится только в основной выдаче, необходимо прописать следующее:

И мы можем наблюдать резкое уменьшение количества страниц в индексе.

В основной выдаче находится 190 страниц из всех 581. А остальные получается находятся в дополнительной выдаче, и с большей частью мне нужно бороться, чтобы не получить фильтр от Google, да и просто увеличить посещаемость с этой поисковой системы.

Проверка индексации сайта с помощью сервиса PR-CY

На самом деле сервисов, которые следят за индексации сайта в поисковых системах большое количество, но мне больше всего по душе именно PR-CY.ru, о котором мы сейчас немного поговорим.

Это бесплатный и очень удобный сервис, в котором имеется множество различных отчетов для вебмастеров. Но в рамках данной статьи мы лишь разберем «История показателей Яндекс» и «История показателей Google».

Перед тем, как мы приступим Вы должны быть зарегистрированы на данном сервисе.

А после регистрации переходите на главную страницу сервиса и вводите адрес своего блога. После чего нажимаете «Анализировать».

Теперь пролистываем открывшуюся страницу немного вниз и видим следующие показатели:

Как мы видим из графика выше, сервис позволяет нам увидеть как изменялось количество страниц в индексе за последние полтора года существования Вашего ресурса. Я считаю, это классной возможностью!

То же самое и в Google:

Как видно из скриншота, в последнее время количество страниц в поисковой выдаче Google постепенно уменьшается. А происходит это по причине того, что я стал экспериментировать с «соплями» и удалять их.

Массовая проверка индексации страниц

После чего через несколько секунд мы получаем такой результат:

Цифра 1 обозначает, что страница находится в индексе, а цифра , что страница отсутствует. Но стоит понимать, что все роботы могут ошибаться, поэтому рекомендую проверять на несколько раз.

Вот и все! Теперь Вы знаете как проверить индексацию сайта и страниц сайта в Яндексе и Google.

Желаю Вам удачи, друзья и до встречи в следующей статье.

1. 5
2. 4
3. 3
4. 2
5. 1

(1 голос, в среднем: 5 из 5)

Добавить пост в избранныеПерейти к списку →

Индексация сайта в поиске

Теперь, когда мы рассказали, что такое индексация, почему она так важна и как её проверить, приступим к практике.

Как ускорить индексацию?

Мы писали выше, что управлять индексацией, что бы кто не говорил, вы не можете. Но повлиять на процесс или даже ускорить возможно. 

Советы по ускорению индексации

• Обязательно добавьте сайт во все сервисы Яндекса и Google, особенно в Яндекс Вебмастер и Google Search Console.
• Создайте sitemap.xml, поместите карту в корень сайта и постоянно обновляйте.
• Следите за robots.txt и исключайте ненужные страницы (об этом ниже).
• Выберите надёжный и быстрый хостинг, чтобы робот мог беспрепятственно индексировать содержимое сайта.
• Используйте инструменты Яндекс Вебмастера (Индексирование → Переобход страниц) и Google Search Console (Проверка URL → Запросить индексирование). Способ идеально подходит для работы с отдельными страницами. 
• Если ваша CMS любит создавать дубли (например, Битрикс), то используйте атрибут rel=canonical.
• Автоматизируйте создание новых ссылок со старых страниц. Как вариант, можно сделать блок на главной с новыми товарами или статьями.
• Ведите соцсети и анонсируйте новые товары, услуги, страницы. Замечено, что ссылки с соцсетей могут ускорить процесс.
• Создавайте качественный контент на каждой странице. Под качественным контентом мы понимаем актуальную, релевантную и уникальную информацию для пользователей.
• Работайте над структурой сайта и делайте её удобной и понятной пользователю. Помните о правиле 3 кликов: это оптимальное количество действий для пользователя.
• Проверяйте периодически сайт на вирусы и санкции поисковых систем. В Яндекс Вебмастере раздел Диагностика → Безопасность и нарушения, в Google Search Console — раздел Проблемы безопасности и меры, принятые вручную.
• Улучшайте свой ссылочный профиль и пишите анонсы на других сайтах (в рамках правил поисковых систем).
• Используйте родные браузеры (Chrome, Яндекс Браузер) и заходите на новые страницы с них.

Как запретить индексацию?

Выше мы рассмотрели основные способы, как ускорить индексацию, и рассказали, что такое краулинговый бюджет и почему он ограничен для каждого сайта. Поэтому чтобы его не тратить зря, советуем закрывать от индексации служебные и технические страницы, кабинеты пользователей и конфиденциальную информацию, а также страницы в разработке и дубли. 

3 основных способа запретить индексацию:

1. Директива Disallow в файле robots. Мы писали, что такой запрет может не сработать в отдельных случаях. Тем не менее это основной способ запрета индексации.
2. В коде страницы указать метатег robots с директивой noindex (для текста) и/или nofollow (для ссылок). Хорошо подходит для запрета индексации отдельных страниц.
3. Настроить HTTP-заголовок X-Robots-Tag с директивой noindex и/или nofollow. Лучше всего подходит для закрытия индексации не HTML-файлов (PDF, изображения, видео и другие).

Используйте все наши советы по улучшению индексации на полную мощь.
Максимальное внимание уделите улучшению структуры и навигации и обновлению карты сайта.
Структура сайта должна быть проста и понятна, охватывать весь спектр ключевых запросов, а каждая страница сайта в идеале должна быть доступна в 3–4 клика

Для этого используйте дополнительные блоки на главной странице и в разделах.
Хорошо работает облако тегов: с помощью него часто получается продвигать категории, улучшать навигацию и полно охватывать семантику.
Для многостраничных сайтов действительно важно постоянно обновлять sitemap.xml
Зачастую в таких случаях карту делят на несколько частей, чтобы охватить весь список страниц. 
Настройте маски (автоматические шаблоны) метатегов для новых страниц в категориях и каталогах. 
Скорее всего, вам не обойтись без команды профессионалов, которые смогут обеспечить техподдержку, производство контента и SEO-продвижение.

Оцените скорость загрузки

Скорость загрузки — один из факторов ранжирования в Яндекс и Google, кроме того она влияет на поведенческие факторы: многие пользователи не будут ждать загрузки, закроют сайт и показатель отказов вырастет.

Оценить скорость загрузки можно инструментом «
Проверка скорости сайта» от PR-CY. Он ориентируется на критерии, которых придерживаются поисковики при оценке, и дает пояснения.

Анализ скорости загрузки сайта

Томаш Рудзки в своем
руководстве по Javascript рекомендует удостовериться, что на загрузку и обработку файлов JavaScript тратится меньше пяти секунд. Он утверждает, что элементы, которые загружаются позднее, поисковик может игнорировать.

Как проверить индексацию сайта другими сервисами

Сервис Серпхант

Многофункциональный, аналитический сервис, позволяющий провести внутренний, постраничный анализ, в том числе и проверить страницы на их проиндексированность.

В платной версии данный инструмент удобен тем, что одновременно можно проверить все страницы сайта, загрузив их путем синхронизации с Вордпресс.

В их арсенале имеется еще бесплатный инструмент, где индексация сайта в Яндексе и Гугле проверяется без регистрации. Он прост в использовании и в день позволяет проверить до 50 страниц.

Анализатор сайтов RDS bar

Самый быстрый вариант проверки — использовать seo-плагин Rds Bar.

Этот плагин, который можно прикрутить к любому популярному браузеру, с ходу может дать всю информацию о наличии страниц в базе данных Яндекса и Гугла (в общем индексе), а также информацию о дате индексации текущей страницы.

Благодаря этому расширению, не теряя времени на переходы в различные сервисы или в поиск, можно оценить индексирование любого сайта.

Кроме быстрой проверки индексации страниц, плагин Rds Bar позволяет:

• узнать показатели авторитетности сайта;
• получить технические данные и теги оптимизацию страниц;
• оценить показатели seo-продвижения;
• сделать предварительный анализ веб-проекта.

Более подробно в статье об установке, настройках и практическому использованию Rds bar.

Сервис XSEO

Набор инструментов для веб-мастеров и блоггеров, XSEO.in тоже дает четкую информацию об индексации страниц сайта в Яндексе и Google.

Но в отличие от предыдущего сервиса, он позволяет достаточно быстро, в пару кликов увидеть число страниц в Гугле в разных индекса — в основном и дополнительном. Такая информация есть далеко не в каждом плагине, программе или сервисе. XSEO дает точные данные о числе документов, как например, для моего сайта:

Для получения таких данных для любого, анализируемого Вами веб-ресурса, достаточно в сервисе выбрать раздел «Проверка индексации сайта».

Сервис PR-CY

Известный аналитический сервис Pr-Cy.ru, имеющий в своем активе достаточно неплохой набор различных отчетов и seo-инструментов. Как и предыдущие источники, он тоже дает данные об индексации любого сайта.

Но у него есть замечательное отличие — он обладает интересной графикой, в которой показывает историю индексации страниц в поисковых системах. Такую штуку я редко где замечал, но именно этот сервис имеет самый дружелюбный интерфейс, позволяющий быстро увидеть изменение числа проиндексированных страниц.

В целом сервис дает похожие показатели индексации страниц моего сайта:

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.

1. Через панель вебмастера

Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.

Яндекс

1. Авторизуйтесь в Яндекс.Вебмастер.
2. Перейдите в меню «Индексирование сайта».
3. Под ним найдите строку «Страницы в поиске».

Можно пойти и по другому пути:

1. Выберите «Индексирование сайта».
2. Дальше перейдите в «История».
3. Затем кликните на вкладку «Страницы в поиске».

И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.

1. Зайдите в панель управления сервиса .
2. Кликните на вкладку Search Console.
3. Перейдите в «Индекс Google».
4. Нажмите на опцию «Статус индексирования».

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».

Важно! Если результаты в Google и Яндекс сильно разнятся между собой, то значит ваш сайт имеет какие-то проблемы со структурой сайта, мусорными страницы, индексацией или на него наложены санкции. Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени

Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа»

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа».

3. Посредством плагинов и расширений

Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.

Самым популярным плагином, применяемым в этих целях, является RDS bar, который можно скачать в магазине приложений любого браузера.

Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц

На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них регулярно нужно вводить капчу.

Нельзя оставить без внимания и букмарклет «Проверка индексации». Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.

4. С помощью специальных сервисов

Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.

Бесплатный сервис

https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.

Платный сервис

Из платных мне больше всего нравится Topvisor — стоимость 0.024р. за проверку одной страницы.

Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.

Как ускорить индексацию сайта

Поисковый робот обходит ограниченное количество страниц за раз, в зависимости от размера краулингового бюджета. Но всем хочется, чтобы новые статьи, товары и категории как можно скорее попали в поисковую выдачу и начали приводить посетителей на сайт. 

Страницы можно отправить на индексацию принудительно, но есть еще несколько методов для ускорения индексации сайта. 

Автоматическое обновление sitemap.

Все новые страницы должны автоматически попадать в карту сайта (sitemap). Благодаря этому файлу роботы лучше понимают структуру сайта и видят все страницы, которые необходимо посетить. Кроме того, в карте сайта можно указать приоритетность и частоту посещения страницы роботом. 

Удаление дублей страниц и неуникального контента.

Дубли страниц и неуникальный контент — враги индексации, так как они расходуют на себя краулинговый бюджет, и робот просто не доходит до нужных вам страниц. Необходимо следить, чтобы таких страниц на сайте не было. 

Контроль количества битых ссылок и внутренних редиректов.

Большое количество битых страниц, и внутренних редиректов также расходуют краулинговый бюджет. Робот попадает на нерабочие страницы или посещает те, на которых уже был из-за редиректа и не успевает просканировать новые, нужные страницы. Необходимо контролировать, чтобы битых ссылок и ссылок на страницы с внутренними редиректами было как можно меньше, или не было вообще. 

Корректная настройка robots.txt.

Несмотря на то, что файл robots.txt является только рекомендацией, а не четкой инструкцией для роботов, пренебрегать им не надо. Новые страницы должны быть открыты для сканирования и доступны для роботов. 

Оптимизация скорости загрузки сайта.

Скорость загрузки страницы — весомый показатель качества сайта. Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Для проверки скорости загрузки страницы используйте PageSpeed Insights и выполняйте предложенные там рекомендации по оптимизации скорости. 

Оптимизация перелинковки.

Качественная перелинковка не только распределяет внутренний вес со страниц и увеличивает время пребывания посетителя на сайте. По ссылкам в тексте (или блоках «Новинки», «Популярное») переходит и робот, таким образом быстрее добавляя страницы в индекс и обновляя их. 

Вывод превью новых статей и товаров на главную страницу.

Для этого же необходимо добавлять ссылку на новый материал, товар или категорию на главную страницу сайта: так их быстрее заметят и пользователи, и поисковые «пауки». 

Размещение ссылки на новую страницу в соцсетях.

Влияние соцсетей на продвижение — спорный вопрос, но благодаря внешней ссылке на новую страницу начнут переходить пользователи, и это послужит для робота сигналом к индексации.

Частота обновления сайта.

Важно, как часто вы добавляете на сайт новые товары, материалы и категории. Поисковые системы любят «живые» сайты

Поддерживайте актуальность сайта, публикуйте новый контент не реже раза в неделю; добавляйте ссылки на новые материалы в старых статьях; обновляйте информацию на сайте; настройте заголовки Last-Modified и If-Modified-Since или Etag и If-None-Match.