ТП 100ms.ru

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » ТП 100ms.ru » Консультации по вашим вопросам и База ответов » Индексация сайта Яндексом ‡ошибка 503 при индексировании


Индексация сайта Яндексом ‡ошибка 503 при индексировании

Сообщений 1 страница 3 из 3

1

Почему Яндекс не может индексировать мой сайт??
Не удалось проиндексировать главную страницу сайта по следующей причине: HTTP-статус: Служба не доступна (503)


  Это возникает чаще всего у Яндекса и Апорта. Подробная инструкция по индексации и добавления сайта в поисковые системы вы найдете в специальном разделе Яндекса на странице: http://help.yandex.ru/webmaster/control … ts-txt.xml
Желательно зайти на форум CMS которую вы используйте и воспользоваться советом там по вашему движку. Но есть и универсальный способ: чаще всего решается правильной настройкой в файле robots.txt директивы Crawl-delay

Небольшая инструкция

Код:
 <!-- HTML --> 
<center><iframe src="http://video.yandex.ru/iframe/yacinema/xk28r9luk9.2518/?player-type=custom&amp;show-info=false&amp;show-logo=false&amp;hd=1" frameborder="0" height="360" width="640"></iframe>
</center>

2

Здравствуйте, очень много вопросов про ошибку индексирования у Яндекса. Техподдержка Яши отправляет к нам, хотя на самом деле их проблема и вот почему:

Итак, разберем самый нахальный поисковик Яндекс. В отличии от Гугла, у Яши 2 робота: быстрый и обычный. Быстрый, как правило, сразу проверяет сайт и если сайт на выделенном сервере, то 12 обращений в секунду с одного IP (у быстрого робота) и реально красиво обрабатывает. Меленный бот сам определяет отклик сервера и дожидается отклика, внося поправки в свой алгоритм обхода сайта.

Однако между обходом быстрого и обычного робота интервал времени в пару месяцев. (отсюда и пошли байки про нахальные фильтры АГС, мол сам Яша засовывает сайт в АГС и требует оплаты чтобы выйти из под него - полная чушь ИМХО).

Теперь про наш бесплатный хостинг. Первая причина ошибки именно Яши, то что наши сервера, как правило, расположены в США (хотя и есть несколько в Европе, Азии, Канаде...) и не всегда отклик может быть достаточно быстрым (а по последним печальным событиям закрыты быстрые европейские каналы и пакеты идут в обход),  второе - БД MySQL находится совсем на другом адресе, а это удлинняет отклик от выдачи готовой страницы с сервера.

Мы с самого начала планировали на очень большую популярность нашего хостинга и на множество сайтов на одном IP, и поэтому уже ответили про поисковых роботов 5 октября 2013 года, когда впервые столкнулись с проблемами у Яндекса (к слову, Гугл кушает с огромным аппетитом и даже сейчас очень корректно). Поэтому рекомендовали в robots.txt внести запись исключительно для Яндекса директивой Crawl-delay.

Но видимо наш совет как об стенку горох... Мы не можем дать универсальный совет под все CMS и самописные коды.
Например наш сайт по адресу 100ms.ru как будто написан на html :) однако это далеко не так. Страницы html, и даже css формируются согласно php инструкциям, благодаря особой настройкой htaccess. (инструкция в теме: Файл htaccess ) И время работы сервера определяется опытным путём.
Или второй пример: сайт http://100sm.ru (наш партнер) там своя CMS (начальная разработка для нашего нового конструктора сайтов), и создан сайт всего на ОДНОМ файле (без MySQL), а как буд-то страниц много. Не верите? протестируйте:
http://100sm.ru/vds.html
http://100sm.ru/vds.php
http://100sm.ru/vds.abracadabra
Все они открываются и работают :)
Crawl-delay для такого конструктора - тоже будет другой.

Поставьте значение в свой robots.txt наверное такой (неуниверсальный совет, но подходит большинству):

User-agent: Yandex
Crawl-delay: 0.5


Если вам ответ покажется не очень глубокими, то Гугл в помощь, или Яндекс  :D

3

Как высчитать реально оптимальный Crawl-delay?
Зайдите на сервис:

Код:
 <!-- HTML --> 
<center><a href="http://ping-admin.ru/index_24794.html" target="_blank"><img src="http://ping-admin.ru/i/b/6.gif" width="234" height="30" border="0" alt="Ping-Admin.Ru — сервис мониторинга работы сайтов" title="Ping-Admin.Ru — сервис мониторинга работы сайтов"></a>
</center><br><hr>

1) Протестируйте свой сайт
2) Посмотрите Среднее время полной загрузки страницы
3) Сформируйте значение Crawl-delay исходя из времени загрузки.


Вы здесь » ТП 100ms.ru » Консультации по вашим вопросам и База ответов » Индексация сайта Яндексом ‡ошибка 503 при индексировании


Рейтинг форумов | Создать форум бесплатно © 2007–2017 «QuadroSystems» LLC