robots.txt и карта сайта sitemap.xml

Карта сайта sitemap.xml

Карта сайта — список адресов, который поисковики читают, чтобы быстрее найти все страницы. На okis она создаётся сама по адресу ваш-сайт/sitemap.xml и всегда свежая: новые страницы, новости и товары попадают в неё сразу.

В карту попадают:

• главная и все видимые страницы, кроме страниц с отметкой «Не показывать поисковикам»;
• лента и все видимые новости;
• каталог магазина, видимые товары и разделы.

Скрытые страницы, новости и товары в карту не попадают. Отправьте адрес карты в Яндекс Вебмастер и Google Search Console.

robots.txt

Файл ваш-сайт/robots.txt говорит поисковым роботам, что не нужно обходить. По умолчанию okis пишет в нём:

• не обходить служебные адреса /admin и /signin;
• основной адрес сайта (Host);
• ссылку на карту сайта.

Этого достаточно почти всем сайтам. На тарифах Расширенный и Бизнес можно написать свой robots.txt: «Настройки» → «Поисковики». Тогда okis отдаёт ваш текст вместо стандартного, поэтому не забудьте сами добавить в него строку Sitemap: https://ваш-сайт/sitemap.xml.

Ошибка в своём robots.txt может убрать весь сайт из поиска. Если не уверены, оставьте стандартный.

Как скрыть от поиска

• Одну страницу: в настройках страницы отметьте «Не показывать поисковикам». Страница останется доступна по ссылке, но уйдёт из карты сайта и из поиска.
• Страницу формы: отметка «Не показывать страницу формы поисковикам» в настройках формы.
• Весь сайт: «Настройки» → «Поисковики» → «Скрыть весь сайт от поисковиков». Включайте, только если сайт действительно не должен быть в поиске.