robots.txt и .htaccess в MODX Revo

Для успешного SEO продвижения сайта на MODX Revolution необходимо составить правильный файл robots.txt (он же "роботс") и .htaccess.

Дополнительно:

Подробнее

Навигация по статье:

Корректный robots.txt

User-agent: *

Disallow: /assets/components/

Disallow: /connectors/

Disallow: /core/

Disallow: /manager/

Disallow: /index.php

Disallow: *?

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

index.php - это дубль главной страницы сайта;
с помощью *? мы удаляем дубли для внутренних страниц, например, http://www.site.ru/index.php?id=5.

Важно! index.php и *? закрываем в robots.txt ТОЛЬКО если у вас включены ЧПУ-ссылки, иначе вы можете закрыть весь сайт от индексации!

Полезные директивы .htaccess

.htaccess - файл дополнительной конфигурации веб-сервера Apache, если у вас другой сервер, то файл у вас работать не будет (практически на всех современных серверах используют nginx + Apache, так что работать должен)!

#Редирект на HTTPS:

#RewriteCond %{HTTPS} =off

#RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]



#Редирект С www на БЕЗ www:

#RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]

#RewriteRule ^(.*)$ http://%1/$1 [R=301,L]



#Редирект с БЕЗ www на С www. !НЕ используйте одновременно с "Редирект С www на БЕЗ www":

#RewriteCond %{HTTP_HOST} ^([^www].*)$

#RewriteRule ^(.*)$ http://www.%1/$1 [R=301,L]



#Редирект с http://site.com/index.html и http://site.com/index.php на http://site.com:

#RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html|htm)\ HTTP/

#RewriteRule ^(.*)index\.(php|html|htm)$ $1 [R=301,L]



#Редирект с одного домена на другой:

#RewriteCond %{HTTP_HOST} old.ru

#RewriteRule (.*) http://new.ru/$1 [R=301,L]



#Добавление слэша к url

#RewriteCond %{REQUEST_URI} /+[^.]+$

#RewriteRule ^(.+[^/])$ %{REQUEST_URI}/ [R=301,L]



#301 Редирект страниц:

#RewriteRule ^category/old-page.html$ category/new-page [R=301,NC,L]

Все директивы выключены через символ комментария в начале строк - #, для работы просто удалите # у нужных.

Комментарии к посту

Написать комментарий

Свяжитесь с нами

Отправьте заявку и мы свяжемся с Вами в скором времени