Правильная настройка Robots.txt для Joomla сайта

Правильная настройка Robots.txt для Joomla сайта имеет огромную важность для сео-продвижения ресурса. Любая ошибка может привести к выпадению страниц из индекса Яндекс и Гугл, а это приведет к снижению посещаемости. Ведь именно этот файл отвечает, за то, как будут видеть сайт поисковики.

Например, если использовать стандартный файл Robots.txt в Joomla, то придется забыть об индексации изображений, размещенных на нем. Кроме того, поисковый бот не сможет понять оформления сайта, будет утеряна определенная часть контента, переход робота по ссылкам меню будет затруднен. Оригинальное оформление дополнительных модулей выполняется, чтобы сделать сайт более удобным и красочным для пользователей, а стандартный файл robots.txt не даст это оценить поисковому роботу.

Разработчики Joomla знают об этой проблеме, и в версиях от 3.3, файл robots.txt получил значительные доработки, но, при апгрейде CMS обновление файла предыдущей версии не происходит автоматически - файл подгружается в корень сайта с расширением .txt.dist, которое нужно редактировать. К тому же, нужно все равно внести изменения, которые нужны этому конкретному сайту.

Внесение необходимых изменений в Robots.txt

Доработка от разработчиков новой версии Robots.txt для Джумла заключается в удалении трех запрещающих директив с папок изображений, фона и медиа. Для получения поисковым ботом полной картины сайта, со всеми оригинальными фишками, этого не достаточно. Чтобы понять это, можно в Google Search Console сравнить, как видит сайт пользователь и робот.

При проверке будет видно, что видео, фон отдельных модулей (с версии 2.5 они могут иметь собственное оформление) роботу недоступны, так же не отображается разметка сайта. А анализ сайта покажет, что поисковый бот не получил доступа к папке плагинов, компонентов и фонов шаблона (tmp).

Чтобы исправить это, достаточно удалить соответствующие директивы или использовать разрешающую директиву, с указанным путем для нужного компонента. Ведь удаление откроет путь ко всем плагинам, а это допустимо не всегда. Иногда, например, плагины устанавливаются для сокрытия исходящих ссылок и если показать этот плагин поисковику, ему это не понравится.

Также, нужно удалить запрет на папку модулей, ведь именно туда устанавливаются модули, обладающие собственным фоном и оформлением, которые поисковый робот, в противном случае, не увидит.

То же самое относится к папке компонентов, для получения роботом скриптов, файлов стилей и изображений по этому пути.

Пример правильного Robots.txt для Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Allow: /media/*.css
Allow: /media/*.js
Allow: /media/*.png
Allow: /media/*.woff
Allow: /media/*.woff2
Allow: /media/*.ttf
Allow: /media/*.svg
Allow: /modules/*.css
Allow: /modules/*.js
Allow: /components/*.css
Allow: /components/*.js
Allow: /components/*.png
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /templates/*.woff
Allow: /templates/*.woff2
Allow: /templates/*.eot
Allow: /templates/*.ttf
Allow: /templates/*.otf
Allow: /templates/*.svg
Allow: /templates/*.png
Allow: /templates/*.jpg
Allow: /templates/*.gif
Host: Домен_Сайта

Кроме этого, считается, что микроразметка интегрирована в Джумлу, но на самом деле, большинство пользователей используют коммерческие шаблоны, где шаблоны материалов переписаны и значительно отличаются от стандартных и путь к ним в Robots.txt нужно прописать вручную.

Правильная настройка Robots.txt для Joomla сайта совсем простая, занимает так мало времени, тем не менее, есть ресурсы, где эта работа не проводится годами, теряется посещаемость, увеличивается бюджет на сео-продвижение, а чтобы избежать всего этого, довольно выполнить эти простые действия!