Дубликаты URL

Честно говоря, никто не застрахован от того, чтобы один или несколько URL-адресов укажут на одну и ту же страницу на их сайте. Действительно, как вы увидите в этой статье, для одной страницы может быть несколько URL. И поисковым системам это не очень нравится! Но для начала мы увидим, что такое дублирующий URL, почему он может нанести ущерб SEO вашего сайта и как эффективно от этого избавляться.

URL или дублированный контент?

На самом деле, дублируются не URL-адреса, а содержимое, которое эти множественные URL-адреса возвращают пользователю. Давайте сначала посмотрим, что такое дублированный контент.

Что такое дублированный контент?

Вот определение, содержащееся в глоссарии Интернета :

Дублированный контент - это возможность доступа к одному и тому же контенту с нескольких разных URL. 
Однако необходимо различать два типа дублированного контента:

• внешний дублированный контент: контент сайта, полностью или частично скопированный на другой сайт,
• внутренний дублированный контент: одна и та же страница сайта доступна по нескольким URL.

В чем проблема дублированного контента?

Для поисковых систем, и особенно для нашего друга Google, URL связан со страницей контента. 

Таким образом, если два или более URL отображают одно и то же содержимое, Google не знает, что это одна и та же страница, и не может четко определить, какая страница наиболее релевантна для пользователей. поэтому он будет считать эти URL дублированными. 

Следствие: поисковая система удалит один из двух URL из результатов поиска, в то время как другой может быть очень плохо расположен. В обоих случаях это не блестяще. 

Имейте в виду, что слишком много контента, дублированного на сайте, может его заблокировать полностью. Так что не принимайте эту проблему не серьезно!

Дубликаты URL и Joomla!

Давайте будем честными, есть проблема с каноническими URL в Joomla !, хотя эта проблема не является специфичной для этой CMS ...

О чем мы говорим? Канонический URL-адрес должен предоставлять уникальный URL-адрес независимо от способа вызова конкретной страницы. Мы говорим здесь об уникальном адресе доступа к статье. Проблема с плагином системы SEF от Joomla! является то, что канонические URL-адреса не существуют. 

Действительно, в зависимости от метода вызова страницы, канонический URL может отличаться. Чтобы увидеть это, просто зайдите в учетную запись Google Search Console, где вы увидите большое количество заголовков и тегов мета-описания (дубликаты).

Чтобы избежать наказания с точки зрения ссылок, нам, следовательно, придется решить проблему внутреннего дублированного контента. И для этого мы увидим, что есть несколько решений.

1. Меню ссылок

Сначала вы должны определить источник ваших дубликатов URL на вашем сайте. 

Предположим, что содержимое вашего сайта отображается через два меню (основное и дополнительное), и вы указали ссылку из каждого меню на одну и ту же статью:

http://onk.pp.ua/categorie/titre-de-mon-article.html

В этом случае вы, безусловно, изменили псевдоним URL одной из двух ссылок меню, потому что Joomla! не позволяет иметь два одинаковых псевдонима (алиаса) для URL.

Начните с анализа меню, из которого ваш контент должен быть доступен. 

Давайте выберем главное меню в этом примере. Затем откройте ссылку меню дополнительного меню, которая указывает на ту же статью. 

Вместо выбора «Статья» в качестве типа ссылки меню, выберите « Внешний URL » в « Разные ссылки ». 

Скопируйте/вставьте сюда URL ссылки статьи, связанной с главным меню. 

Вот так все просто (в данном случае). Ваш внешний URL-адрес позволяет указать тот же URL-адрес, который устраняет проблему.

Если вы хотите иметь несколько пунктов меню, которые указывают на одну и ту же статью, не создавайте заново новую ссылку меню «Статья», а выберите тип меню «псевдоним ссылки меню» . Это позволяет вам получить параметры, относящиеся к выбранному псевдониму (то есть использовать исходный URL-адрес элемента подменю, на который указывает этот псевдоним). В этом случае Joomla не будет генерировать новые URL.

2. Укажите канонический тег

Если вы не можете определить происхождение ваших дублирующих URL-адресов, возможно, у вас возникла проблема с канонизацией ваших URL-адресов.

Поэтому необходимо добавить тег типа <link href="/url-canonique-de-votre-contenu"/ rel="canonical"> на каждой из соответствующих страниц. 

Таким образом, определяя канонический тег на нужной странице, вы указываете поисковым системам, какую страницу следует индексировать, а какие - URL, которые не нужно индексировать.

Но если вы не правильно определите этот тег, вы рискуете получить катастрофический результат для своего SEO.

В этом случае лучшее решение для установки этого тега - это, вероятно, установить стороннее расширение. 

В каталоге расширений Joomla есть раздел, зарезервированный исключительно для канонизации URL, воспользуйтесь этими расширениями.

Таким образом, все дубликаты страниц Joomla будут содержать этот тег в той части <head> их страницы. Этим Вы скажете Google не индексировать дубликаты URL, которые все еще доступны.

3. Определите правила в файле .htaccess.

Благодаря файлу .htaccess в корне вашего сайта Joomla у вас есть возможность решить большое количество дубликатов URL, указав определенные правила для сервера (при условии использования веб-сервера Apache).

• Выберите с или без www . Если вы не определите четкие и строгие правила по этому вопросу, ваш сайт будет доступен в обеих формах доменного имени, и, следовательно, все ваши URL будут считаться дублированными. Добавьте это правило в ваш файл .htaccess:

  Переписать Engine на
  RewriteCond% {HTTP_HOST} ^ onk.pp.ua $
  RewriteRule ^ (. *) Http://www.onk.pp.ua/$1 [QSA, L, R = 301]

• Удалите косые черты в конце ваших URL . В том же духе, ваш сайт (и все его URL) доступен через, 
  http://www.mon-site-web.fr
но также и через 
  http://www.mon-site-web.fr/
 (с косой чертой)

  По тем же причинам, указанным выше, мы скажем серверу сохранять только версию без косой черты .Добавьте это правило в ваш файл .htaccess:

  RewriteEngine On
  RewriteCond% {REQUEST_FILENAME}! -F
  RewriteCond% {REQUEST_FILENAME}! -D
  RewriteRule ^ (. +) / $ Http: //% {HTTP_HOST} / [R = 301, L]

• Определите постоянные перенаправления . Чтобы перенаправить запросы с одного URL-адреса на другой, использование перенаправления 301 является возможным и эффективным решением. Технически это означает указание URL-адреса страницы и возврат пользователей (и поисковых систем) по каноническому адресу. Добавьте это правило в ваш файл .htaceess:

  RewriteCond% {HTTP_HOST} ^ www.onk.pp.ua / url-dupliquee
  RewriteRule ^ (. *) Http://www.onk.pp.ua/url-canonique [QSA, L, R = 301]
  

  
  
  Полезно знать : также возможно определить перенаправления из Joomla! через компонент Перенаправления (и связанный с ним плагин).

4. Используйте файл robots.txt

Мы видели в статье об этом файле, что вполне возможно поручить роботам поисковой машины не индексировать URL-адреса, содержащие определенные символы или параметры. Добавьте это правило в ваш файл robots.txt:

Disallow: / *? * 
Disallow: / *?
Disallow: / * & 

Идем дальше

Я предлагаю вам ознакомиться с рекомендациями Google по этому вопросу, которые являются необходимым дополнением к этой статье: 
https://support.google.com/webmasters/answer/66359?hl=ru.

Заключение

Теперь вы знаете и освоите все тонкости, которые позволяют избегать и удалять дубликаты URL на вашем сайте.

Регулярно проверяйте свою учетную запись Google Search Console на наличие дублированных URL, которые не были проиндексированы. Если вы следовали приведенному выше совету, вы должны выполнить его в течение нескольких дней в зависимости от размера вашего сайта.