User-Agent: * # 1. Запрещаем служебные и технические разделы Disallow: /bitrix/ # Системная папка Битрикс Disallow: /local/ # Папка с шаблонами и компонентами Disallow: /upload/ # Не рекомендуем запрещать upload/ - там обычно картинки. Разрешим их ниже Disallow: /includes/ # Подключаемые файлы Disallow: /auth/ Disallow: /personal/ Disallow: /test-personal/ Disallow: /personal-new/ Disallow: /login/ Disallow: /register/ Disallow: /search/ # Поиск по сайту (динамические дубли) Disallow: /search/index.php Disallow: /404.php Disallow: /500.html Disallow: /land/ # 👇 ВОТ СЮДА ДОБАВЛЯЕМ ТРИ НОВЫЕ СТРОКИ Disallow: /store/ # Страница со списком складов Disallow: /office/ # Личный кабинет пользователя Disallow: /loan-new/ Disallow: /about/contacts/ Disallow: /pawnshop/about/ Disallow: /skupka/skupka-slitkov1/ Disallow: /pawnshop/kruglosutochnyy-lombard/lombard-v-sokolnikakh/ Disallow: /skupka/kruglosutochnyy-lombard/ Disallow: /favorite/ # Страница избранного Disallow: /skupka/skupka-slitkov1/375/ Disallow: /skupka/skupka-slitkov1/500/ Disallow: /skupka/skupka-slitkov1/583/ Disallow: /skupka/skupka-slitkov1/585/ Disallow: /skupka/skupka-slitkov1/750/ Disallow: /skupka/skupka-slitkov1/850/ Disallow: /skupka/skupka-slitkov1/900/ Disallow: /skupka/skupka-slitkov1/916/ Disallow: /skupka/skupka-slitkov1/958/ Disallow: /skupka/skupka-slitkov1/999/ Disallow: /skupka/skupka-slitkov/375/ Disallow: /skupka/skupka-slitkov/500/ Disallow: /skupka/skupka-slitkov/583/ Disallow: /skupka/skupka-slitkov/585/ Disallow: /skupka/skupka-slitkov/750/ Disallow: /skupka/skupka-slitkov/850/ Disallow: /skupka/skupka-slitkov/900/ Disallow: /skupka/skupka-slitkov/916/ Disallow: /skupka/skupka-slitkov/958/ Disallow: /skupka/skupka-slitkov/999/ # 2. Запрещаем служебные скрипты и папки (типично для Битрикс) Disallow: /*/index.php # Все index.php внутри папок (дубли) Disallow: /*bitrix* # Страницы с bitrix в адресе Disallow: /cgi-bin Disallow: /ajax/ Disallow: /rest/ Disallow: /oauth/ Disallow: /pub/ Disallow: /api/ Disallow: /cache/ Disallow: /bitrix_pub/ # 3. Блокируем динамические параметры (чтобы не было дублей) Disallow: *? Disallow: /*?* # 4. Запрещаем страницы с фильтрами и постраничной навигацией (кроме первой) Disallow: /*filter/ Disallow: /*/filter/ Disallow: *?PAGEN* # Осторожно:если нужно разрешить, используем Allow Disallow: *?SORT* Disallow: *?sort* Disallow: *?by* # 5. РАЗРЕШАЕМ важные статические файлы в технических папках # (это нужно, чтобы поисковик видел стили и картинки и правильно ранжировал страницы) Allow: /bitrix/*.js Allow: /bitrix/*.css Allow: /bitrix/*.gif Allow: /bitrix/*.png Allow: /bitrix/*.jpg Allow: /bitrix/*.jpeg Allow: /bitrix/*.svg Allow: /bitrix/*.woff Allow: /bitrix/*.woff2 Allow: /bitrix/*.ttf Allow: /local/*.js Allow: /local/*.css Allow: /local/*.gif Allow: /local/*.png Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.svg Allow: /local/*.woff Allow: /local/*.woff2 Allow: /local/*.ttf # Разрешаем картинки в upload (чтобы они индексировались в поиске картинок) Allow: /upload/*.jpg Allow: /upload/*.jpeg Allow: /upload/*.png Allow: /upload/*.gif Allow: /upload/*.webp Allow: /upload/*.svg # 6. ВАЖНО ДЛЯ БИТРИКС: Очищаем параметры от мусора (поддерживается Яндексом и Google) Clean-Param: utm_source&utm_medium&utm_campaign&utm_term&utm_content Clean-Param: bitrix_include_areas&bitrix_cache_clear_sessid&clear_cache&sessid Clean-Param: bxajaxid&login&logout&backurl Clean-Param: print&print_course # 7. Указываем основное зеркало сайта (для Яндекса) Host: https://lombard888.ru # 8. Путь к карте сайта (ДОЛЖЕН БЫТЬ В КОРНЕ!) Sitemap: https://lombard888.ru/sitemap.xml