Действительно ли сайт закрыт для индексирования в файле robots.txt?

[RuslanPro1]

После обновления cinemapress, сайт закрыт к индексированию. И нет кнопки как на демо чтобы открыть.
User-agent: *
Disallow: /

 

[Alisa]

Сайт открыт, проверять это можно в вебмастере Яндекса или Google.

https://enota.club/threads/blokirov...-podozritelnoj-aktivnosti-na-kino-sajte.2759/

 

[RuslanPro1]

Сайт открыт, проверять это можно в вебмастере Яндекса или Google.

https://enota.club/threads/blokirov...-podozritelnoj-aktivnosti-na-kino-sajte.2759/

Сайт закрыт для индексирования в файле robots.txt
При последнем обращении к файлу robots.txt робот обнаружил, что сайт закрыт для индексирования. Из-за этого сайт может полностью пропасть из поиска. Убедитесь в корректности файла robots.txt — обратите внимание на директиву вида Disallow: / (запрещает обход всего сайта).
Проверьте robots.txt и снимите установленный запрет. О том, как правильно написать указания для робота Яндекса, читайте в Справке.

 

[RuslanPro1]

Также, автоматически не скрываются фильмы в разделе Автоматическое скрытие фильмов, все данные заполнены

 

[Alisa]

Анализ и ответ сервера, что говорит в Яндексе?

 

[RuslanPro1]

Анализ и ответ сервера, что говорит в Яндексе?

Посмотреть вложение 5138

Данный URL запрещён к индексированию в файле robots.txt

 

[Alisa]

Данный URL запрещён к индексированию в файле robots.txt

URL фильма? У фильма URL как для уникального или для неиндексируемого?

 

[Alisa]

Уберите этот пробел.

 

[RuslanPro1]

Анализ и ответ сервера, что говорит в Яндексе?

Посмотреть вложение 5138

все равно

 

[Alisa]

Откройте терминал и посмотрите, не блокируются ли боты как FAKE.

cinemapress upd

cinemapress logs bot

 

[RuslanPro1]

Все с FAKE

 

[RuslanPro1]

Все с FAKE

В файле routes/robots.js на 49 строке открыл индексирование

 

[Alisa]

Все с FAKE

У Вас в настройках веб-сайта боты прописаны?

 

[RuslanPro1]

У Вас в настройках веб-сайта боты прописаны?

Посмотреть вложение 5192

Да

 

[Alisa]

Выполние в терминале:

docker exec -it example_com bash -c 'wget -qO r.js https://pastebin.com/raw/8sRqEDVA && node r.js'

где example_com - Ваш домен через нижнее подчеркивание.

Вы должны увидеть такой результат:

 

[RuslanPro1]

Выполние в терминале:

docker exec -it example_com bash -c 'wget -qO r.js https://pastebin.com/raw/8sRqEDVA && node r.js'

где example_com - Ваш домен через нижнее подчеркивание.

Вы должны увидеть такой результат:

Посмотреть вложение 5194

Да верно. тоже самое

 

[Alisa]

Да верно. тоже самое

Значит в логах FAKE, это действительно фейковые боты, а не настоящие.

Выполните обновление еще раз: cinemapress upd && cinemapress update

 

[RuslanPro1]

Значит в логах FAKE, это действительно фейковые боты, а не настоящие.

Выполните обновление еще раз: cinemapress upd && cinemapress update

Готово, после переустановки опять:
User-agent: *
Disallow: /

 

[Alisa]

Готово, после переустановки опять:
User-agent: *
Disallow: /

Не важно что видит человек в robots. Там всегда будет Disallow. Важно что видит бот.

 

[RuslanPro1]

Не важно что видит человек в robots. Там всегда будет Disallow. Важно что видит бот.

Доступ к отправленному URL заблокирован в файле robots.txt - это гугл в вебмастере, также не работает sitemap

 

[Alisa]

Доступ к отправленному URL заблокирован в файле robots.txt - это гугл в вебмастере, также не работает sitemap

Удалите в списке всех ботов.
Оставьте одно слово - bot



В cinemapress logs bot

У Вас одни FAKE?

 

[RuslanPro1]

Удалите в списке всех ботов.
Оставьте одно слово - bot

Посмотреть вложение 5263

В cinemapress logs bot

У Вас одни FAKE?

Да, все FAKE

 

[Alisa]

Да, все FAKE

Теперь Вы сделали одно слово bot, появились TRUE?

 

[RuslanPro1]

Теперь Вы сделали одно слово bot, появились TRUE?

Нет, не появились

 

[Vortex]

У меня подобная проблема. Но при проверки cinemapress logs bot все показывает TRUE, тем не менее Гугл не может проиндексировать сайт.
При запросе на индексацию получаю ответ:

Запрос на индексирование отклонен
Во время проверки были обнаружены ошибки индексирования URL.

Я выполнил действия которые тут были описаны и предложены, кроме cinemapress upd.

 

[Alisa]

В Настройке публикации есть запрет на индексацию?

 

[Vortex]

В Настройке публикации есть запрет на индексацию?

Посмотреть вложение 5316

нет там пусто. Как вариант, сайт был установлен на домен, в клаудфларе я его удалил и сайт работает на поддомене, поддомен и был добавлен в гугл.

 

[Vortex]

Хм странности. Я ничего не делал и решил там сделать индексации еще раз. и оно таки дало уже доступ. НО!

Спойлер: ответ от гугла

URL нет в индексе GoogleЭта страница не представлена в нашем индексе, но не по причине ошибки. Более подробные сведения представлены ниже. ПодробнееИЗУЧИТЬ ПРОСКАНИРОВАННУЮ СТРАНИЦУОтправлен запрос на индексированиеЗАПРОСИТЬ СНОВАinfoПокрытиеURL неизвестен GoogleКак обнаруженоФайлы SitemapОтсутствуетСсылающаяся страницаНе найденоURL может быть известен из других источников, которые в настоящее время не раскрываются.СканированиеПоследнее сканированиеОтсутствуетРобот, выполнивший сканированиеОтсутствуетСканирование разрешено?ОтсутствуетПолучение страницыОтсутствуетИндексирование разрешено?infoОтсутствует

 

[RuslanPro1]

В Настройке публикации есть запрет на индексацию?

Посмотреть вложение 5316

Пусто, Алиса, может просто я скину данные для входа и вы посмотрите?

 

[Alisa]

Пусто, Алиса, может просто я скину данные для входа и вы посмотрите?

Пришлите.

 

[RuslanPro1]

Пришлите.

Написал

 

[Alisa]

Из-за w.tools кэширования, они не передают Вам никакой информации User-Agent о том, кто зашел к Вам на сайт, поэтому Вы не знаете бот это или человек. Узнавайте у них, как эту настройку исправить.

Удалите слово bot, оставьте поле пустым.
Вы будете считать, что к Вам заходят только люди.
Хотя сайт и так всегда считает, что на нем только люди.

Никакие функции в админ-панели связанные с ботами у Вас работать не будут (поддомены, перенаправления, микроразметка, и т.д.).

 

[Sanyo79]

Здравствуйте!
В админке настроил User-agent: * Allow: / в robots.txt но при переходе site.site/robots.txt

User-agent: *
Disallow: /

и не работает карта сайта?

 

[Sanyo79]

скрины плилагаю

 

[Alisa]

скрины плилагаю

Вы не бот, Вам всегда будет Disallow. Robots и карту видят только боты.