Нужно ли изменять Disallow: /movie/*/* в robots?

Енот
Новичо́к, через «о́»
Регистрация
26 Авг 2018
Сообщения
495
#1
Имеется Файл robots.txt:

User-agent: *
Allow: /
Disallow: /type/*/*
Disallow: /movie/*/*
Disallow: /year/*/*
Disallow: /genre/*/*
Disallow: /country/*/*
Disallow: /director/*/*
Disallow: /actor/*/*
Disallow: /search
Disallow: /*?sorting*
Disallow: /*?tag*
Disallow: /*?q*
Disallow: /iframe
Disallow: /noindex
Disallow: /admin*

Я хочу узнать про вот эту вот строку:
Disallow: /movie/*/* - что она обозначает?
На сколько я понял эта строка закрывает индексацию страниц с фильмами если URL будет домен/movie/ - т.е. закроются для индексации все уникальные фильмы.
а строка "Disallow: /noindex" закрывает от индексации не уникальные фильмы.
т.е. для того что бы индексировать уники мне нужно удалить строку "Disallow: /movie/*/*" или изменить её на "Allow: /movie/*/*"
Я все верно понял?
 
Новичо́к, через «о́»
Регистрация
9 Апр 2019
Сообщения
39
#2
Да, верно. Нужно заменить на Allow: /movie/*/*, и тогда через какое-то время уники появятся в ПСке
 
Енот
Новичо́к, через «о́»
Регистрация
26 Авг 2018
Сообщения
495
#4
Как только изменил запись с "Disallow: /movie/*/*" на "Allow: /movie/*/*" за 1 минуту 8 жалоб от кинопоиск прилетело, лучше уж я менять ничего не буду.
Screenshot_1.png
 
Енот
Новичо́к, через «о́»
Регистрация
6 Июл 2019
Сообщения
115
#5
Да, верно. Нужно заменить на Allow: /movie/*/*, и тогда через какое-то время уники появятся в ПСке
может и мне подскажете? в данный момент robots выглядит так
User-agent: *
Allow: /
Allow: /ads.txt
Allow: /movie/*/*
Allow: /type/
Allow: /year/*/*
Allow: /genre/*/*
Allow: /country/*/*
Allow: /director/*/*
Allow: /actor/*/*
Disallow: /search
Disallow: /*?sorting*
Disallow: /*?tag*
Disallow: /*?q*
Disallow: /iframe
Disallow: /noindex
Disallow: /admin*
яндекс видит и не ругается ни на что, а вот гугл твердит что сайт закрыт для робота гугл, что нужно сделать?
 
Новичо́к, через «о́»
Регистрация
9 Апр 2019
Сообщения
39
#6
может и мне подскажете? в данный момент robots выглядит так
User-agent: *
Allow: /
Allow: /ads.txt
Allow: /movie/*/*
Allow: /type/
Allow: /year/*/*
Allow: /genre/*/*
Allow: /country/*/*
Allow: /director/*/*
Allow: /actor/*/*
Disallow: /search
Disallow: /*?sorting*
Disallow: /*?tag*
Disallow: /*?q*
Disallow: /iframe
Disallow: /noindex
Disallow: /admin*
яндекс видит и не ругается ни на что, а вот гугл твердит что сайт закрыт для робота гугл, что нужно сделать?
Отправить на повторную проверку файл robots.txt. Это делается в подробностях ошибки, если я не ошибаюсь
 
Енот
Новичо́к, через «о́»
Регистрация
6 Июл 2019
Сообщения
115
#7
Отправить на повторную проверку файл robots.txt. Это делается в подробностях ошибки, если я не ошибаюсь
спасибо, попробую. Видимо когда осуществлял переезд сайта, робот хотел обойти сайт, но не нашел роботс...
 
Енот
Новичо́к, через «о́»
Регистрация
26 Авг 2018
Сообщения
495
#9
@Alisa, ещё хотел спросить, БД которую вы продаёте индексировать нужно или нет?
 
Регистрация
15 Дек 2017
Сообщения
5,067
#11
Как только изменил запись с "Disallow: /movie/*/*" на "Allow: /movie/*/*" за 1 минуту 8 жалоб от кинопоиск прилетело, лучше уж я менять ничего не буду.
Это очень интересно, жалобы в письме на основную страницу фильма идут?
 
Регистрация
15 Дек 2017
Сообщения
5,067
#14
Нет, жалобы прилетели на разные страницы
Жалобы были на
сайт/movie/idAAA
сайт/movie/idBBB
сайт/movie/idCCC
или на
сайт/movie/idAAA/online
сайт/movie/idBBB/download
сайт/movie/idCCC/online
А если открыть индексацию фильмам БД, они ведь не уникальные, и это понизит в ранжированию сайт. Или нет?
Какие-то понизит, какие-то повысит. Если имеете большую посещаемость с уникальным контентом, то и не стоит открывать индексирование.
 
Енот
Новичо́к, через «о́»
Регистрация
26 Авг 2018
Сообщения
495
#15
Жалобы были на
сайт/movie/idAAA
сайт/movie/idBBB
сайт/movie/idCCC
или на
сайт/movie/idAAA/online
сайт/movie/idBBB/download
сайт/movie/idCCC/online

Какие-то понизит, какие-то повысит. Если имеете большую посещаемость с уникальным контентом, то и не стоит открывать индексирование.
Жалобы были на
сайт/movie/idCCC
и на
сайт/movie/idAAA/online
сайт/movie/idBBB/download
Всё 8 жалоб одновременно прилетели после открытия индексации
 
Енот
Новичо́к, через «о́»
Регистрация
3 Мар 2018
Сообщения
360
#16
Жалобы были на
сайт/movie/idCCC
и на
сайт/movie/idAAA/online
сайт/movie/idBBB/download
Всё 8 жалоб одновременно прилетели после открытия индексации
Это в порядке вещей, мне Кинопоиск каждый день присылает по 10-15 писем. По началу я закрывал и отписывался им, но все равно они мне присылали повторное письмо на одни и те же фильмы. Сейчас я игнорирую их письма