Имеется Файл robots.txt:
User-agent: *
Allow: /
Disallow: /type/*/*
Disallow: /movie/*/*
Disallow: /year/*/*
Disallow: /genre/*/*
Disallow: /country/*/*
Disallow: /director/*/*
Disallow: /actor/*/*
Disallow: /search
Disallow: /*?sorting*
Disallow: /*?tag*
Disallow: /*?q*
Disallow: /iframe
Disallow: /noindex
Disallow: /admin*
Я хочу узнать про вот эту вот строку:
Disallow: /movie/*/* - что она обозначает?
На сколько я понял эта строка закрывает индексацию страниц с фильмами если URL будет домен/movie/ - т.е. закроются для индексации все уникальные фильмы.
а строка "Disallow: /noindex" закрывает от индексации не уникальные фильмы.
т.е. для того что бы индексировать уники мне нужно удалить строку "Disallow: /movie/*/*" или изменить её на "Allow: /movie/*/*"
Я все верно понял?
User-agent: *
Allow: /
Disallow: /type/*/*
Disallow: /movie/*/*
Disallow: /year/*/*
Disallow: /genre/*/*
Disallow: /country/*/*
Disallow: /director/*/*
Disallow: /actor/*/*
Disallow: /search
Disallow: /*?sorting*
Disallow: /*?tag*
Disallow: /*?q*
Disallow: /iframe
Disallow: /noindex
Disallow: /admin*
Я хочу узнать про вот эту вот строку:
Disallow: /movie/*/* - что она обозначает?
На сколько я понял эта строка закрывает индексацию страниц с фильмами если URL будет домен/movie/ - т.е. закроются для индексации все уникальные фильмы.
а строка "Disallow: /noindex" закрывает от индексации не уникальные фильмы.
т.е. для того что бы индексировать уники мне нужно удалить строку "Disallow: /movie/*/*" или изменить её на "Allow: /movie/*/*"
Я все верно понял?
