Нет robots.txt в корне сайта, как открыть индексацию?

Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#1
Это нормально что нет robots.txt в корне сайта? сегодня были проблемы с подключением Яндекс вебмастер и гугла. В итоге еще и сайт не отображается в гугле, пишет "Информация о странице не доступна"
 

Вложения

  • 17.7 KB Просмотры: 25
Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#4
@Alisa, открыто, а почему Гугл не видет сайт например если написать сайт.ru, но при добавлении https://сайт.ru то в поиске все нормально. В чем проблема?
 
Регистрация
15 Дек 2017
Сообщения
5,067
#6
@Alisa, открыто, а почему Гугл не видет сайт например если написать сайт.ru, но при добавлении https://сайт.ru то в поиске все нормально. В чем проблема?
Посмотирте в терминале cinemapress logs bot нет ли заблокированных ботов, которых система посчитала FAKE

Работа с терминалом:

 
Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#9
@Alisa, Так почему боты яндекса и гугла не могут индексировать если путь открыт для них?
 
Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#10
Яндекс пишет "Сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска."

Код:
User-agent: *
Allow: /
Disallow: /type/*/*
Disallow: /type-*/*
Disallow: /movie/*/*
Disallow: /movie-*/*
Disallow: /year/*/*
Disallow: /year-*/*
Disallow: /genre/*/*
Disallow: /genre-*/*
Disallow: /country/*/*
Disallow: /country-*/*
Disallow: /director/*/*
Disallow: /director-*/*
Disallow: /actor/*/*
Disallow: /actor-*/*
Disallow: /search
Disallow: /*?sorting*
Disallow: /*?tag*
Disallow: /*?q*
Disallow: /*?random*
Disallow: /*?PageSpeed*
Disallow: /*?desktop*
Disallow: /*?year*
Disallow: /*?genre*
Disallow: /*?country*
Disallow: /iframe
Disallow: /noindex
Disallow: /mobile-version/type/*/*
Disallow: /mobile-version/type-*/*
Disallow: /mobile-version/movie/*/*
Disallow: /mobile-version/movie-*/*
Disallow: /mobile-version/year/*/*
Disallow: /mobile-version/year-*/*
Disallow: /mobile-version/genre/*/*
Disallow: /mobile-version/genre-*/*
Disallow: /mobile-version/country/*/*
Disallow: /mobile-version/country-*/*
Disallow: /mobile-version/director/*/*
Disallow: /mobile-version/director-*/*
Disallow: /mobile-version/actor/*/*
Disallow: /mobile-version/actor-*/*
Disallow: /mobile-version/search
Disallow: /mobile-version/*?sorting*
Disallow: /mobile-version/*?tag*
Disallow: /mobile-version/*?q*
Disallow: /mobile-version/*?random*
Disallow: /mobile-version/*?PageSpeed*
Disallow: /mobile-version/*?desktop*
Disallow: /mobile-version/*?year*
Disallow: /mobile-version/*?genre*
Disallow: /mobile-version/*?country*
Disallow: /mobile-version/iframe
Disallow: /mobile-version/noindex
Disallow: /tv-version
Disallow: /admin*
 
Регистрация
15 Дек 2017
Сообщения
5,067
#11
Зайдите в Я.Вебмастере в раздел с анализом robots.txt и проверьте, видит бот его или нет.
 
Регистрация
15 Дек 2017
Сообщения
5,067
#13
Доступен значит.
Там еще есть инстумент проверки, какие страницы сайта разрешены индексировать, а какие нет.
Тоже можно провести анализ.
 
Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#16
@Alisa, а почему с https:// гугл сайт находит и инфа есть, а без информация скрыта?
 
Регистрация
15 Дек 2017
Сообщения
5,067
#26
17 часов назад была добавлена новая страница, значит индексируется сайт.

1610895589729.png

1610895674241.png
 
Новичо́к, через «о́»
Регистрация
2 Мар 2021
Сообщения
28
#28
У меня выдает ошибку 404 по sitemap

Снимок экрана от 2021-03-03 09-57-58.png

Снимок экрана от 2021-03-03 09-58-33.png
 
Енот
Новичо́к, через «о́»
Заблокирован
Регистрация
7 Ноя 2020
Сообщения
178
#29
Странный вы. А бы что написать ( вы даже сайт не настроили ) зато спамите что вам все нужно. Сайт работает я посмотрел - но сам домен ((( Плюс не стоит брать этот шаблон. Берите новый
 
Новичо́к, через «о́»
Регистрация
2 Мар 2021
Сообщения
28
#30
Плюс не стоит брать этот шаблон. Берите новый
А Москва разве стразу строилась....
Я не говорю, что мне все нужно, я интересуюсь как исправить или настроить то или другое...
Сайт я как раз настраиваю, поэтому и возникают вопросы ...

А какой брать шаблон? Чем плох текущий?
 
Новичо́к, через «о́»
Регистрация
22 Фев 2021
Сообщения
8
#31
А Москва разве стразу строилась....
Я не говорю, что мне все нужно, я интересуюсь как исправить или настроить то или другое...
Сайт я как раз настраиваю, поэтому и возникают вопросы ...

А какой брать шаблон? Чем плох текущий?
404 потому что у тебя в настройках похоже вот так установлено
Screenshot_12.jpg
 
Енот
Новичо́к, через «о́»
Заблокирован
Регистрация
7 Ноя 2020
Сообщения
178
#32
А Москва разве стразу строилась....
Я не говорю, что мне все нужно, я интересуюсь как исправить или настроить то или другое...
Сайт я как раз настраиваю, поэтому и возникают вопросы ...

А какой брать шаблон? Чем плох текущий?
Поставьте этот - https://tormund.cinema.press
Новые серии сериалов убрать, и вполне нормальный шаблон ( а старые старайтесь не брать )
Я думаю новый сайт на этом шаблоне тоже создать
Далее берите сервер у zomro ( они помогут всегда если сайт ляжет и тд ) Сервак берите сразу на 2 сайта с расчетом
 
Последнее редактирование:
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
691
#33
А Москва разве стразу строилась....
Я не говорю, что мне все нужно, я интересуюсь как исправить или настроить то или другое...
Сайт я как раз настраиваю, поэтому и возникают вопросы ...

А какой брать шаблон? Чем плох текущий?
Да ничем норм всё просто не очень удобный тарли бран робб... и скрин приложитот раздел где нет роботс
 
Енот
Новичо́к, через «о́»
Заблокирован
Регистрация
7 Ноя 2020
Сообщения
178
#34
Да ничем норм всё просто не очень удобный тарли бран робб... и скрин приложитот раздел где нет роботс
Многим не нравится tormund ( тем что шахмотный порядок ) а другие говорят что все криво
https://tarly.cinema.press очень хороший шаблон. С ним твори что угодно. Пример ( скрин )
 

Вложения

Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
691
#36
Многим не нравится tormund ( тем что шахмотный порядок ) а другие говорят что все криво
https://tarly.cinema.press очень хороший шаблон. С ним твори что угодно. Пример ( скрин )
мне в нём не нравится вот эТО слишком мутно зачем там вообше картинки ставить если не видать ничего должно в глаза бросаться а оно так .... для мебели
 

Вложения

Енот
Новичо́к, через «о́»
Заблокирован
Регистрация
7 Ноя 2020
Сообщения
178
#37
мне в нём не нравится вот эТО слишком мутно зачем там вообше картинки ставить если не видать ничего должно в глаза бросаться а оно так .... для мебели
На это не оброщайте внимания. Хотя по хорошему новости должны часто обновлятся ( и настроить бы хорошо ). Я на это всегда ложил. У вас сайт рости стал хорошо. Но очень мало фильмов ( тырьте ) желательно создать еще один сайт вам
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
691
#38
На это не оброщайте внимания. Хотя по хорошему новости должны часто обновлятся ( и настроить бы хорошо ). Я на это всегда ложил. У вас сайт рости стал хорошо. Но очень мало фильмов ( тырьте ) желательно создать еще один сайт вам
у меня сайт Расти стал??🔥
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
691
#39
На это не оброщайте внимания. Хотя по хорошему новости должны часто обновлятся ( и настроить бы хорошо ). Я на это всегда ложил. У вас сайт рости стал хорошо. Но очень мало фильмов ( тырьте ) желательно создать еще один сайт вам
новости эти в самом низу мало того ещё и не очень видны занимаёт место и ненесут ни какой пользы новости никто не читает
 
Енот
Новичо́к, через «о́»
Заблокирован
Регистрация
7 Ноя 2020
Сообщения
178
#43
новости эти в самом низу мало того ещё и не очень видны занимаёт место и ненесут ни какой пользы новости никто не читает
Зря смеетесь. Рости стал. Фильмы - Фильмы ( грузите до мазолей )
Там у чела на скрине написано что сайтмап доступен только для ботов
Карта сайта и должна быть доступна только для ботов . Там нафигарили фиг понять что
 
Енот
Новичо́к, через «о́»
Заблокирован
Регистрация
7 Ноя 2020
Сообщения
178
#44
Гугол как и Яндекс обойдет сайт без добавления вообще. Я в гугол вообще не добавляю. Рано или поздно они обойдут сайт и фильмы - и тд
Яндекс обходил мой 2 месяца ( а до этого за неделю )
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
691
#45
Зря смеетесь. Рости стал. Фильмы - Фильмы ( грузите до мазолей )

Карта сайта и должна быть доступна только для ботов . Там нафигарили фиг понять что
у меня вообще вон чё и клики стали падать :))
 

Вложения

Енот
Новичо́к, через «о́»
Заблокирован
Регистрация
7 Ноя 2020
Сообщения
178
#46
у меня вообще вон чё и клики стали падать :))
Я как писал выше, даже не добовляю в гугол. Про это не парьтесь ) робот все сам обойдет. Раздница что немного раньше ( не более )
 
Новичо́к, через «о́»
Регистрация
2 Мар 2021
Сообщения
28
#47
Я как раз его и поставил утром ))). Правда мне пока сложно с настройками, так как с DLE не так давно начал осваиваться после долгого перерыыва в пару тройку лет...
А тут совсем все по другому еще и через SSH который я так не люблю так как плохо понимаю команды Linux (хотя у самого на ноутбуке Ubuntu :ROFLMAO: )
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
691
#48
Я как писал выше, даже не добовляю в гугол. Про это не парьтесь ) робот все сам обойдет. Раздница что немного раньше ( не более )
думаешь?? да клики стали уменьшатся как то странно всё коллекции индексируются а отдельные фильмы хрен в стакан
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
691
#49
Я как раз его и поставил утром ))). Правда мне пока сложно с настройками, так как с DLE не так давно начал осваиваться после долгого перерыыва в пару тройку лет...
А тут совсем все по другому еще и через SSH который я так не люблю так как плохо понимаю команды Linux (хотя у самого на ноутбуке Ubuntu :ROFLMAO: )
привыкнешь?? а чё на DLE не остался??
 
Похожие темы Раздел Ответов Дата
Контент 0