Парсинг и API принцип работы и отличия, объясните?

Енот
Новичо́к, через «о́»
Регистрация
11 Дек 2020
Сообщения
186
#1
Тема интересная и наболевшая. Итак начнем. Я новичок в этом и сам ещё до конца не понял. Но поделюсь как я это вижу.

На сайте есть база с фильмами и сериалами но доступа к ней нет. По умолчанию без покупки ключа в ней плюс минус 40.000 фильмов но что там за фильмы неизвестно. Сиди гадай. Чтобы хоть как то получить информацию надо делать коллекцию. Название и тд выбирай сам. Что бы коллекция появилась надо в неё вручную добавить фильм. Всё коллекция создана как же её наполнить или обновить.

1. Способ по API. Добавляет фильмы и сериалы автоматически с видео агрегатора ( Не знаю как правильно пусть будет агрегатор ) ( Bazon VideoCDN Inframe и тд ) Добавляет всё что появляется у них в базе в вашу коллекцию. Это и плюс и охрененный МИНУС т.к в Базу агрегатора добавляются каждый день как новые фильмы так и старьё за последние 100 лет. Из за этого в коллекции творится полный хаос фильмы 2021г тут же 1982 и 1954 и 1932 г причём старья то гораздо больше за 100 лет то наснимали много.

2. Способ Парсинг. Это обход разных источников ( Форумы ,торренты и т.д что укажите. допусти форум ) Парсинг фильмы не добавляет сам он берет фильм из форума сравнивает с вашей базой и если нет в базе то коллекцию не обновляет а если находит добавит или обновит. У этого способа есть тоже охренненый минус ты сам в ручную добавляешь в базу новые фильмы а так как что уже есть в базе не известно добавлять будешь много и 80% зря так как скорее всего в базе они есть иначе коллекцию не обновить.

Поэтому как правило люди вынуждены делать 2 коллекции с просто фильмами и новыми фильмами ( новинки и т.д ) В коллекции новинки прописывают парсинг с кинопоиска иначе в общей коллекции новинки просто потеряются в мешанине других фильмов.

Конечно в теории есть фильтры но они не работают. Видимо пофиг всем раз ни кто не поднял эту тему. А может я идиот и не разобрался. Помогите кто в этом шарит буду рад если я где то недопонял.

У меня в коллекциях хаос 3 месяц с ума схожу.
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
691
#2
Тема интересная и наболевшая. Итак начнем. Я новичок в этом и сам ещё до конца не понял. Но поделюсь как я это вижу.

На сайте есть база с фильмами и сериалами но доступа к ней нет. По умолчанию без покупки ключа в ней плюс минус 40.000 фильмов но что там за фильмы неизвестно. Сиди гадай. Чтобы хоть как то получить информацию надо делать коллекцию. Название и тд выбирай сам. Что бы коллекция появилась надо в неё вручную добавить фильм. Всё коллекция создана как же её наполнить или обновить.

1. Способ по API. Добавляет фильмы и сериалы автоматически с видео агрегатора ( Не знаю как правильно пусть будет агрегатор ) ( Bazon VideoCDN Inframe и тд ) Добавляет всё что появляется у них в базе в вашу коллекцию. Это и плюс и охрененный МИНУС т.к в Базу агрегатора добавляются каждый день как новые фильмы так и старьё за последние 100 лет. Из за этого в коллекции творится полный хаос фильмы 2021г тут же 1982 и 1954 и 1932 г причём старья то гораздо больше за 100 лет то наснимали много.

2. Способ Парсинг. Это обход разных источников ( Форумы ,торренты и т.д что укажите. допусти форум ) Парсинг фильмы не добавляет сам он берет фильм из форума сравнивает с вашей базой и если нет в базе то коллекцию не обновляет а если находит добавит или обновит. У этого способа есть тоже охренненый минус ты сам в ручную добавляешь в базу новые фильмы а так как что уже есть в базе не известно добавлять будешь много и 80% зря так как скорее всего в базе они есть иначе коллекцию не обновить.

Поэтому как правило люди вынуждены делать 2 коллекции с просто фильмами и новыми фильмами ( новинки и т.д ) В коллекции новинки прописывают парсинг с кинопоиска иначе в общей коллекции новинки просто потеряются в мешанине других фильмов.

Конечно в теории есть фильтры но они не работают. Видимо пофиг всем раз ни кто не поднял эту тему. А может я идиот и не разобрался. Помогите кто в этом шарит буду рад если я где то недопонял.

У меня в коллекциях хаос 3 месяц с ума схожу.
Да нормас всё всем не угодишь старые новые а старые фильмы лучше как по мне:))
 
Регистрация
15 Дек 2017
Сообщения
5,067
#3
Нету ключей, баз и 40 000 фильмов по умолчанию так же не будет.

С фильмами/сериалами работает так:
  1. Прописали получение информации о фильмах с определенного источника
  2. Всё
Каждые N-часов система будет ходить к источнику и добавлять/обновлять информацию у Вас на сайте.

С коллекциями работает так:
  1. Создается несколько коллекций, под разные источники
  2. Прописывается автоматическое наполнение из этих источников
  3. Все фильмы которые есть на сайте, отправляются в коллекцию
  4. Все фильмы которые есть или нет на сайте, отправляются в файл /files/scraper/название-коллекции.json
  5. Из этого JSON все недостающие фильмы, автоматически добавляются на сайт
Как настроить такую автоматизацию, будет в отдельном видео на канале.