Исчезают автонаполняемые категории

Aleksey · 17 Дек 2021

Обратил внимание что некоторые автонаполняемые категории исчезли, источники прописаны в разделе наполнения, но страниц категорий нет.
Воссоздат повторно в ручную и вскоре они опять пропали.
Проверил RAM - почти 0, докупил 1GB
Итого стало 3Gb.
Фильмов в базе 145К.
Кто сталкивался с подобным?

cosmos · 18 Дек 2021

Aleksey написал(а):

подозреваю из-за того, что 0 - коллекцию выкинуло из памяти
автоколлекции после окончания выгружаются из оперативки, а вот если она зависает то там висит пока не перезагрузится контейнер
как вариант, можно каждый день по крону сервак в полночь ребутить, он и память будет сгружать и заново на новые рельсы становиться.
рутрекер каждый день в часа 2-3 ночи не работает, подсказывает мне что перезагружаются

0 0 * * * root reboot

время конечно подобрать еще нужно, так как крон синемапресс запускается в начале каждого часа, то перезагружать уместней за 50 минут до полуночи чтобы не нарушить наполнение коллекции на середине процесса

50 23 * * * root reboot

Dudarev.Vlad · 18 Дек 2021

было такое, из-за оперативки

Aleksey · 18 Дек 2021

Dudarev.Vlad написал(а):

Я увеличил ОЗУ но бестолку...

Dudarev.Vlad · 19 Дек 2021

А сколько сейчас свободно?

Kinosmart.club · 26 Дек 2021

SWAP забивается

Aleksey · 10 Янв 2022

В общем сейчас все выглядит вот так:

Обратил внимание что облачное хранилище тоже быстро забивается, хоть и настроил частую его очистку.
Ранее файл config в бэкапах весил 8-10Mb сейчас уже перевалил за 400Mb.

Предполагаю что строки в автонаполнении тоже гадят:
1 ~ xmlpipe2 ~ ~ ~ kp_id <> kp_id ~ title_ru <> title_ru! ~ title_en <> title_en ~ description <> description! ~ poster <> poster! ~ "2022-06-29" <> custom.updated_at

9 ~ db ~ kp_id ~ https://rating.kinopoisk.ru/[id].xml ~ rating.kp_rating._attributes.num_vote <> kp_vote ~ rating.kp_rating._text <> kp_rating ~ rating.imdb_rating._attributes.num_vote <> imdb_vote ~ rating.imdb_rating._text <> imdb_rating

Пните пожалуйста в каком направлении копать...

cosmos · 11 Янв 2022

Aleksey написал(а):

все вроде бы хорошо. Память должна быть забита, когда она нужна другому процессу сервер старое должен выкинуть

Aleksey написал(а):

что там столько места занимает?

Aleksey написал(а):

это что реально так каждый час запускается? это же полный обход базы с десятком или сотней тысяч фильмов. его один раз запустить, отключить автобазу и забыть стоило бы

Та и рейтинг каждые 9 часов всей базы обновлять это тоже слишком
раз в месяц или пол месяца 720 или 360 достаточно было бы

Aleksey · 11 Янв 2022

cosmos написал(а):

Теперь то все и становится на свои места, ежечасное выполнение синхронизации bd видимо мешало запуску скриптов по корону, из-за чего сжерался весь SWAP и некоторые процессы работали с ошибками или вовсе стопорились а как память появлялась видимо перезапускались.
Спасибо cosmos и Kinosmart.club, я пол года мучился с этим гемором, а всего то нужно было внимательно смотреть на 1 строку.

Интересно что же в бэкапе столько весит, ещё не смотрел, но подозреваю что там вагон и маленькая тележка log со сбоями из за моих кривых рук

Aleksey · 13 Янв 2022

Сегодня добрался до бэкапа размер которого составлял 535Мб и это только директория config
Из за постоянного переобхода БД там скопилось некоторое количество бинарных файлов, размер некоторых был свыше 100Мб, (в этих файлах содержится инфа о фильмах занесенных в RAM)
Вылечил подменой файлов из архивов созданных до запуска переобходов

hgru · 15 Янв 2022

Кто может помочь настроить API плеера collaps? Перепробовал уже многое.
Пример запроса:
https://api1642*7.bhcesh.me/list?token=9e21ee**************cb86cb&imdb_id=[imdb_id] ~ iframe_url

Aleksey · 17 Янв 2022

Временно удалил строки автонаполнения, остановил добавление, перезагрузил сервер.
Но фильмы продолжают добавляться, автонаполняемые категории продолжают пропадать.

Aleksey · 22 Янв 2022

Автонаполнение БД наконец-то остановилось.
Но автонаполняемые категории продолжают пропадать. Блять! Что я не так делаю?

Предположил что возможно поврежден какой-то файл CMS.
Выполнил:

cinemapress upd - загрузил новый установочный
cinemapress backup - сделал бэкап
cinemapress update - обновил систему

Результат действий еще неизвестен, но что то мне подсказывает что бес толку...

cosmos · 22 Янв 2022

Aleksey написал(а):

и теперь отключить, если все в рам
cinemapress zero

Aleksey · 20 Фев 2022

cosmos написал(а):

cinemapress zero - ничего не удаляет (сайт полон дублей)
категории и далее продолжают удаляться

Sergio · 21 Фев 2022

Aleksey написал(а):

cinemapress zero - ничего не удаляет (сайт полон дублей)
категории и далее продолжают удаляться

Alice уже не помогает? Походу заманили нас, продали нам ключ и типа 24ч техподдержку.

cosmos · 21 Фев 2022

Aleksey написал(а):

cinemapress zero - ничего не удаляет (сайт полон дублей)

а как это выглядит? дубли

Sergio написал(а):

комьюнити поддержка же
если за 4 года не разобраться как работает докер, может дальше лучше и не пытаться

Aleksey · 23 Фев 2022

cosmos написал(а):

Да это когда на страницы сайта выводится по 2 одинаковых фильма (сериала) с одинаковыми URL постерами и т.п. получается 1 фильм выводится из ОЗУ а второй из автобазы, т.к. она не обнулилась, спустя сутки после запуска команды удаления дубли пропали во всяком случае со страниц сайта

Aleksey · 20 Мар 2022

Спустя длительного времени (муки, страдания и постоянное безудержное пересоздание удаленных категорий) проблема найдена, из-за этой херни так же при авто добавлении удалялись франшизы (включая уники) и после авто добавления создавался эффект затирания описания.

Решение:
3 ГБ ОЗУ не хватает что бы по апи читать большое кол-во источников, я подозреваю что их чтение запускалось асинхронно и потоки работали параллельно, но т.к. источников у меня куда более 10 то, а объем получаемых данных и того больше, то памяти просто на просто не хватало и категории просто не формировались из за ошибки в нехватке памяти.

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=97 ~ results.0.kinopoisk_id ~ HBO ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=118 ~ results.0.kinopoisk_id ~ Hulu ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=115 ~ results.0.kinopoisk_id ~ Doramy ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=110 ~ results.0.kinopoisk_id ~ 2х2 ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=106 ~ results.0.kinopoisk_id ~ Discovery ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=105 ~ results.0.kinopoisk_id ~ National_Geographic ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=104 ~ results.0.kinopoisk_id ~ BBC ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=103 ~ results.0.kinopoisk_id ~ Fox ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=1 ~ results.0.kinopoisk_id ~ Marvel ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=2 ~ results.0.kinopoisk_id ~ DC ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=3~ results.0.kinopoisk_id ~ rozhdestvenskie ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=4 ~ results.0.kinopoisk_id ~ sitkomy ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=7 ~ results.0.kinopoisk_id ~ filmy-katastrofy ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=13 ~ results.0.kinopoisk_id ~ s-neozhidannym-koncom ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=16 ~ results.0.kinopoisk_id ~ pro-boevye-iskusstva ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=17 ~ results.0.kinopoisk_id ~ pro-vampirov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=18 ~ results.0.kinopoisk_id ~ pro-zhivotnyh ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=19 ~ results.0.kinopoisk_id ~ pro-ogrableniya-afery-i-moshennikov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=22 ~ results.0.kinopoisk_id ~ pro-prizrakov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=25 ~ results.0.kinopoisk_id ~ pro-manyakov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=26 ~ results.0.kinopoisk_id ~ pro-monstrov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=27 ~ results.0.kinopoisk_id ~ pro-zhizn ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=28 ~ results.0.kinopoisk_id ~ pro-kosmos ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=29 ~ results.0.kinopoisk_id ~ psihologicheskie ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=33 ~ results.0.kinopoisk_id ~ ekranizaciya-knig ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=34 ~ results.0.kinopoisk_id ~ motiviruyushchie ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=35 ~ results.0.kinopoisk_id ~ samye-kassovye ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=36 ~ results.0.kinopoisk_id ~ romanticheskie-komedii ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=37 ~ results.0.kinopoisk_id ~ Disney ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=38 ~ results.0.kinopoisk_id ~ pro-lyubov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=39 ~ results.0.kinopoisk_id ~ na-realnyh-sobytiyah ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=40 ~ results.0.kinopoisk_id ~ Netflix ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=42 ~ results.0.kinopoisk_id ~ pro-supergeroev ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=43 ~ results.0.kinopoisk_id ~ pro-podrostkov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=45 ~ results.0.kinopoisk_id ~ filmy-na-hellouin ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=46 ~ results.0.kinopoisk_id ~ sovetskie ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=50 ~ results.0.kinopoisk_id ~ pro-agentov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=51 ~ results.0.kinopoisk_id ~ pro-zombi ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=54 ~ results.0.kinopoisk_id ~ pro-oborotney ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=56 ~ results.0.kinopoisk_id ~ pro-tyurmu ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=57 ~ results.0.kinopoisk_id ~ pro-mafiyu-bandy ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=59 ~ results.0.kinopoisk_id ~ pro-vedm ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=62 ~ results.0.kinopoisk_id ~ pro-policiyu ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=65 ~ results.0.kinopoisk_id ~ antiutopii ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=68 ~ results.0.kinopoisk_id ~ pro-robotov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=70 ~ results.0.kinopoisk_id ~ pro-inoplanetyan ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=71 ~ results.0.kinopoisk_id ~ pro-puteshestviya ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=80 ~ results.0.kinopoisk_id ~ pro-akul ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=81 ~ results.0.kinopoisk_id ~ pro-zvezd ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=82 ~ results.0.kinopoisk_id ~ molodezhnye-komedii ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=83 ~ results.0.kinopoisk_id ~ pro-tanki ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=87 ~ results.0.kinopoisk_id ~ pro-snayperov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=88 ~ results.0.kinopoisk_id ~ pro-ostrova ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=91 ~ results.0.kinopoisk_id ~ pro-dinozavrov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=93 ~ results.0.kinopoisk_id ~ pro-srednevekove ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=94 ~ results.0.kinopoisk_id ~ pro-gonki ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=95 ~ results.0.kinopoisk_id ~ pro-apokalipsis ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=96 ~ results.0.kinopoisk_id ~ pro-puteshestviya-vo-vremeni ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=98 ~ results.0.kinopoisk_id ~ DreamWorks ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=99 ~ results.0.kinopoisk_id ~ pro-drakonov ~ ~ results.0.quality

# https://bhcesh.me/list?token=ТОКЕН&limit=500&collection_id=100 ~ results.0.kinopoisk_id ~ pro-doktorov ~ ~ results.0.quality

Была идея создания раздела с фильмами различных киностудий, в которых пользователь мог бы выбрать Netflix, DC Marvel к примеру
В приведенном мной спойлере каждый сможет найти интересные категории для себя

Если выполнить команду cinemapress actual (данная команда синхронизирует index и noindex фрашизы) а еще, все категории удаленные из-за нехватки памяти воскреснут (я серьезно)

PS. не запускайте наполение большого числа категорий