Как работает инструмент для парсинга веб-страниц в автоматических коллекциях?
- Автор темы sergeyzahar
- Дата начала
Вам нужно найти сайт на котором используют ID КиноПоиск и брать конкретно ID КиноПоиск для автообновления коллекций.
Пример, берем URL самого популярного торрент сайта:
http://rutracker.org/forum/viewforum.php?f=1950
Смотрим как выглядят ссылки на новость и составляем RegExp:
href="(viewtopic\.php\?t=[0-9]{1,8})"\sclass="torTopic\sbold\stt-text">
Находим в новости ID КиноПоиска и составляем RegExp:
kinopoisk\.ru\/([0-9]{3,10})\.gif
Теперь всё собираем воедино:
КаждыйЧас~ЗаходитьНаURL~НаходитьСсылкуНаНовости~НаходитьIDКиноПоискаВНовостях~СохранятьИхВКоллекцию1~http://rutracker.org/forum/viewforum.php?f=1950~href="(viewtopic\.php\?t=[0-9]{1,8})"\sclass="torTopic\sbold\stt-text">~kinopoisk\.ru\/([0-9]{3,10})\.gif~poslednie-obnovleniyaИ в коллекцию добавятся фильмы, ID КиноПоиск которых будут найдены на страницах.
Перед тем, как составлять RegExp условие, протестируйте его онлайн на regex101.com
- Копируете весь HTML страницы нужного Вам сайта в regex101:
- Составляем условие чтобы получить только тот текст, который нужен (он обводится скобками) и будет выделен зеленым цветом:
а ниче что доступ к данному домену ограничен http://rutracker.org ?
Для всего подойдет, если есть источник для получения ID КиноПоиск.
Обновить систему:
К примеру для получения последних сериалов на трекере:
Каждые 4 часа:
Заходить на страницу:
Составляем RegExp новости:
Составляем RegExp ID КиноПоиск:
Собираем вместе:
Вот так можно показывать каждый день на главной странице только те фильмы, которые сейчас самые популярные в СНГ:
Каждые 12 часов:
Заходить на страницу:
Заходить на новость:
Составляем RegExp ID КиноПоиск:
Собираем вместе:
И вывести коллекцию
Обновить систему:
cinemapress upd && cinemapress updateК примеру для получения последних сериалов на трекере:
Каждые 4 часа:
4Заходить на страницу:
http://rutor.info/serialiСоставляем RegExp новости:
<a\shref="(\/torrent\/[0-9]{4,7}\/[a-zA-Z0-9_-]*?)">Составляем RegExp ID КиноПоиск:
kinopoisk\.ru\/film\/([0-9]{3,10})\/"Собираем вместе:
4~http://rutor.is/seriali~<a\shref="(\/torrent\/[0-9]{4,7}\/[a-zA-Z0-9_-]*?)">~kinopoisk\.ru\/film\/([0-9]{3,10})\/"~poslednie-seriiВот так можно показывать каждый день на главной странице только те фильмы, которые сейчас самые популярные в СНГ:
Каждые 12 часов:
12Заходить на страницу:
https://www.kinopoisk.ru/popular/Заходить на новость:
пусто, так как ID КиноПоиска уже естьСоставляем RegExp ID КиноПоиск:
"obj([0-9]{3,10})"Собираем вместе:
12~https://www.kinopoisk.ru/popular/~~"obj([0-9]{3,10})"~populyarnye-segodnyaИ вывести коллекцию
populyarnye-segodnya на главную.это, пожалуй, одно из лучших обновлений в новой версии.
проверил, все работает на ура.
есть ли такая же возможность парсинга не хтмл кода, а json, то есть поиск не по регекспу, а задавая ключи json?
вдогонку, каждый новый парсинг с новой строки же?
есть ли возможность временно закомментировать ненужную на данный момент строку, которую удалять не хочется, но и использовать тоже?
проверил, все работает на ура.
есть ли такая же возможность парсинга не хтмл кода, а json, то есть поиск не по регекспу, а задавая ключи json?
вдогонку, каждый новый парсинг с новой строки же?
есть ли возможность временно закомментировать ненужную на данный момент строку, которую удалять не хочется, но и использовать тоже?
Последнее редактирование:
Помогите пожалуйста с кодом.
У меня прекрасно работают эти два кода
Можно ли сделать так что бы обновлялись например по 20 фильмов , и что бы новые обновления 20-ти фильмов и сериалов не превышали этот лимит в коллекции, тоисть старые 20 фильмов за менялись на новые .
( P.S простите что отнимаю ваше время)
У меня прекрасно работают эти два кода
1~http://rutracker.org/forum/viewforum.php?f=1950~href="(viewtopic\.php\?t=[0-9]{1,8})"\sclass="torTopic\sbold\stt-text">~kinopoisk\.ru\/([0-9]{3,10})\.gif~populyarnye-filmy1~http://rutor.is/seriali~<a\shref="(\/torrent\/[0-9]{4,7}\/[a-zA-Z0-9_-]*?)">~kinopoisk\.ru\/film\/([0-9]{3,10})\/"~populyarnye-serialyМожно ли сделать так что бы обновлялись например по 20 фильмов , и что бы новые обновления 20-ти фильмов и сериалов не превышали этот лимит в коллекции, тоисть старые 20 фильмов за менялись на новые .
( P.S простите что отнимаю ваше время)
Это пример из видео:
После выполнения, Ваши коллекции наполнятся:
Код:
9 ~ https://www.kinopoisk.ru/popular/?quick_filters=serials ~ ~ ~ kinopoisk
10 ~ http://rutor.info/kino ~ href="(/torrent/[0-9]{1,7}/.*?)" ~ ~ rutor
11 ~ http://rutracker.org/forum/viewforum.php?f=1950 ~ href="(viewtopic\.php\?t=[0-9]{1,8})" ~ ~ rutracker
2 ~ http://kinozal.tv/browse.php ~ href="(/details\.php\?id=[0-9]{1,8})" ~ ~ kinozal
2 ~ http://riperam.org/ ~ href="(http://riperam\.org/(?:russkie-seriali|zarubejnie-seriali)/.*?\.html)" ~ ~ riperam
- Регистрация
- 11 Окт 2018
- Сообщения
- 292
На сайте у всех!!! Должно стаять только 4 плеера - "collaps,videocdn,iframe,kodik,trailer"
Что вы ставите другие ради дохода. Быстрее в реестр улетите чем заработаете 1000 руб
Когда я не знал. Поставил плеер hdvb рекламили его хорошо ( как и многие купились на это ) через неделю 99% сайтов улетели в реестр ФНС, за рекламу казино. Они заработали бабки огромные ( а мы потеряли траф и домены ) вот по поэтому всегда думайте.
videocdn и так работает
Что вы ставите другие ради дохода. Быстрее в реестр улетите чем заработаете 1000 руб
Когда я не знал. Поставил плеер hdvb рекламили его хорошо ( как и многие купились на это ) через неделю 99% сайтов улетели в реестр ФНС, за рекламу казино. Они заработали бабки огромные ( а мы потеряли траф и домены ) вот по поэтому всегда думайте.
videocdn и так работает
Последнее редактирование:
https://videocdn.tv/api/movies
https://videocdn.tv/api/tv-series
Код:
Метод movies
Этот метод служит для получения списка фильмов по определенным параметрам.
При вызове без параметров, получаем список всех фильмов отстортированный по id.
GET параметры
Параметр Описание Тип Возможные значения
ordering Поле для сотировки Строка id, created, released
direction Направление сортировки Строка asc, desc
query Поисковая строка Строка Любая строка длиной более 2-х символов
field Поле для поиска Строка title(ищет по всем полям *_title), imdb_id, kinopoisk_id
translation ID перевода Число Любое целое число, список переводов тут
year Год релиза Число Любое целое число
page Страница пагинации Число Любое целое число
limit Количество на странице Число Любое целое число от 1 до 100
{
"result": true,
"data": [
{
"id": 1,
"ru_title": "Миньоны",
"orig_title": "Minions",
"imdb_id": "tt2293640",
"kinopoisk_id": "694051",
"default_media_id": null,
"created": "2016-02-04 10:50:52",
"released": "2015-06-11 00:00:00",
"updated": "2020-05-24 15:15:55",
"blocked": 0,
"content_id": null,
"content_type": "movie",
"country_id": null,
"media": [
{
"id": 45,
"translation_id": 2,
"content_id": 1,
"content_type": "movie",
"tv_series_id": null,
"source_quality": "bd",
"max_quality": 720,
"path": "//4422.videocdn.pw/si4jsFRrtgrT/movie/1?translation=2",
"duration": 5458,
"created": "2016-02-07 20:04:47",
"accepted": "2016-02-07 20:04:47",
"deleted_at": null,
"blocked": 0,
"qualities": [
{
"id": 5236347437,
"url": "//4422.videocdn.pw/si4jsFRrtgrT/movie/1?translation=2&source=720",
"resolution": 720,
"media_id": 45
},
{
"id": 5236347438,
"url": "//4422.videocdn.pw/si4jsFRrtgrT/movie/1?translation=2&source=480",
"resolution": 480,
"media_id": 45
},
],
"translation": {
"id": 2,
"title": "Полное дублирование",
"priority": 5,
"iframe_src": "//4422.videocdn.pw/si4jsFRrtgrT/movie/1?translation=2",
"iframe": "<iframe src=\"//4422.videocdn.pw/si4jsFRrtgrT/movie/1?translation=2\" width=\"640\" height=\"480\" frameborder=\"0\" allowfullscreen></iframe>",
"short_title": "Дублированный",
"smart_title": "Дублированный",
"shorter_title": "Дублированный"
}
}
],
"preview_iframe_src": "https://videocdn.tv/preview/movie/1?preview_token=ZnJAIplDhcXlfrR2",
"iframe_src": "//4422.videocdn.pw/si4jsFRrtgrT/movie/1",
"iframe": "<iframe src=\"//4422.videocdn.pw/si4jsFRrtgrT/movie/1\" width=\"640\" height=\"480\" frameborder=\"0\" allowfullscreen></iframe>",
"translations": [
{
"id": 2,
"title": "Полное дублирование",
"priority": 5,
"iframe_src": "//4422.videocdn.pw/si4jsFRrtgrT/movie/1?translation=2",
"iframe": "<iframe src=\"//4422.videocdn.pw/si4jsFRrtgrT/movie/1?translation=2\" width=\"640\" height=\"480\" frameborder=\"0\" allowfullscreen></iframe>",
"short_title": "Дублированный",
"smart_title": "Дублированный",
"shorter_title": "Дублированный"
}
],
"year": "2015-06-11"
},
{
Код:
Метод tv-series
Этот метод служит для получения списка сериалов по определенным параметрам.
При вызове без параметров, получаем список всех фильмов отстортированный по id.
GET параметры
Параметр Описание Тип Возможные значения
ordering Поле для сотировки Строка id, start_date, end_date created
direction Направление сортировки Строка asc, desc
query Поисковая строка Строка Любая строка длиной более 2-х символов
field Поле для поиска Строка title(ищет по всем полям *_title), imdb_id, kinopoisk_id
translation ID перевода Число Любое целое число, список переводов тут
year Год релиза Число Любое целое число
page Страница пагинации Число Любое целое число
limit Количество на странице Число Любое целое число от 1 до 100
{
"result": true,
"data": [
{
"id": 2,
"ru_title": "Родина",
"orig_title": "Homeland",
"imdb_id": "tt1796960",
"kinopoisk_id": "574688",
"season_count": 8,
"episode_count": 96,
"last_episode_id": 185511,
"start_date": "2011-10-02 00:00:00",
"end_date": null,
"created": "2016-02-26 14:31:10",
"updated": "2020-05-24 15:24:05",
"blocked": 0,
"content_id": null,
"content_type": "tv_series",
"country_id": null,
"preview_iframe_src": "https://videocdn.tv/preview/tv-series/2?preview_token=TLfAymbCLVxRc3xf",
"iframe_src": "//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2",
"iframe": "<iframe src=\"//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2\" width=\"640\" height=\"480\" frameborder=\"0\" allowfullscreen></iframe>",
"translations": [
{
"id": 10,
"title": "Профессиональный (многоголосый закадровый) (LostFilm)",
"priority": 8,
"episodes_count": 96,
"source_quality": "webdl",
"max_quality": 1080,
"iframe_src": "//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2?translation=10",
"iframe": "<iframe src=\"//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2?translation=10\" width=\"640\" height=\"480\" frameborder=\"0\" allowfullscreen></iframe>",
"short_title": "LostFilm",
"smart_title": "LostFilm (многоголосый закадровый)",
"shorter_title": "LostFilm"
},https://videocdn.tv/api/tv-series/seasons
https://videocdn.tv/api/tv-series/episodes
https://videocdn.tv/api/translations
Код:
Метод tv-series/seasons
Этот метод служит для получения списка сезонов сериалов по определенным параметрам.
При вызове без параметров, получаем список всех фильмов отстортированный по id.
GET параметры
Параметр Описание Тип Возможные значения
tv_series_id ID сериала Число Любой ID сериала
ordering Поле для сотировки Строка id, start_date, end_date created
direction Направление сортировки Строка asc, desc
page Страница пагинации Число Любое целое число
limit Количество на странице Число Любое целое число от 1 до 100
{
"result": true,
"data": [
{
"id": 2,
"ru_title": "Родина",
"orig_title": "Homeland",
"imdb_id": "tt1796960",
"kinopoisk_id": "574688",
"season_count": 8,
"episode_count": 96,
"last_episode_id": 185511,
"start_date": "2011-10-02 00:00:00",
"end_date": null,
"created": "2016-02-26 14:31:10",
"updated": "2020-05-24 15:24:05",
"blocked": 0,
"content_id": null,
"content_type": "tv_series",
"country_id": null,
"preview_iframe_src": "https://videocdn.tv/preview/tv-series/2?preview_token=TLfAymbCLVxRc3xf",
"iframe_src": "//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2",
"iframe": "<iframe src=\"//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2\" width=\"640\" height=\"480\" frameborder=\"0\" allowfullscreen></iframe>",
"translations": [
{
"id": 10,
"title": "Профессиональный (многоголосый закадровый) (LostFilm)",
"priority": 8,
"episodes_count": 96,
"source_quality": "webdl",
"max_quality": 1080,
"iframe_src": "//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2?translation=10",
"iframe": "<iframe src=\"//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2?translation=10\" width=\"640\" height=\"480\" frameborder=\"0\" allowfullscreen></iframe>",
"short_title": "LostFilm",
"smart_title": "LostFilm (многоголосый закадровый)",
"shorter_title": "LostFilm"
Код:
Метод tv-series/episodes
Этот метод служит для получения списка эпизодов сериалов по определенным параметрам.
При вызове без параметров, получаем список всех фильмов отстортированный по id.
GET параметры
Параметр Описание Тип Возможные значения
tv_series_id ID сериала Число Любой ID сериала
season_id ID сезона Число Любой ID сезона
ordering Поле для сотировки Строка id, released, ru_released created
direction Направление сортировки Строка asc, desc
query Поисковая строка Строка Любая строка длиной более 2-х символов
field Поле для поиска Строка title(ищет по всем полям *_title), imdb_id, kinopoisk_id
page Страница пагинации Число Любое целое число
limit Количество на странице Число Любое целое число от 1 до 100
{
"result": true,
"data": [
{
"id": 2,
"tv_series_id": 2,
"season_id": 2,
"num": "01",
"season_num": 5,
"ru_title": "Боязнь разлуки",
"orig_title": "Separation Anxiety",
"imdb_id": "tt4190442",
"kinopoisk_id": "574688",
"released": "2015-10-04 00:00:00",
"ru_released": null,
"created": "2016-02-26 14:34:46",
"media": [
{
"id": 188,
"translation_id": 10,
"content_id": 2,
"content_type": "tv_series",
"tv_series_id": 2,
"source_quality": "webdl",
"max_quality": 720,
"path": "//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2?translation=10",
"duration": 3017,
"created": "2016-02-26 14:38:45",
"accepted": "2016-03-01 10:41:08",
"deleted_at": null,
"blocked": 0,
"qualities": [
{
"id": 5236436407,
"url": "//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2?translation=10&source=360",
"resolution": 360,
"media_id": 188
},
{
"id": 5236436408,
"url": "//4422.videocdn.pw/si4jsFRrtgrT/tv-series/2?translation=10&source=240",
"resolution": 240,
"media_id": 188
}
],
"translation": {
"id": 10,
"title": "Профессиональный (многоголосый закадровый) (LostFilm)",
"priority": 8,
"short_title": "LostFilm",
"smart_title": "LostFilm (многоголосый закадровый)",
"shorter_title": "LostFilm"
}
}
]
},
{
Код:
Метод translations
Этот метод служит для получения списка переводов.
{
"result": true,
"data": [
{
"id": 2,
"title": "Полное дублирование",
"priority": 5,
"short_title": "Дублированный",
"smart_title": "Дублированный",
"shorter_title": "Дублированный"
},
{
"id": 3,
"title": "Полное дублирование (iTunes)",
"priority": 10,
"short_title": "Полное дублирование (iTunes)",
"smart_title": "Полное дублирование (iTunes)",
"shorter_title": "Полное дублирование (iTunes)"
},
{
"id": 4,
"title": "Профессиональный (многоголосый)",
"priority": 4,
"short_title": "Профессиональный (многоголосый)",
"smart_title": "Профессиональный (многоголосый)",
"shorter_title": "Профессиональный (многоголосый)"
{
Последнее редактирование:
По данным, которые выдаются по API, можно увидеть, что фильмы, отдаются так:
- ID КиноПоиска -
data.0.kinopoisk_id - Качество -
data.0.media.0.source_quality - Перевод -
data.0.translations.0.short_title
- ID КиноПоиска -
data.0.kinopoisk_id - Качество -
data.0.translations.0.source_quality - Перевод -
data.0.translations.0.short_title
https://videocdn.tv/api/movies?api_token=X6EwAUfE5M9xbo7y0Bp0aPf3uXxG2KLL&ordering=id&direction=desc ~ data.0.kinopoisk_id ~ poslednie-obnovleniya-filmov ~ data.0.translations.0.short_title ~ data.0.media.0.source_qualityhttps://videocdn.tv/api/tv-series?api_token=X6EwAUfE5M9xbo7y0Bp0aPf3uXxG2KLL&ordering=id&direction=desc ~ data.0.kinopoisk_id ~ poslednie-obnovleniya-serialov ~ data.0.translations.0.short_title ~ data.0.translations.0.source_quality
С обновлением все понятно , но у меня вообще ничего не обновляется в чем может быть причина ?
у меня вот такая ссылка
может что то не так ?
у меня вот такая ссылка
https://videocdn.tv/api/tv-series?api_token=EnbO9h8pv1VyjbCJhg0WM9nG259n7mtz&ordering=id&direction=desc ~ data.0.kinopoisk_id ~ poslednie-obnovleniya-serialov ~ data.0.translations.0.short_title ~ data.0.translations.0.source_qualityможет что то не так ?
- Регистрация
- 11 Окт 2018
- Сообщения
- 292
Блок с сериями:
Сериии на странице сериала:
https://iframe.video/api/v2/updates?limit=99&type=serial&api_token=ТУТ ТОКЕН ~ results.0.kinopoisk_id ~ results.0.added.0.SxEx <> <> <> S([0-9]{1,3})E[0-9]{1,3} ~ results.0.added.0.SxEx <> <> <> S[0-9]{1,3}E([0-9]{1,3}) ~ results.0.added.0.translatorСериии на странице сериала:
https://iframe.video/api/v2/serials?&include=seasons,translate&api_token=ТУТ ТОКЕН&kp=[kp_id] ~ results.0.seasons.0.season_num ~ results.0.seasons.0.episodes.0 ~ results.0.seasons.0.translate
- Регистрация
- 17 Ноя 2019
- Сообщения
- 171
Я не пойму чего вы хотите сделать? Как в этой теме https://enota.club/threads/kak-dobavit-kollekciju-v-type.1915/?
