Парсинг данных с kodik, как сделать?

Kazik

K
Енот
Новичо́к, через «о́»
#1
Регистрация
13 Янв 2018
Сообщения
536
#1
@Alisa подскажите можно ли настроить парсинг дорам и аниме с kodik?

 

Kazik

K
Енот
Новичо́к, через «о́»
#3
Регистрация
13 Янв 2018
Сообщения
536
#3
FR13ND написал(а):
Приветствую где взять такой же шаблон как у тебя? sr.topserials.tv
Нажмите для раскрытия...
Заказал верстку у типа с форума, но он уже давно не выходит на связь, плюс шаблон не работает с модулем новые серии
 

Alisa

Alisa
Off
#4
Регистрация
15 Дек 2017
Сообщения
5,067
#4
У них нет пагинации page=1, page=2, page=3

Вы можете получить первую страницу и поставить её на ежечасное обновление.

Сейчас с первой страницы выгружается 64 фильма.

1615214425608.png

Строки автозаполнения:

# Заполнение всей информции с kodik, и основным делать ID КиноПоиска.
1 ~ http://kodikapi.com/list?limit=100&with_episodes=true&with_material_data=true&token=45c53578f11ecfb74e31267b634cc6a8 ~ results ~ ~ kinopoisk_id <> kp_id ~ material_data.title <> title_ru ~ material_data.title_en <> title_en ~ material_data.year <> year ~ material_data.description <> description ~ material_data.poster_url <> poster ~ material_data.screenshots <> pictures ~ material_data.countries <> country ~ material_data.genres <> genre ~ material_data.premiere_world <> premiere ~ material_data.actors <> actor ~ material_data.directors <> director ~ type <> type

# Заполнение ID IMDb у фильмов, у которых уже есть ID КиноПоиска.
1 ~ http://kodikapi.com/list?limit=100&with_episodes=true&with_material_data=true&token=45c53578f11ecfb74e31267b634cc6a8 ~ results ~ ~ kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id

# Заполнение рейтинга КиноПоиск и IMDb, напрямую с КиноПоиска.
0 ~ ~ ~ https://rating.kinopoisk.ru/[id].xml ~ rating.kp_rating._attributes.num_vote <> kp_vote ~ rating.kp_rating._text <> kp_rating ~ rating.imdb_rating._attributes.num_vote <> imdb_vote ~ rating.imdb_rating._text <> imdb_rating

Зачем делать 2-й запрос для обновления ID IMDb?
Если Вам не нужна информация о ID IMDb в базе, то можете его не делать. Если Вы сделаете всё в первом запросе kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id, то может быть так, что у фильма нет ID КиноПоиска, а есть только ID IMDb, в таком случае этот фильм будет относиться к ID IMDb, и когда у него появится когда-то ID КиноПоиска, то это будет как совершенно другой фильм и возможно продублируется у Вас в базе. Поэтому при заполнении информации, используйте только один основной ID, если хотите чтобы всё привязывалось к КиноПоиску, то ID КиноПоиска, если к IMDb, то ID IMDb, и т.п.
 

Kazik

K
Енот
Новичо́к, через «о́»
#5
Регистрация
13 Янв 2018
Сообщения
536
#5
Alisa написал(а):
У них нет пагинации page=1, page=2, page=3

Вы можете получить первую страницу и поставить её на ежечасное обновление.

Сейчас с первой страницы выгружается 64 фильма.

Посмотреть вложение 5564

Строки автозаполнения:

# Заполнение всей информции с kodik, и основным делать ID КиноПоиска.
1 ~ http://kodikapi.com/list?limit=100&with_episodes=true&with_material_data=true&token=45c53578f11ecfb74e31267b634cc6a8 ~ results ~ ~ kinopoisk_id <> kp_id ~ material_data.title <> title_ru ~ material_data.title_en <> title_en ~ material_data.year <> year ~ material_data.description <> description ~ material_data.poster_url <> poster ~ material_data.screenshots <> pictures ~ material_data.countries <> country ~ material_data.genres <> genre ~ material_data.premiere_world <> premiere ~ material_data.actors <> actor ~ material_data.directors <> director ~ type <> type

# Заполнение ID IMDb у фильмов, у которых уже есть ID КиноПоиска.
1 ~ http://kodikapi.com/list?limit=100&with_episodes=true&with_material_data=true&token=45c53578f11ecfb74e31267b634cc6a8 ~ results ~ ~ kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id

# Заполнение рейтинга КиноПоиск и IMDb, напрямую с КиноПоиска.
0 ~ ~ ~ https://rating.kinopoisk.ru/[id].xml ~ rating.kp_rating._attributes.num_vote <> kp_vote ~ rating.kp_rating._text <> kp_rating ~ rating.imdb_rating._attributes.num_vote <> imdb_vote ~ rating.imdb_rating._text <> imdb_rating

Зачем делать 2-й запрос для обновления ID IMDb?
Если Вам не нужна информация о ID IMDb в базе, то можете его не делать. Если Вы сделаете всё в первом запросе kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id, то может быть так, что у фильма нет ID КиноПоиска, а есть только ID IMDb, в таком случае этот фильм будет относиться к ID IMDb, и когда у него появится когда-то ID КиноПоиска, то это будет как совершенно другой фильм и возможно продублируется у Вас в базе. Поэтому при заполнении информации, используйте только один основной ID, если хотите чтобы всё привязывалось к КиноПоиску, то ID КиноПоиска, если к IMDb, то ID IMDb, и т.п.
Нажмите для раскрытия...
что то не добавляются фильмы и сериалы
 

Kazik

K
Енот
Новичо́к, через «о́»
#7
Регистрация
13 Янв 2018
Сообщения
536
#7
че то все равно не парсит
 

Kazik

K
Енот
Новичо́к, через «о́»
#8
Регистрация
13 Янв 2018
Сообщения
536
#8
Alisa написал(а):
У них нет пагинации page=1, page=2, page=3

Вы можете получить первую страницу и поставить её на ежечасное обновление.

Сейчас с первой страницы выгружается 64 фильма.

Посмотреть вложение 5564

Строки автозаполнения:

# Заполнение всей информции с kodik, и основным делать ID КиноПоиска.
1 ~ http://kodikapi.com/list?limit=100&with_episodes=true&with_material_data=true&token=45c53578f11ecfb74e31267b634cc6a8 ~ results ~ ~ kinopoisk_id <> kp_id ~ material_data.title <> title_ru ~ material_data.title_en <> title_en ~ material_data.year <> year ~ material_data.description <> description ~ material_data.poster_url <> poster ~ material_data.screenshots <> pictures ~ material_data.countries <> country ~ material_data.genres <> genre ~ material_data.premiere_world <> premiere ~ material_data.actors <> actor ~ material_data.directors <> director ~ type <> type

# Заполнение ID IMDb у фильмов, у которых уже есть ID КиноПоиска.
1 ~ http://kodikapi.com/list?limit=100&with_episodes=true&with_material_data=true&token=45c53578f11ecfb74e31267b634cc6a8 ~ results ~ ~ kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id

# Заполнение рейтинга КиноПоиск и IMDb, напрямую с КиноПоиска.
0 ~ ~ ~ https://rating.kinopoisk.ru/[id].xml ~ rating.kp_rating._attributes.num_vote <> kp_vote ~ rating.kp_rating._text <> kp_rating ~ rating.imdb_rating._attributes.num_vote <> imdb_vote ~ rating.imdb_rating._text <> imdb_rating

Зачем делать 2-й запрос для обновления ID IMDb?
Если Вам не нужна информация о ID IMDb в базе, то можете его не делать. Если Вы сделаете всё в первом запросе kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id, то может быть так, что у фильма нет ID КиноПоиска, а есть только ID IMDb, в таком случае этот фильм будет относиться к ID IMDb, и когда у него появится когда-то ID КиноПоиска, то это будет как совершенно другой фильм и возможно продублируется у Вас в базе. Поэтому при заполнении информации, используйте только один основной ID, если хотите чтобы всё привязывалось к КиноПоиску, то ID КиноПоиска, если к IMDb, то ID IMDb, и т.п.
Нажмите для раскрытия...
Код: 
1 ~ http://kodikapi.com/list?limit=100&sort=kinopoisk_rating&types=foreign-movie&year=1998,1999,2000,2001,2002,2003,2004,2005,2006,2007,2007,2008,2009,2010,2011,2012,2013,2014,2015,2016,2017,2018,2019,2020,2021&with_material_data=true&countries=Китай,Япония,Тайвань,Гонконг,Филиппины,Индонезия,Таиланд,Вьетнам,Корея,Малайзия&token=b23aec78905d0f14083e1fbe2e06a2c2 ~ results ~ ~ kinopoisk_id <> kp_id ~ material_data.title <> title_ru ~ material_data.title_en <> title_en ~ material_data.year <> year ~ material_data.description <> description ~ material_data.poster_url <> poster ~ material_data.screenshots <> pictures ~ material_data.countries <> country ~ material_data.genres <> genre ~ material_data.premiere_world <> premiere ~ material_data.actors <> actor ~ material_data.directors <> director ~ type <> type

1 ~ http://kodikapi.com/list?limit=100&sort=kinopoisk_rating&types=foreign-serial&year=1998,1999,2000,2001,2002,2003,2004,2005,2006,2007,2007,2008,2009,2010,2011,2012,2013,2014,2015,2016,2017,2018,2019,2020,2021&with_episodes=true&with_material_data=true&countries=Китай,Япония,Тайвань,Гонконг,Филиппины,Индонезия,Таиланд,Вьетнам,Корея,Малайзия&token=b23aec78905d0f14083e1fbe2e06a2c2 ~ results ~ ~ kinopoisk_id <> kp_id ~ material_data.title <> title_ru ~ material_data.title_en <> title_en ~ material_data.year <> year ~ material_data.description <> description ~ material_data.poster_url <> poster ~ material_data.screenshots <> pictures ~ material_data.countries <> country ~ material_data.genres <> genre ~ material_data.premiere_world <> premiere ~ material_data.actors <> actor ~ material_data.directors <> director ~ type <> type

1 ~ http://kodikapi.com/list?limit=100&sort=kinopoisk_rating&types=foreign-movie&year=1998,1999,2000,2001,2002,2003,2004,2005,2006,2007,2007,2008,2009,2010,2011,2012,2013,2014,2015,2016,2017,2018,2019,2020,2021&with_material_data=true&countries=Китай,Япония,Тайвань,Гонконг,Филиппины,Индонезия,Таиланд,Вьетнам,Корея,Малайзия&token=b23aec78905d0f14083e1fbe2e06a2c2 ~ results ~ ~ kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id

1 ~ http://kodikapi.com/list?limit=100&sort=kinopoisk_rating&types=foreign-serial&year=1998,1999,2000,2001,2002,2003,2004,2005,2006,2007,2007,2008,2009,2010,2011,2012,2013,2014,2015,2016,2017,2018,2019,2020,2021&with_episodes=true&with_material_data=true&countries=Китай,Япония,Тайвань,Гонконг,Филиппины,Индонезия,Таиланд,Вьетнам,Корея,Малайзия&token=b23aec78905d0f14083e1fbe2e06a2c2 ~ results ~ ~ kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id

1 ~ http://kodikapi.com/list?limit=100&sort=imdb_rating&types=foreign-movie&year=1998,1999,2000,2001,2002,2003,2004,2005,2006,2007,2007,2008,2009,2010,2011,2012,2013,2014,2015,2016,2017,2018,2019,2020,2021&with_material_data=true&countries=Китай,Япония,Тайвань,Гонконг,Филиппины,Индонезия,Таиланд,Вьетнам,Корея,Малайзия&token=b23aec78905d0f14083e1fbe2e06a2c2 ~ results ~ ~ kinopoisk_id <> kp_id ~ material_data.title <> title_ru ~ material_data.title_en <> title_en ~ material_data.year <> year ~ material_data.description <> description ~ material_data.poster_url <> poster ~ material_data.screenshots <> pictures ~ material_data.countries <> country ~ material_data.genres <> genre ~ material_data.premiere_world <> premiere ~ material_data.actors <> actor ~ material_data.directors <> director ~ type <> type

1 ~ http://kodikapi.com/list?limit=100&sort=imdb_rating&types=foreign-serial&year=1998,1999,2000,2001,2002,2003,2004,2005,2006,2007,2007,2008,2009,2010,2011,2012,2013,2014,2015,2016,2017,2018,2019,2020,2021&with_episodes=true&with_material_data=true&countries=Китай,Япония,Тайвань,Гонконг,Филиппины,Индонезия,Таиланд,Вьетнам,Корея,Малайзия&token=b23aec78905d0f14083e1fbe2e06a2c2 ~ results ~ ~ kinopoisk_id <> kp_id ~ material_data.title <> title_ru ~ material_data.title_en <> title_en ~ material_data.year <> year ~ material_data.description <> description ~ material_data.poster_url <> poster ~ material_data.screenshots <> pictures ~ material_data.countries <> country ~ material_data.genres <> genre ~ material_data.premiere_world <> premiere ~ material_data.actors <> actor ~ material_data.directors <> director ~ type <> type

1 ~ http://kodikapi.com/list?limit=100&sort=imdb_rating&types=foreign-movie&year=1998,1999,2000,2001,2002,2003,2004,2005,2006,2007,2007,2008,2009,2010,2011,2012,2013,2014,2015,2016,2017,2018,2019,2020,2021&with_material_data=true&countries=Китай,Япония,Тайвань,Гонконг,Филиппины,Индонезия,Таиланд,Вьетнам,Корея,Малайзия&token=b23aec78905d0f14083e1fbe2e06a2c2 ~ results ~ ~ kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id

1 ~ http://kodikapi.com/list?limit=100&sort=imdb_rating&types=foreign-serial&year=1998,1999,2000,2001,2002,2003,2004,2005,2006,2007,2007,2008,2009,2010,2011,2012,2013,2014,2015,2016,2017,2018,2019,2020,2021&with_episodes=true&with_material_data=true&countries=Китай,Япония,Тайвань,Гонконг,Филиппины,Индонезия,Таиланд,Вьетнам,Корея,Малайзия&token=b23aec78905d0f14083e1fbe2e06a2c2 ~ results ~ ~ kinopoisk_id <> kp_id ~ imdb_id <> custom.imdb_id

0 ~ ~ ~ https://rating.kinopoisk.ru/[id].xml ~ rating.kp_rating._attributes.num_vote <> kp_vote ~ rating.kp_rating._text <> kp_rating ~ rating.imdb_rating._attributes.num_vote <> imdb_vote ~ rating.imdb_rating._text <> imdb_rating
вот такую конфигурацию составил с разной сортировкой, нужно ли изменить интервал обновления, для каждого указано ежечасное обновления, не будет ли это нагружать сервер?
 

Alisa

Alisa
Off
#9
Регистрация
15 Дек 2017
Сообщения
5,067
#9
Попробуйте через это API (не тестировалось):
0 ~ https://api-movies.github.io/kodik/index.json ~ results ~ [url] ~ kinopoisk_id <> kp_id ~ material_data.title <> title_ru ~ material_data.title_en <> title_en ~ material_data.year <> year ~ material_data.description <> description ~ material_data.poster_url <> poster ~ material_data.screenshots <> pictures ~ material_data.countries <> country ~ material_data.genres <> genre ~ material_data.premiere_world <> premiere ~ material_data.actors <> actor ~ material_data.directors <> director ~ type <> type
 
Для ответа, нужно войти или зарегистрироваться.
Похожие темы Раздел Ответов Дата
парсинг комментариев SEO 9
Парсинг новостей Контент 4
Авто парсинг фильмов с api.themoviedb.org Контент 13
Похожие темы
парсинг комментариев
Парсинг новостей
Авто парсинг фильмов с api.themoviedb.org