Автоматически обновление цены с сайта поставщика

[Vio]

Добрый вечер! Подскажите пожалуйста, есть ли такой модуль чтобы цены были привязаны к сайту поставщика, и чтобы обновились автоматически?!

[mpn2005]

В 27.05.2022 в 20:21, Vio сказал:

Добрый вечер! Подскажите пожалуйста, сети ли такой модуль чтобы цены были привязаны к сайту поставщика, и чтобы обновились автоматически?!

Добрый вечер.

Прямо готового модуля не будет. Надо выяснять что у поставщика есть для обновления цен.

Есть ли фид или внятный прайс. Или надо прямо с сайта обновлять цены.

В таком вопросе реализация зависит от исходных данных.

[Vio]

В 27.05.2022 в 22:55, mpn2005 сказал:

Добрый вечер.

Прямо готового модуля не будет. Надо выяснять что у поставщика есть для обновления цен.

Есть ли фид или внятный прайс. Или надо прямо с сайта обновлять цены.

В таком вопросе реализация зависит от исходных данных.

Прямо с сайта бы хотелось, потому-то из 5-6 поставщиков некоторые прайсы как из заднего прохода 

[mpn2005]

В 27.05.2022 в 23:06, Vio сказал:

Прямо с сайта бы хотелось, потому-то из 5-6 поставщиков некоторые прайсы как из заднего прохода 

Для такого случая, скорее всего, придётся под каждый сайт писать своё решение.

Или в товар вставлять ссылку на товар у поставщика, и по домену брать цену.

Если есть разметка, то это моет упростить поиск нужной цены.

Но опять же надо делать настройку формы по вычислению цены (вы же продавать будете не по цене поставщика).

Не встречал чего-то готового для такой задачи. Тут стоит поспрашивать именно у владельцев магазинов, как кто решает вопрос синхронизации цен.

[Vio]

В 27.05.2022 в 23:25, mpn2005 сказал:

Для такого случая, скорее всего, придётся под каждый сайт писать своё решение.

Или в товар вставлять ссылку на товар у поставщика, и по домену брать цену.

Если есть разметка, то это моет упростить поиск нужной цены.

Но опять же надо делать настройку формы по вычислению цены (вы же продавать будете не по цене поставщика).

Не встречал чего-то готового для такой задачи. Тут стоит поспрашивать именно у владельцев магазинов, как кто решает вопрос синхронизации цен.

Ещё задумка у меня было парсити цены ( постоянно обновлять цены через Парсинг ) , но думаю не повлияет ( нагрузка) как нибудь на сайт или хостинг? 

[mpn2005]

В 27.05.2022 в 23:51, Vio сказал:

Ещё задумка у меня было парсити цены ( постоянно обновлять цены через Парсинг ) , но думаю не повлияет ( нагрузка) как нибудь на сайт или хостинг? 

Если обновлять по cron и в режиме php-cli, например ночью, то не будет проблем. Даже если процесс будет выполняться час.

А если, как часто делают, cron + wget - то плохой вариант, будет забирать полезный поток у веб окружения.

[mpn2005]

Ну и главное, чтобы поставщики за такое не банили. Это стоит согласовывать с ними, по хорошему.

[byba]

В 27.05.2022 в 23:06, Vio сказал:

Прямо с сайта бы хотелось, потому-то из 5-6 поставщиков некоторые прайсы как из заднего прохода 

Киньте прайсы в личку,  на "Посмотреть" может быть помогу в Вашем вопросе,  ибо видел разные извращения от постащиков.  Собственно правильно плясать от "Прайсов" ,  и модуль соответсвенно подбирать исходя из них.   Есть несколько рабочих решений,  но какое из них лично подойдет Вам  можно прогнозировать только видя исходные данные. 

[Dini4]

В 27.05.2022 в 20:21, Vio сказал:

Добрый вечер! Подскажите пожалуйста, сети ли такой модуль чтобы цены были привязаны к сайту поставщика, и чтобы обновились автоматически?!

Существует модуль SimplePars, но сейчас автором не поддерживается временно. Можно приобрести, он вполне рабочий, установить и настроить. По крону будет обновляться, скажем, в выходные ночью. Но нужно дотошно настраивать на поставщика, вычислять данные в коде. Парсятся как новые товары со всеми данными (характеристики, фото, прочее), так и только цены, как скажете настроить.

Чтобы подсказать, можно ли настроить тот или иной сайт на парсинг, напишите примеры сайтов поставщиков.

Нагрузка на хостинг низкая, но все-же лучше парсить ночью. Обычно это сложностей не вызывает, за ночь парсится примерно 30000 товаров, а если обновлять только цены, то у 50-60 тысяч. Обычно это с лихвой…

Спрашивайте, подскажу.

Edited May 30, 2022 at 03:00 PM by Dini4

[Dini4]

В 27.05.2022 в 23:55, mpn2005 сказал:

Ну и главное, чтобы поставщики за такое не банили. Это стоит согласовывать с ними, по хорошему.

Обычно парсится без разрешения в однопоточном режиме с паузами, что дольше, но с избежанием банов.

Но в большинстве случаев даже 5 потоков не воспринимаются как нечто особенное. Из 10 на данный момент настроенных доноров только один ругается на парсинг более чем в одном потоке.

[Rubynoid]

В 27.05.2022 в 20:21, Vio сказал:

Добрый вечер! Подскажите пожалуйста, есть ли такой модуль чтобы цены были привязаны к сайту поставщика, и чтобы обновились автоматически?!

Есть такой модуль, называется "автоматическая обработка прайс-листов", обновляет цены, наличие товаров и добавляет товары автоматически (нужно смотреть прайс или сайт донора).

Пишите в личку, если нужна установка и настройка данного модуля.

[kate-rd]

В 27.05.2022 в 23:25, mpn2005 сказал:

Или в товар вставлять ссылку на товар у поставщика, и по домену брать цену.

Если есть разметка, то это моет упростить поиск нужной цены.

Но опять же надо делать настройку формы по вычислению цены (вы же продавать будете не по цене поставщика)

 

Если цена РРЦ, то как раз взять цену с сайта поставщика рабочее решение, потому что обычно они именно такие, как в прайсе. Но те поставщики, которые ставят РРЦ, обычно имеют обновляемый фид xml, которым было можно решить вопрос обновления цен и остатков с помощью модуля АОП. Только сейчас как дела обстоят с этим прекрасным модулем, увы не знаю, но он очень хорошо справлялся не только с подобной задачей...

Для меня тоже больная тема по обновлению цен и остатков! Этот вопрос ВАЖЕН и всегда будет АКТУАЛЕН для владельцев ИМ. Если у кото есть идеи или опыт или возможность решения этого вопроса, то с удовольствием поучаствовала бы в обсуждении и поиске решений.

[Dini4]

2 часа назад, kate-rd сказал:

 

Если цена РРЦ, то как раз взять цену с сайта поставщика рабочее решение, потому что обычно они именно такие, как в прайсе. Но те поставщики, которые ставят РРЦ, обычно имеют обновляемый фид xml, которым было можно решить вопрос обновления цен и остатков с помощью модуля АОП. Только сейчас как дела обстоят с этим прекрасным модулем, увы не знаю, но он очень хорошо справлялся не только с подобной задачей...

Для меня тоже больная тема по обновлению цен и остатков! Этот вопрос ВАЖЕН и всегда будет АКТУАЛЕН для владельцев ИМ. Если у кото есть идеи или опыт или возможность решения этого вопроса, то с удовольствием поучаствовала бы в обсуждении и поиске решений.

Тут вам ранее я писал про модуль SimplePars, сейчас он появился на российских площадках.

Суть там простая: исходя из кода сайта поставщика (или его YML прайса) размечается что есть что на сайте, название, категория, фото, цена и все прочее. После на основании этих настроек с сайта поставщика собирается или вся нужная информация о товаре или например наличие и цена.

Если товары уже есть на вашем сайте, то нужно лишь сопоставить ваш товар с товаром поставщика по артикулу или коду товара. Если нет и товары через этот модуль добавляются и обновляются, то и настраивать связи не нужно. Модуль в автоматическом режиме обновляет данные ранее скопированных товаров и добавляет новые товары. Настриваете на обновление ночью и со скоростью примерно 50-100 товаров в минуту все обновляется.

Edited December 18, 2022 at 01:25 PM by Dini4

[kate-rd]

В 30.05.2022 в 17:55, Dini4 сказал:

Нагрузка на хостинг низкая, но все-же лучше парсить ночью. Обычно это сложностей не вызывает, за ночь парсится примерно 30000 товаров, а если обновлять только цены, то у 50-60 тысяч. Обычно это с лихвой…

Спрашивайте, подскажу.

 

Я однажды настраивала крон (не сама) на несколько xml поставщиков.

1. Возникла большая проблема, которая съела всю память на хостинге: фото товаров были гигантскими, поэтому сначала тормозило все, а потом просто закончилось место. Поэтому надо учитывать это и что-то предпринять, при загрузке новых товаров на сайт. Подозреваю, что модуль по сжатию фото может с этим справиться, но как это все между собой настроить на автоматическую работу при парсинге? Реально ли?
2. И еще была проблема, что часто слетали настройки, потому что поставщик мог поменять какую-то мелочь в файле и не предупредил об этом и все слетало в итоге. Приходилось неустанно следить за каждым кроном и догадываться что не так и почему он отвалится или начал загружать все криво... Поэтому отложила эту затею и в итоге пришлось забросить магазин, где кроме, как автоматически невозможно управлять товарами ))
 

[kate-rd]

3 минуты назад, Dini4 сказал:

Тут вам ранее я писал про модуль SimplePars, сейчас он появился на российский площадках.

Суть там простая: исходя из кода сайта поставщика (или его YML прайса) размещается что есть что на сайте, название, категория, фото, цена и все прочее. После на основании этих настроек с сайта поставщика собирается или вся нужная информация о товаре или например наличие и цена.

Если товары уже есть на вашем сайте, то нужно лишь сопоставить ваш товар с товаром поставщика по артикулу или коду товара. Если нет и товары через этот модуль добавляются и обновляются, то и настраивать связи не нужно. Модуль в автоматическом режиме обновляет данные ранее скопированных товаров и добавляет новые товары. Настриваете на обновление ночью и со скоростью примерно 50-100 товаров в минуту все обновляется.

Я знаю этот модуль, у меня он тоже был, только я в нем вообще не разобралась, если ты не программист, он сложен для понимания. Но думаю вернуться к нему и попробовать еще, либо найти того, кто поможет и это более вероятных ход событии )

[Dini4]

21 минуту назад, kate-rd сказал:

но как это все между собой настроить на автоматическую работу при парсинге? Реально ли?

Теоретически да, практически нет. Сложно сопоставить задачи. Писать только если какое-то индивидуальные решение.

19 минут назад, kate-rd сказал:

Но думаю вернуться к нему и попробовать еще, либо найти того, кто поможет и это более вероятных ход событии )

По нему есть достаточно подробная инструкция и видео гайды. Усидчивость, желание и внимательность даже не особо разбирающемуся человеку позволит спарсить не особенно сложный сайт.

 

А по поводу найти кого-то, кто поможет, обращайтесь. Можно и под ключ настроить.

Edited December 18, 2022 at 11:57 AM by Dini4

[kate-rd]

11 минут назад, Dini4 сказал:

А по поводу найти кого-то, кто поможет, обращайтесь. Можно и под ключ настроить.

Спасибо )

[Rubynoid]

В 18.12.2022 в 13:35, kate-rd сказал:

 

Я однажды настраивала крон (не сама) на несколько xml поставщиков.

1. Возникла большая проблема, которая съела всю память на хостинге: фото товаров были гигантскими, поэтому сначала тормозило все, а потом просто закончилось место. Поэтому надо учитывать это и что-то предпринять, при загрузке новых товаров на сайт. Подозреваю, что модуль по сжатию фото может с этим справиться, но как это все между собой настроить на автоматическую работу при парсинге? Реально ли?
2. И еще была проблема, что часто слетали настройки, потому что поставщик мог поменять какую-то мелочь в файле и не предупредил об этом и все слетало в итоге. Приходилось неустанно следить за каждым кроном и догадываться что не так и почему он отвалится или начал загружать все криво... Поэтому отложила эту затею и в итоге пришлось забросить магазин, где кроме, как автоматически невозможно управлять товарами ))
 

1) Модуль "Автоматическая обработка прайс-листов" (далее АОП) успешно справляется с заливкой и удалением лишних, неиспользуемых фото.

2) Опять же, модулю АОП, при правильной настройке, не страшны смена нумерации колонок, или отсутствие некоторых столбцов в прайсе.

Если актуально, пишите в личку.

[Shureg]

11 часов назад, Rubynoid сказал:

1) Модуль "Автоматическая обработка прайс-листов" (далее АОП) успешно справляется с заливкой и удалением лишних, неиспользуемых фото.

2) Опять же, модулю АОП, при правильной настройке, не страшны смена нумерации колонок, или отсутствие некоторых столбцов в прайсе.

Если актуально, пишите в личку.

А еще модуль АОП под ионкубом. Автор модуля с Украины. И к гражданам России относится, очень мягко говоря, негативно.  Так что есть неиллюзорная вероятность, что модуль успешно справится с заливкой не только фото, но и каких-нибудь других объектов, уже без вашего желания

[AlexDW]

3 часа назад, Shureg сказал:

А еще модуль АОП под ионкубом. Автор модуля с Украины. И к гражданам России относится, очень мягко говоря, негативно.  Так что есть неиллюзорная вероятность, что модуль успешно справится с заливкой не только фото, но и каких-нибудь других объектов, уже без вашего желания

есть конкретные доказательства, или это попытка равнять всех под одну гребенку?

 

те, у кого были проблемы с адекватностью или принципиальные убеждения - практически сразу выпилились сами

насколько вижу - АОП вполне себе продается на площадках из РФ, а его автор не делит покупателей по гражданству и прочим признакам, и оказывает поддержку по мере возможностей

 

как и многие другие авторы

[Rubynoid]

Согласен с AlexDW , адекватных видно сразу

Edited December 25, 2022 at 10:39 AM by Rubynoid

[Tom]

В своё время у этого модуля был(а может и есть) одноимённый чат в телеграмм.

Я заглядывал туда в промежуток весна-осень.

В основном беседы сводились к "омовению кровью младенцев" из определённой страны. Возможно  оттуда опасения.

[Rubynoid]

12 минут назад, Tom сказал:

В своё время у этого модуля был(а может и есть) одноимённый чат в телеграмм.

Я заглядывал туда в промежуток весна-осень.

В основном беседы сводились к "омовению кровью младенцев" из определённой страны. Возможно  оттуда опасения.

Есть и писал автору, что в чате сообщения не в тему поддержки по модулю, на что он ответил, что моб с номером и ноутом остались в Харькове и по этой причине не может зайти больше в этот чат для администрирования.

Edited December 25, 2022 at 03:15 PM by Rubynoid

[Tom]

Ну я бы это не утверждал. Но на сколько я помню, автор все же был вхож в чат в этот момент. Так как там же были и его посты.

А вообще мир полон цинизма. Я например знаю самых ярых и циничных борцов , которые на форуме общаются исключительно лозунгами, а на деле продолжают и рубли принимать и сайты поддерживать и по утрам спрашивать как спалось и какалось у тех, кого на иных ресурсах они громко призывают вырезать , как нацию.

[Rubynoid]

2 часа назад, Tom сказал:

Ну я бы это не утверждал. Но на сколько я помню, автор все же был вхож в чат в этот момент.

Насчет этого не знаю. Знаю, только, что поддержка модуля АОП осуществляется для всех пользователей, в отличие от автора модуля simplepars, который в Польше