ИванВасильевич Posted October 9, 2021 Report Share Posted October 9, 2021 Пару лет назад приобрел себе х-парсер. Задача - парсить топ-5 текстов из поисковой выдачи по определенным запросам. Сейчас почему-то парсинг - это целая эпопея. На дорогих мобильных прокси ещё что-то получается (хотя на антикапчу уходит куча денег), а на обычных прокси - вообще никак. А после обновления нагрузка на процессор - почти 100%. Может кто посоветует либо другой парсер, либо как этот оптимизировать для нормальной работы. Повторюсь, задача - парсить топ-5 по моим запросам. ЗЫ: есть Зеннопостер, можно какие-то решения для него Quote Link to comment Share on other sites More sharing options...
ВладиславКучин Posted October 10, 2021 Report Share Posted October 10, 2021 Я бы тоже постоял, послушал. Вам для копипастных сайтов парсер нужен? Quote Link to comment Share on other sites More sharing options...
akoK Posted October 10, 2021 Report Share Posted October 10, 2021 09.10.2021 в 17:12, ИванВасильевич сказал: А после обновления нагрузка на процессор - почти 100%. Cloudflare активно борются с ботами, выдают ботам информацию после решения кучи ресурсоемких задач (за исключением белого списка). Quote Link to comment Share on other sites More sharing options...
АлексейВалерьевич Posted October 11, 2021 Report Share Posted October 11, 2021 В 10.10.2021 в 19:47, akoK сказал: Cloudflare активно борются с ботами, выдают ботам информацию после решения кучи ресурсоемких задач (за исключением белого списка). Интересно... я тоже пользовался Икспарсером в прошолм, когда делал копипастные сайты на продажу. Никаких проблем. по 5 тысяч статей за несколько частов. Но это было давно, возвращаться к этому не хочу Quote Link to comment Share on other sites More sharing options...
АлексейВалерьевич Posted October 11, 2021 Report Share Posted October 11, 2021 В 09.10.2021 в 19:12, ИванВасильевич сказал: Пару лет назад приобрел себе х-парсер. Задача - парсить топ-5 текстов из поисковой выдачи по определенным запросам. Сейчас почему-то парсинг - это целая эпопея. На дорогих мобильных прокси ещё что-то получается (хотя на антикапчу уходит куча денег), а на обычных прокси - вообще никак. А после обновления нагрузка на процессор - почти 100%. Может кто посоветует либо другой парсер, либо как этот оптимизировать для нормальной работы. Повторюсь, задача - парсить топ-5 по моим запросам. ЗЫ: есть Зеннопостер, можно какие-то решения для него Так если зеннопостер есть, поищите на их форуме, может есть готовое решение под ваши конкретные задачи. Если нет, можно на кворке заказать Quote Link to comment Share on other sites More sharing options...
ИванВасильевич Posted October 17, 2021 Author Report Share Posted October 17, 2021 В 11.10.2021 в 21:01, АлексейВалерьевич сказал: Так если зеннопостер есть, поищите на их форуме, может есть готовое решение под ваши конкретные задачи. Если нет, можно на кворке заказать На их форуме искал. Готовые решения собирают много мусора. С кворком как-то не срослось. Я бы просто купил готовый парсер, который нормально работает. Но проверенный Quote Link to comment Share on other sites More sharing options...
ИванВасильевич Posted October 17, 2021 Author Report Share Posted October 17, 2021 В 11.10.2021 в 20:57, АлексейВалерьевич сказал: Интересно... я тоже пользовался Икспарсером в прошолм, когда делал копипастные сайты на продажу. Никаких проблем. по 5 тысяч статей за несколько частов. Но это было давно, возвращаться к этому не хочу И как? прибыльное это дело? Просто интересно. Сам вряд ли когда-то займусь, ресурсов нет Quote Link to comment Share on other sites More sharing options...
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.