ИванВасильевич Posted October 9, 2021 Report Share Posted October 9, 2021 Пару лет назад приобрел себе х-парсер. Задача - парсить топ-5 текстов из поисковой выдачи по определенным запросам. Сейчас почему-то парсинг - это целая эпопея. На дорогих мобильных прокси ещё что-то получается (хотя на антикапчу уходит куча денег), а на обычных прокси - вообще никак. А после обновления нагрузка на процессор - почти 100%. Может кто посоветует либо другой парсер, либо как этот оптимизировать для нормальной работы. Повторюсь, задача - парсить топ-5 по моим запросам. ЗЫ: есть Зеннопостер, можно какие-то решения для него Link to comment Share on other sites More sharing options...
ВладиславКучин Posted October 10, 2021 Report Share Posted October 10, 2021 Я бы тоже постоял, послушал. Вам для копипастных сайтов парсер нужен? Link to comment Share on other sites More sharing options...
akoK Posted October 10, 2021 Report Share Posted October 10, 2021 09.10.2021 в 17:12, ИванВасильевич сказал: А после обновления нагрузка на процессор - почти 100%. Cloudflare активно борются с ботами, выдают ботам информацию после решения кучи ресурсоемких задач (за исключением белого списка). Link to comment Share on other sites More sharing options...
АлексейВалерьевич Posted October 11, 2021 Report Share Posted October 11, 2021 В 10.10.2021 в 19:47, akoK сказал: Cloudflare активно борются с ботами, выдают ботам информацию после решения кучи ресурсоемких задач (за исключением белого списка). Интересно... я тоже пользовался Икспарсером в прошолм, когда делал копипастные сайты на продажу. Никаких проблем. по 5 тысяч статей за несколько частов. Но это было давно, возвращаться к этому не хочу Link to comment Share on other sites More sharing options...
АлексейВалерьевич Posted October 11, 2021 Report Share Posted October 11, 2021 В 09.10.2021 в 19:12, ИванВасильевич сказал: Пару лет назад приобрел себе х-парсер. Задача - парсить топ-5 текстов из поисковой выдачи по определенным запросам. Сейчас почему-то парсинг - это целая эпопея. На дорогих мобильных прокси ещё что-то получается (хотя на антикапчу уходит куча денег), а на обычных прокси - вообще никак. А после обновления нагрузка на процессор - почти 100%. Может кто посоветует либо другой парсер, либо как этот оптимизировать для нормальной работы. Повторюсь, задача - парсить топ-5 по моим запросам. ЗЫ: есть Зеннопостер, можно какие-то решения для него Так если зеннопостер есть, поищите на их форуме, может есть готовое решение под ваши конкретные задачи. Если нет, можно на кворке заказать Link to comment Share on other sites More sharing options...
ИванВасильевич Posted October 17, 2021 Author Report Share Posted October 17, 2021 В 11.10.2021 в 21:01, АлексейВалерьевич сказал: Так если зеннопостер есть, поищите на их форуме, может есть готовое решение под ваши конкретные задачи. Если нет, можно на кворке заказать На их форуме искал. Готовые решения собирают много мусора. С кворком как-то не срослось. Я бы просто купил готовый парсер, который нормально работает. Но проверенный Link to comment Share on other sites More sharing options...
ИванВасильевич Posted October 17, 2021 Author Report Share Posted October 17, 2021 В 11.10.2021 в 20:57, АлексейВалерьевич сказал: Интересно... я тоже пользовался Икспарсером в прошолм, когда делал копипастные сайты на продажу. Никаких проблем. по 5 тысяч статей за несколько частов. Но это было давно, возвращаться к этому не хочу И как? прибыльное это дело? Просто интересно. Сам вряд ли когда-то займусь, ресурсов нет Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now