Spider( Crawler) на C++

[eugene_net]

Хочу создать поисковую систему, но все скрипты, что качал искали на локальных серверах. Если кто знает как написать Speder на C++, который будет "лазить" по всему Интернету( не через Google и т.д., а сам) и просматривать страницы, то напишите пожалуйста как это сделать.

Спасибо!

[HiPiH]

На мой взгляд это впринципи не возможно!

Должна быть база индексированных сайто. А такие базы есть у YA.ru Aport.ru

Если тебе нужен поисковик, то создавай программу которая посылает запрос на поисковый сервер и обробатывает возврщённые данные.

Ну а если тебе не катит поисковики, то делаешь цик по алфавиту и программа начинает конектится так.

www.a.ru(+все его поддомены(www.a.ru/a/a/a/a/ и т.д.))

www.aa.ru

www.aab.ru

и т.д.

[Darhazer]

Да в общеем делают так - програма заходит примерно на yahoo.com, скачиваеть html начальной страницу, находит все ссилки и записивает их. Потом заходит на каждую ссилку и записивает все ссилки, которие у них нашла. Так собираеть адреса сайтов, которих после того индексирует. Только не понел почему ти запустил две тем - для C++ и для ASP