Вышла первая версия базы каталогов jrsi_basе - 23 Октября 2009

13:49 Вышла первая версия базы каталогов jrsi_basе
Вчера вышла первая версия базы каталогов сайтов которую я назвал jrsi_basе v1. База собиралась примерно 3 месяца за это время было обработано около 60000 каталогов напарсиных мною ,а так же скачанных из интернета.Самое сложное это было отсортировать их от мусора и прогнать по ним какой нибудь сайт сайты в полуавтоматическом режиме,для того чтобы найти коды обратных ссылок и определить правельность успешной регистрации.Пожалуй это и было самое трудное определить правельность успешной регистрации так как на большом количестве каталогов перед регистрацией просто не возможно зарегистрироваться пока на сайт не поставишь их ссылку себе на сайт и вследствие этого нельзя было узнать ,что там будет написано когда сайт успешно добавится.Просто помогало то,что многие каталоги имеют одни и теже движки и у все у них одна и таже строка успешной регистрации. В следующем месяце планирую к базе добавить еще каталогов ну и конечно поудалять уже те каталоги которые будут не работать. Каталогов и сейчас можно набирать при парсинге штук по пять в день, набирается конечно за раз на много больше ,но там и каталоги и не каталоги,но при добавление исключаются дубликаты и из черного списка,остается только штук 40 и потом при поиске формы добавления остается 10 и из этих 10 может только 5 подходят для авто регистрации. Итак в следующе обновление как я уже говорил кроме новых каталогов появится и база досок объявлений работа над этим уже идет,доски набрать сложнее так как их очень много тематических,а нам нужны общетематические. Так же будет вестись работа над базами статей она уже и сейчас есть,но только их очень мало и там есть и мусор и непонятно общетематические они или нет и вообще они не для авторегистрации пока. Все базы я собираюсь зделать полностью для авторегистрации как базы каталогов сайтов,каталоги статей и доски объявлений. Скриншот от прогона сайта игровой тематики который я прогнал сначала по всей базе ,а затем еще раз по тем каталогам которые ушли в позже и плохо.Каптча распозновалась автоматически.Обратки не ставил.
1 2 3 4 5 Просмотров: 1341 \| Добавил: dima5678 \| Теги: каталоги \| Рейтинг: 0.0/0

Всего комментариев: 0