X-Scripts

Power by humanemulator

НАШИ КОНТАКТЫ:
ICQ My ICQ 625657402: 625657402
Наш скайп: igor_sev2
Email : order@x-scripts.com

Сообщество программистов и манимейкеров


Human Emulator Free!
Бесплатная версия программы Human Emulator!
Скачать программу можно тут!

Скрипт XHE Сборщик DLE сайтов

Предлагаем вашему вниманию скрипт сборщик DLE (DataLife Engine) сайтов. Этот скрипт написан на основе скрипта сборщика каталогов и демонстрирует как легко можно самом переделать сборщик под любые типы сайтов. Достаточно ввести правильный запрос в Google и выбрать нужные критерии для проверки движка сайта.

Теперь рассмотрим детальнее что имено отличает этот сборщик.

Первое это поисковый запрос. Он в скрипте выглядит так:

// задаём слово в поиск
$input->set_value_by_name("q","index.php?do=register");

Страница регистрации в DLE сайтах вызывается следующим запросом - http://domen.com/index.php?do=register. Значит ищем сайты где есть такие страницы.

После того как мы нашли такие страницы в Google мы проверяем их. Скрипт переходит на найденные страницы и проверяет количество элементов ввода - раз это форма регистрации то их должно быть на странице не менее 4. Для этого используем следующий код:

// проверить что это форма заполнения 
$cnt = $input->get_count($frame=-1);
if($cnt>=4){}

Если на странице есть 4 и более поля ввода мы получаем текущию url страницы и перед тем как записывать в файл проверяем, что это имено та страница которая нам нужна:

     // провериить что это форма заполнения 
     $cnt = $input->get_count($frame=-1);
     if($cnt>=4)
     {
         // запишем ссылку на страницу на которой можно добавить сайт
         $dmn = $webpage->get_location_url();
         // добавить сайт в базу
         if(str_isexists($dmn,"index.php?do=register"))
            $textfile->add_string_to_file($file_res,trim($dmn)."\n",60) ;
     } 

Сам скрипт:


$xhe_host ="127.0.0.1:7010";

// The following code is required to properly run XWeb Human Emulator
require("../../Templates/xweb_human_emulator.php");

// /////////////////// настройки скрипта ////////////////////////////////////////////////
// путь к файлу с результатами
$file_res ="res/dle_sites.txt";

// глубина прохода в поисковые результаты
$cnt_pages = 10;
$crnt_page =1;

// режим отладки
$dbg=true;
// ///////////////// дополнительные модели //////////////////////////////////
// основные функции
require_once("functions.php");
// //////////////// скрипт //////////////////////////////////////////////////////////////
// задать время ожидания загрузки
$browser->set_wait_params(10,1);  

// navigate to google
$browser->navigate("http://www.google.com");
// wait on browser
$browser->wait_for();
// задаём слово в поиск
$input->set_value_by_name("q","index.php?do=register");
$input->click_by_name("q");
// нажмём на поиск
$keyboard->send_key(13,true);

sleep(1);
// до тех пор пока есть ссылки с цифрами переходим
while(true)
{
    // получим все ссылки на сайты заключённые в тэгах <cite>
    $sites=$webpage->get_body_inter_prefix_all("","");
    $sites=explode("
",$sites); for($ii=0;$ii<count($sites);$ii++) { // переходим на сайт $site=str_replace("","",trim($sites[$ii])); $site=str_replace("","",$site); // вывод в панель отладки debug_mes("ссылка на dle сайт : ".$site); if($site=="") continue; // открыть и сделать активным новый браузер $browser->set_count(2); $browser->set_active_browser(1,true); // перейдём на форму регистрации $browser->navigate($site); // провериить что это форма заполнения $cnt = $input->get_count($frame=-1); if($cnt>=4) { // запишем ссылку на страницу на которой можно добавить сайт $dmn = $webpage->get_location_url(); // добавить сайт в базу if(str_isexists($dmn,"index.php?do=register")) $textfile->add_string_to_file($file_res,trim($dmn)."\n",60) ; } // закрываем и переходим обратно $browser->set_active_browser(0,true); $browser->close_all_tabs(); } // не першли на следующую страницу if(!next_page()) break; } // удалить дубликаты $textfile->dedupe($file_res,$file_res,60); // Quit $app->quit();



Скрипт написан 9.04.2012 в Human Emulator 4.4.17 Advanced. На момент публикации статьи 11.04.2012 скрипт был рабочий.

скачать скрипт
Количество скачиваний: 2385

<< Другие скрипты