X-Scripts

Power by humanemulator

НАШИ КОНТАКТЫ:
ICQ My ICQ 625657402: 625657402
Наш скайп: igor_sev2
Email : order@x-scripts.com

Сообщество программистов и манимейкеров


Скрипт XHE Сборщик DLE сайтов

Предлагаем вашему вниманию скрипт сборщик DLE (DataLife Engine) сайтов. Этот скрипт написан на основе скрипта сборщика каталогов и демонстрирует как легко можно самом переделать сборщик под любые типы сайтов. Достаточно ввести правильный запрос в Google и выбрать нужные критерии для проверки движка сайта.

Теперь рассмотрим детальнее что имено отличает этот сборщик.

Первое это поисковый запрос. Он в скрипте выглядит так:

// задаём слово в поиск
$input->set_value_by_name("q","index.php?do=register");

Страница регистрации в DLE сайтах вызывается следующим запросом - http://domen.com/index.php?do=register. Значит ищем сайты где есть такие страницы.

После того как мы нашли такие страницы в Google мы проверяем их. Скрипт переходит на найденные страницы и проверяет количество элементов ввода - раз это форма регистрации то их должно быть на странице не менее 4. Для этого используем следующий код:

// проверить что это форма заполнения 
$cnt = $input->get_count($frame=-1);
if($cnt>=4){}

Если на странице есть 4 и более поля ввода мы получаем текущию url страницы и перед тем как записывать в файл проверяем, что это имено та страница которая нам нужна:

     // провериить что это форма заполнения 
     $cnt = $input->get_count($frame=-1);
     if($cnt>=4)
     {
         // запишем ссылку на страницу на которой можно добавить сайт
         $dmn = $webpage->get_location_url();
         // добавить сайт в базу
         if(str_isexists($dmn,"index.php?do=register"))
            $textfile->add_string_to_file($file_res,trim($dmn)."\n",60) ;
     } 

Сам скрипт:


$xhe_host ="127.0.0.1:7010";

// The following code is required to properly run XWeb Human Emulator
require("../../Templates/xweb_human_emulator.php");

// /////////////////// настройки скрипта ////////////////////////////////////////////////
// путь к файлу с результатами
$file_res ="res/dle_sites.txt";

// глубина прохода в поисковые результаты
$cnt_pages = 10;
$crnt_page =1;

// режим отладки
$dbg=true;
// ///////////////// дополнительные модели //////////////////////////////////
// основные функции
require_once("functions.php");
// //////////////// скрипт //////////////////////////////////////////////////////////////
// задать время ожидания загрузки
$browser->set_wait_params(10,1);  

// navigate to google
$browser->navigate("http://www.google.com");
// wait on browser
$browser->wait_for();
// задаём слово в поиск
$input->set_value_by_name("q","index.php?do=register");
$input->click_by_name("q");
// нажмём на поиск
$keyboard->send_key(13,true);

sleep(1);
// до тех пор пока есть ссылки с цифрами переходим
while(true)
{
    // получим все ссылки на сайты заключённые в тэгах <cite>
    $sites=$webpage->get_body_inter_prefix_all("","");
    $sites=explode("
",$sites); for($ii=0;$ii<count($sites);$ii++) { // переходим на сайт $site=str_replace("","",trim($sites[$ii])); $site=str_replace("","",$site); // вывод в панель отладки debug_mes("ссылка на dle сайт : ".$site); if($site=="") continue; // открыть и сделать активным новый браузер $browser->set_count(2); $browser->set_active_browser(1,true); // перейдём на форму регистрации $browser->navigate($site); // провериить что это форма заполнения $cnt = $input->get_count($frame=-1); if($cnt>=4) { // запишем ссылку на страницу на которой можно добавить сайт $dmn = $webpage->get_location_url(); // добавить сайт в базу if(str_isexists($dmn,"index.php?do=register")) $textfile->add_string_to_file($file_res,trim($dmn)."\n",60) ; } // закрываем и переходим обратно $browser->set_active_browser(0,true); $browser->close_all_tabs(); } // не першли на следующую страницу if(!next_page()) break; } // удалить дубликаты $textfile->dedupe($file_res,$file_res,60); // Quit $app->quit();



Скрипт написан 9.04.2012 в Human Emulator 4.4.17 Advanced. На момент публикации статьи 11.04.2012 скрипт был рабочий.

скачать скрипт
Количество скачиваний: 2474

<< Другие скрипты

Human Emulator Free!
Бесплатная версия программы Human Emulator!
Скачать программу можно тут!