X-Scripts

Power by humanemulator

НАШИ КОНТАКТЫ:
ICQ My ICQ 625657402: 625657402
Наш скайп: igor_sev2
Email : order@x-scripts.com

Сообщество программистов и манимейкеров


Human Emulator Free!
Бесплатная версия программы Human Emulator!
Скачать программу можно тут!

Скрипт Human Emulator парсер Гугль выдачи

Скрипт парсер Гугля. Это скрипт, который демонстрирует как можно разобрать поисковую выдачу Гугль.

Скрипт работает следующим образом: берём ключи из файла с поисковыми фразами и вводим их в поле поиска google. Затем разбираем поисковые результаты Google на ссылки.

Этот скрипт является заготовкой под любой ваш скрипт, который будет работать с выдачей Гугля. Этот скрипт может буть использован например, для определения позиции вашего сайта в поисковых результатах Google по заданному ключевому запросу или для того что бы получить списки сайтов, которые по этому запросу находятся в топ-10, топ-20, топ-30 и т.д. Можно собирать базы сайтов заданного движка - dle сайты, каталоги, word press сайты и т.д.

На входе скрипт принимает файл с поисковыми фразами в формате:
human emulator
парсер human emulator
парсер гугль xhe
xhe парсер
google parser

Настройки скрипта:


// файл с данными для скрипта
$keys = file("data/keys.txt");

// глубина прохода в поисковые результаты 
// со скольких страниц собирать товары прежде чем перейти к следующему
// если нужно собирать все товары надо просто задать этот параметр =  -1
$cnt_pages = 10;

Сам скрипт выглядит следующим образом:

<?php

$xhe_host ="127.0.0.1:7011";

// The following code is required to properly run XWeb Human Emulator
require("../../Templates/xweb_human_emulator.php");

// //////////////////////// настройки скрипта /////////////////////////
// файл с данными для скрипта
$keys = file("data/keys.txt");

// глубина прохода в поисковые результаты
$cnt_pages = 10;
// текущая страница
$crnt_page =1; 

// скрипт работает в режим отладки
$dbg = true;

// //////////////////////// дополнительные модули ///////////////
// функции 
require_once("functions.php");

// /////////////////////// скрипт ///////////////////////////////////////////
// кол-во
for($ii=0;$ii<count($keys);$ii++)
{
	// получить запрос
	$key = trim($keys[$ii]);

   // перейти на гугль	
   $browser->navigate("google.com");

   // задаём слово в поиск
   $input->set_value_by_name("q",$key);
   $input->click_by_name("q");
   // нажмём пробел для отключения всплывшей подсказки
   $keyboard->send_key(32,true);

   // нажать enter
   $keyboard->send_key(13,true);

	// ждём
	sleep(1);
   // обнулим перед следующим проходом
   $crnt_page=1;
	
   while(true)
   {
		 // получим все ссылки на сайты заключённые в тэгах <cite>
		 $sites=$webpage->get_body_inter_prefix_all("<cite>","</cite>");
		 $sites=explode("<br>",$sites);
	    // пройдёмся по всем полученным ссылкам
		 for($i=0;$i<count($sites);$i++)
		 {        
			// переходим на сайт
			$site=str_replace("<b>","",trim($sites[$i]));
			$site=str_replace("</b>","",$site);
			if($site=="")
			  continue;
			// вывод в панель отладки
			debug_mess("ссылка на сайт : ".$site);
	
			/* ***
				тут что то делаем с полученными из гугль сайтами 
			* */
		 }

		 // не перешли на следующую страницу 
		if(!next_page($crnt_page)) 
		  break;
  }

}

// Quit
$app->quit();
?>



Скрипт написан 1.10.2012 в Human Emulator 4.4.19 Advanced. На момент публикации статьи 1.10.2012 скрипт был рабочий.

скачать скрипт
Количество скачиваний: 2763

<< Другие скрипты