Скрипт парсер Гугл. Это скрипт, который демонстрирует как можно разобрать поисковую выдачу Гугл.
Скрипт работает следующим образом: берём ключи из файла с поисковыми фразами и вводим их в поле поиска google.
Затем разбираем поисковые результаты Google на ссылки.
Этот скрипт является заготовкой под любой ваш скрипт, который будет работать с выдачей Гугл. Этот скрипт может быть использован
например, для определения позиции вашего сайта в поисковых результатах Google по заданному ключевому запросу или для того что бы получить списки сайтов,
которые по этому запросу находятся в топ-10, топ-20, топ-30 и т.д. Можно собирать базы сайтов заданного движка — dle сайты,каталоги, word press сайты и т.д.
На входе скрипт принимает файл с поисковыми фразами в формате:
human emulator
парсер human emulator
парсер гугль xhe
xhe парсер
google parser
Настройки скрипта:
// файл с данными для скрипта
$keys = file("data/keys.txt");
// глубина прохода в поисковые результаты
// со скольких страниц собирать товары прежде чем перейти к следующему
// если нужно собирать все товары надо просто задать этот параметр = -1
$cnt_pages = 10;
Сам скрипт выглядит следующим образом:
navigate("google.com");
// задаём слово в поиск
$input->set_value_by_name("q",$key);
$input->click_by_name("q");
// нажмём пробел для отключения всплывшей подсказки
$keyboard->send_key(32,true);
// нажать enter
$keyboard->send_key(13,true);
// ждём
sleep(1);
// обнулим перед следующим проходом
$crnt_page=1;
while(true)
{
// получим все ссылки на сайты заключённые в тэгах
$sites=$webpage->get_body_inter_prefix_all("","");
$sites=explode("
",$sites);
// пройдёмся по всем полученным ссылкам
for($i=0;$i","",trim($sites[$i]));
$site=str_replace("","",$site);
if($site=="")
continue;
// вывод в панель отладки
debug_mess("ссылка на сайт : ".$site);
/* ***
тут что то делаем с полученными из гугл сайтами
* */
}
// не перешли на следующую страницу
if(!next_page($crnt_page))
break;
}
}
// Quit
$app->quit();
?>
Скрипт написан 1.10.2012 в Human Emulator 4.4.19 Advanced.
На момент публикации статьи 1.10.2012 скрипт был рабочий.