Cкрипт Human Emulator сбора ключевых слов из meta keywords сайтов из выдачи Яндекс

Это скрипт аналогичен скрипту Cкрипт Human Emulator сбора ключевых слов из meta kyewords единственное отличие между ними этот скрипт написан под выдачу Яндекс, а предыдущий разбирает выдачу Google.

Скрипт работает следующим образом: вбивается поисковый запрос в yandex. Далее скрипт идёт по поисковой выдаче и собирает meta keywords со всех страниц, которые попали в выдачу по этому запросу.Все слова записываются в файл с названием в виде запроса. В конце обработки запроса скрипт сортирует слова и убирает дубликаты из файла. Затем берёт следующий запрос и всё по новой. И так до тех пор пока не закончатся поисковые запросы. В результате мы имеем текстовые файлы с ключевыми словами.

Скрипт на вход принимает файл с поисковыми запросами в формате:

сбор meta keywords
сбор кеев meta
сбор мета keywords
и т.д.

В результате работы скрипта имеем текстовые файлы, например: сбор meta keywords.txt,сбор кеев meta.txt и т.д. в формате:
оптимизация
оптимизация страниц сайта
паетки
пластик
пластика
подбор запросов для продвижения
подвеска
поисковая
поисковая выдача
поисковые запросы
поисковые системы
и т.д.

Настройки скрипта:

// путь к файлу c запросами
$path_to_data = "data/keywords.txt";
// папка с результатами
$path_to_res = "res/";

// глубина прохода в поисковые результаты
$cnt_pages = 10;

Сам скрипт выглядит следующим образом:

quit();
// пробежимся по всем ключевым словам
foreach($arr_of_kwds as $key=>$kwd)
{
	$kwd = trim($kwd);
	if ($kwd == "")
	{
		continue;
	}
   // go to yandex	
   $browser->navigate("http://www.yandex.ua/");
	sleep(2);
	
	// задаём слово в поиск
	$input->set_focus_by_name("text");
	$input->set_value_by_name_by_form_name("text", $kwd, "form");
   
   // нажмём пробел для отключения всплывшей подсказки
   $keyboard->send_key(32, true);
	// нажать enter
   $keyboard->send_key(13,true);
	sleep(3);

	// обнулим перед следующим проходом
	$crnt_page = 1;
	// работаем с ключевым словом на заданную длину
	while (true)
   {
		// получим все ссылки на сайты заключённые в префиксах
		$sites = $webpage->get_body_inter_prefix_all('<h2 class="b-serp-item__title">', '</h2>');
		$sites = explode("<br>", $sites);
			
		// пройдёмся по всем полученным ссылкам
		for($i = 0; $i < count($sites); $i++)
		{        
			$pr1 = 'href="';
			$pr2 = '"';
			$site = get_string($sites[$i], $pr1, $pr2);
			if ($site == "")
			  continue;
				
			// разобрать ключи в файл 
			parse_yandex($site,$kwd);

			sleep(2);
		}
		
		 // организация перехода на следующую страницу
		if(!next_page($crnt_page))
		{
			// убираем строки-дубликаты из файла после прохождения всех страниц
			$textfile->dedupe($path_to_res.$kwd.".txt", $path_to_res.$kwd.".txt", 60);	
			sleep(3);
			break;
		}
	}
}
debug_mess(date("\[ d.m.y H:i:s\] ")." скрипт закончил работу<br>");
// Quit
$app->quit();
?>

Скрипт написан 17.03.2013 в Human Emulator 4.6.5 Advanced.

скачать скрипт