Автоматизация смотрелок.

Смотрелка - Браузер, если по-нашему, по айтишному.
А началось все... с Initial.D: читать дальше

Что-то вспомнился мне этот диалог, решил, что надо бы эту задачу расколоть.
Исследуем выдачу от Mail.ru. Все ссылки не прямые, а ведущие на отдельные страницы, уже с которых можно вытащить ссылку на сами файлы. Следовательно, вариант, который я использовал в прошлый раз, отпадает. Придется как-то ходить по ссылкам из выдачи поисковика.
Ключевой момент - как можно в Powershell пойти куда-то в вебе в режиме смотрелки? Правильно, "оседлать" смотрелку!

$ie = new-object -com internetexplorer.application
$source = "http://go.mail.ru/search_site?q=eye%20of%20the%20tiger&p=1&aux=PLA099"
$ie.Navigate($source)

Вот вокруг этого скрипт и будет крутиться. Погнали!

$source = "http://go.mail.ru/search_site?q=eye%20of%20the%20tiger&p=1&aux=PLA099"
$destination = "D:\temp\"
$ie = new-object -com internetexplorer.application
$wget = New-object System.Net.WebClient

$ie.visible=$true
$ie.Navigate($source)
while($ie.busy) {sleep 1}
$elements = @([System.__ComObject].InvokeMember(“getElementsByTagName”,[System.Reflection.BindingFlags]::InvokeMethod, $null, $ie.document, 'A')) | 
    where {$_.href -match "https:\/\/myzuka\.org\/Song\/[0-9]*\/[a-zA-Z0-9 -]*-Eye-Of-The-Tiger"} | 
    select @{n="Link"; e={$_.href}} -Unique

foreach ($element in $elements) {
    $ie.navigate($element.link)
    while($ie.busy) {sleep 1}
    $link = @([System.__ComObject].InvokeMember(“getElementsByTagName”,[System.Reflection.BindingFlags]::InvokeMethod, $null, $ie.document, 'A')) | 
        where {$_.title -match "Скачать [a-zA-Z0-9\ \-\(\)]* Eye Of The Tiger[a-zA-Z0-9\ \-\(\)]*"} | select -first 1
    $filename = $destination+$link.title+".mp3"
    $wget.DownloadFile($link.href,$filename)
}

А теперь по складам.
Первый блок ничем не примечателен, обычное объявление объектов да одной переменной. Во втором уже любопытнее, происходит, собственно "автоматизация смотрелки". Мы скармливаем подопытному браузеру исходную ссылку, заставляем его перейти по ней, вытаскиваем из исходного кода этой страницы все элементы типа "якорь", а затем при помощи ~~хитрой магии~~ регулярного выражения из всех этих якорей получаем ссылки, ведущие на страницы загрузки нужных файлов. Эти ссылки в виде хэш-таблицы передаются в переменную $elements.
Дальнейшее уже является повторением ранее изученного. В цикле та же автоматизация смотрелок плюс "хитрая магия" плюс загрузка файла при помощи wget.

Отдельно стоит сказать по зубодробительной конструкции
@([System.__ComObject].InvokeMember(“getElementsByTagName”,[System.Reflection.BindingFlags]::InvokeMethod, $null, $ie.document, 'A'))
которая все якоря из исходника и выбирает. Вообще есть более изящное $ie.document.GetElementsByTagName('A'), но, как выяснилось, у нее есть большие проблемы с разными версиями IE. В актуальных для Windows 7, это не работает, потому пришлось идти через запасной ход.
C хэш-таблицей тоже все весело. Изначально я вообще не планировал ее использовать, ибо зачем плодить сущности. Хотелось в переменную $elements загнать непосредственно то, что будет отдано парсером GetElementsByTagName. Не тут-то было. Парсер эти данные отдал, но как только дело доходило до третьего блока, который уже загружал отдельные страницы, переменная $elements теряла все значения. Не коллекцию элементов, а именно значения. И, естественно, третий блок валился с ошибкой и многими строками красного текста, ненавистного большинству повершелльщиков. Пришлось отделить мух от котлет, после этого все заработало.

А засада этого скрипта в том, что на его отладку было потрачено больше времени, чем на ручное скачивание всех этих 40+ файлов. Ну и ладно, зато плюс одна любопытная задачка в активе

P.S> Но насколько же неторопливо идет парсинг кода при помощи GetElementsByTagName...

UPD. В топку internetexplorer.application, Invoke-WebRequest же!

$source = "http://go.mail.ru/search_site?q=eye%20of%20the%20tiger&p=1&aux=PLA099"
$destination = "D:\temp\"
$wget = New-object System.Net.WebClient

$elements = (Invoke-WebRequest $source).links | 
    where {$_.href -match "https:\/\/myzuka\.org\/Song\/[0-9]*\/[a-zA-Z0-9 -]*-Eye-Of-The-Tiger"}|
    select @{n="URL"; e={$_.href}} -Unique

$elements | %{
    $filelink = (Invoke-WebRequest $_.URL -UseBasicParsing).links | 
        where {$_.title -match "Скачать [a-zA-Z0-9\ \-\(\)]* Eye Of The Tiger[a-zA-Z0-9\ \-\(\)]*"} | 
        select -first 1
    if ($filelink) {
        $filesource=[string]$filelink.href -replace "&_amp;", "&"
        $wget.DownloadFile("https://myzuka.org$($filesource)","$destination$($filelink.title).mp3")
    }
    else { write-host "No File to download" }
}

Важно! - из &_amp нужно убрать символ подчеркивания, парсер - нехороший человек.

Автоматизация смотрелок.

Смотрите также