Как пробежаться Selenium по массиву ссылок из json?

Question

[Артем Андреев]

Есть json формата:

[
{"link": url},
{"link": url}
]

Как сделать чтобы Selenium прошелся по каждому урлу? И Из каждого забрал опредленные данные и записал их в другой json

Answer 1

[Дмитрий Шицков]

import json

with open('urls.json', 'r') as read_json:
    json_urls = json.load(read_json)
    for link in json_urls:
        print(link["link"])
        selenium_result = {}
        // Работа селениума
        selenium_result["some_result"] = "some_data"
        
with open('output.json', 'w') as write_json
        json.dump(selenium_result, write_json)

Comments

[Артем Андреев]

Спасибо!!! Очень круто. Только там объекты не разделяются запятой и в одну строчку(

[Артем Андреев]

json.dump(selenium_result, write_json) должен внутри цикла выполняться?

[Дмитрий Шицков]

Только там объекты не разделяются запятой и в одну строчку
должен внутри цикла выполняться?

Тогда нет, нужно выполнить после всего цикла обработки

[Артем Андреев]

Дмитрий Шицков, хмм, но тогда он в одно значение все пихает

[Дмитрий Шицков]

Артем Андреев, пишите в разные)

url = link["link"]
selenium_result[url]["some_result"] = "some_data"

[Артем Андреев]

Дмитрий Шицков, Он туда ссылку как ключ вставляет. Ладно, спасибо большое. Вы мне и так мне очень помогли, не буду вас отвлекать) Еще раз спасибо)

[Дмитрий Шицков]

Он туда ссылку как ключ вставляет

Ну, можно много варивнт в зависмости от того, какой конечный результат вам нужен. Можно амнсто ссылки просто пронумеровать, можно selenium_result из моего примера сделать не словарем, а списком, тогда в результате будет json-массив, как и исходный json

[Артем Андреев]

Дмитрий Шицков,

{
"data1": "",
"data2":""
}

Примерно так. А еще хотел спросить а Phantom.js и selenium используются вместе? просто я так понимаю это долгое удовольствие если ссылок от 20 и более)

[Дмитрий Шицков]

result = {}
result["data1"] = ""
result["data2"] = ""

По фантому не подскажу. Всегда использовали Chrome/Mozilla. Если хочется в множество потоков и использоваться будет регулярно, то есть всякие штуки вроде https://aerokube.com/ , которые могут запускать и управлять множеством контейнеров с браузерами

[Артем Андреев]

Дмитрий Шицков, спасибо. Я просто паука писал и дошел до авторизации и не смог связать ее со splash)