Почему парсинг на Golang тратит больше времени для выполнения работы, чем парсинг на Python?

Question

[Mr.Robot]

Для париснга на Golang использую GoColly:

func main() {
	c := colly.NewCollector()
	start := time.Now()

	// Find and visit all links
	c.OnHTML("div.category-container", func(e *colly.HTMLElement) {
		// e.Request.Visit(e.Attr("href"))

		e.ForEach("div.category-label-block a.category-label-link", func(_ int, tournament *colly.HTMLElement) {
			tournament.Request.Visit(tournament.Attr("href"))

			e.ForEach("div.command div.member-name.nowrap a.member-link", func(i int, name *colly.HTMLElement) {
				name.Request.Visit(name.Attr("href"))
			})

		})

	})

	// c.OnRequest(func(r *colly.Request) {
	// 	fmt.Println("Visiting", r.URL)
	// })

	c.Visit("https://www.marathonbet.ru/su/popular/Tennis")
	finish := time.Since(start)
	fmt.Println(finish)  // 43 секунды
}

Python:

import time

import requests
from bs4 import BeautifulSoup

start = time.time()
url = 'https://www.marathonbet.ru/su/popular/Tennis?cpcids=402555'
# get body response
response = requests.get(url).text
soup = BeautifulSoup(response, 'lxml')
for i in soup.find_all('div', 'category-container'):
    print(i.find('a', 'category-label-link').get('href'))
    for k in soup.find_all('div','bg coupon-row'):
        print(k.find('a', 'member-link').get('href'))
finish = time.time()
print(finish - start)  # 2 сек.

Такого ведь не может быть, я скомпилировал код на Golang.

Comments

[Егор Смоляков]

А вы только на своём компьютере проверяли?

[Mr.Robot]

Егор Смоляков, да, на ноуте.

Answer 1

[kirillinyakin]

Судя по коду на голанге вы посещаете каждую страницу, а на питоне вы просто получаете атрибут href

Comments

[Mr.Robot]

Думаю,что вы правы

Answer 2

[Roman K]

1. Без профилирования результаты можешь выбросить
2. lxml - это си а не питон и вполне может быть быстрее го
3. Парсить страницу 43 секунды - неадекватно. Так что возвращаемся к пункту #1

Comments

[Mr.Robot]

Однако, я больше соглашусь со 2 пунктом, нежели 1, сами запустите данный код(пример взят со страницы док-ии) и увидите. Профилирование или еще то то, факт - 43 секунды. Возомжно, дело в библиотеке, с таким я сталкивался в руби.

[Roman K]

Master Ruby, си конечно быстрее го, но не в 21.5 раз. Тем более, в твоём коде очевидно есть IO, которое ты контролировать не можешь. Как ты можешь быть уверен, что твои запросы идемпотентны и независимы? Например, почему ты уверен, что запустив первый раз код на го не заставил удалённый сервер отдавать запрос 43 секунды и закэшировать его, после чего ты выполнил запрос питоном и сервер вернул кэш?

Или как ты можешь гарантировать, что в этот момент сеть не пролагала?

Кстати, бегло взглянув на код, я не увидел, что он делает одно и тоже.

Скачай страницу себе локально, загружай в оперативу и потом парси её, только так ты сможешь минимизировать влияние побочных эффектов.

Я, конечно же, не защищаю gocolly, но мы тут инженеры, а не бабки на базаре. У тебя есть проблема — исследуй её. И я очень сомневаюсь, что эта либа получила бы 14.7к звёзд на gh, будь у неё фундаментальные изъяны в виде парсинга одной страницы 43 секунды.

[Mr.Robot]

Roman Kitaev, серьезный ты)