Что лучше база или сравнение внутри ЯП?

Question

[Сергей БАрд]

Всем привет.
Вопрос такой я делаю записи сначала в одну таблицу, а потом в следующий раз во вторую и в конце сравниваю обе таблицы по определенным параметрам и сохраняю в table3, использую mysql,
таблица имеет такой вид id_site, url, title, description и еще несколько параметров
мне в конце нужно взять обе таблицы и сравнить каждую строку с одинаковым id_site и урлом на различия в тайтле и desc.
запрос может быть такой

SELECT *
FROM table1 LEFT JOIN table2
ON table1.url = table2.url
WHERE table1.id_site= %s
AND table2.url IS NOT NULL
AND table1.title != table2.title

в таблице несколько миллионов записей и такая выборка длится очень долго ( от 20 до 30 минут )
такие как нужно индексы сделать не могу так как дозволено только 1000 байт, а у меня больше выходит если делать такой
id_site,url,title или id_site,url,description
и соответственно могу только такой сделать id_site,url,
(id_site может быть одинаковый у 1 000 000 урлов так как это идентификатор сайта к которому он принадлежит ),
так вот плюс к тому что я не могу сделать такие как мне нужно индексы мне подсказали что индексы из str плохой пример,
кто подскажет как быть в такой ситуации использовать что-то типа nosql-database или еще что-то,
или сделать просто индексы по id_site и в момент сравнение не делать его через join, а сделать выборку всего что есть по этому же id_site и дальше уже средствами ЯП делать нужное сравнение, но я боюсь что список из 1 000 000+ может сделать что-то плохое)

Comments

[Decadal]

база данных рассчитана на работу с большими данными. Оптимизируйте запрос, на стороне ЯП у вас вряд ли что-то хорошее выйдет.

[SharuPoNemnogu]

а зачем тут left join, если вы потом отсекаете нулевые результаты в where?

SELECT *
FROM table1
INNER JOIN table2
    ON table1.url = table2.url AND table1.title != table2.title
WHERE table1.id_site= %s

[Сергей БАрд]

SharuPoNemnogu, я не особо спец по BD), нашел в нете подобное моим требованиям и переделал малость), ну и ещё я только так смог получить то что нужно т.е. только при таком запросе я получаю тайтлы которые отличаются при одинаковых урлах)))

[SharuPoNemnogu]

получается в итоге возьми несколько миллионов записей из первой таблицы умножь на несколько миллионов из второй а потом отфильтруй по этим значениям, конечно там будет пол часа висеть охеревать база

[Павел Аксенов]

Попробуйте сохранять какой нибудь хеш и по нему сравниваете.

[Сергей БАрд]

SharuPoNemnogu, я понял, спасибо)

[Сергей БАрд]

Павел Аксенов, спасибо за идею)

Answer 1

[Nikita Dergachov]

По возможности нужно избегать обработки данных в коде. Запросы работают намного быстрее.

Comments

[Сергей БАрд]

спасибо

Answer 2

[Dimonchik]

однозначного ответа на вопрос нет
ибо с процедурами и в базу можно логики наложить ого-го

подход: "в базе храним, в коде считаем" обычно больше распространен,

тем не менее, например, из-за того же GIL проще попросить Мускуль проц грузануть на всех ядрах, чем возиться с мултипроцессингом, с другой стороны, если все попросят... да и не Питоном считать можно

Comments

[Сергей БАрд]

понял)

[Сергей БАрд]

dimonchik2013, я сделав оптимизацию сократил все действия до трёх запросов в базу, вот они

SELECT *
FROM table5
INNER JOIN table7
ON table1.url = table2.url 
AND (
	table1.status != table2.status 
	OR table1.noffolow != table2.noffolow
	OR table1.cannonical != table2.cannonical
	OR table1.title != table2.title
	OR table1.description != table2.description
	)
WHERE table1.id_project= %s

второй

SELECT	*
FROM table1
LEFT JOIN table2
ON table1.url = table2.url 
WHERE
	table1.id_project = %s
	AND table2.url is NULL

и третий

SELECT	*
FROM table2
LEFT JOIN table1
ON table2.url = table1.url 
WHERE
	table2.id_project = %s
	AND table1.url is NULL

и у меня примерно на 2 млн. уходит около 5 минут, это нормально или можно еще уменьшить время)

[Dimonchik]

можешь посмотреть в сторону explain, + лучше select конкретные поля вместо *, если нужны не все

ну и первый запрос не нравится AND с OR обычно не дружат, вот его explain ом потыкай, попередвигай операнды

[Сергей БАрд]

dimonchik2013, спасибо гляну, а за select написал *, так как где-то читал что так работает быстрее из-за того что база находи нужную строку и выдергивает ей, а если указывать конкретные столбцы то она еще тратит время на "определения" столбцов и выборки данных из них, я так понимаю это не совсем так?)

[Dimonchik]

не совсем, как минимум, если построен индекс, БД быстрее из него выдернет, ну и для сравнения не нужно тянуть хвост,

оно лень писать часто бывает, но лучше привыкнуть, это первый шаг недилетанта в SQL

[Сергей БАрд]

dimonchik2013, понял, большое спасибо еще раз!)