Dimonchik, без шансов падает по памяти, хотя лимит RAM 15 GB.
Вот пример запроса:
INSERT INTO new_calls_with_new_column FROM
(SELECT * FROM calls WHERE create_date >= '2023-09-07 00:00:00' AND create_date < '2023-09-08 00:00:00') a
left join
(SELECT id, new_column FROM temp_calls) b USING id
calls весит 100 ГБ, но за день не более 1, temp_calls - 20 ГБ.
Уменьшение диапазона даты ещё сильнее не помогает.
Подскажите, как оптимизировать можно?
Dimonchik, а с точки зрения памяти шаг В как должен отработать?
Допустим основная таблица 50Гб, временная будет 15Гб.
Кликхаус join таблицы в ram хранит, это же нереально.
Северное Сияние, я и не говорю что это "фантастически", но при этом человек без опыта не напишет нормальный поддерживаемый микросервис интеграции, или напишет очень долго и очень плохо, об этом и речь, что этому не надо 10 лет учиться.
ну да, на hh на it вакансии в среднем 100-300 откликов сейчас. например чекнул вакансию своей же конторы сейчас ради интереса - около 200. сколько из них релевантных я не знаю, но с чётом того что давно никого даже на себе не было подозреваю, что не много.
ну вон гражданин сверху пишет что 100 это перебор с моим стажем.
ты наоборот
в общем 100 это релевантно не для Москвы, 150+ с годом опыта смотрится сейчас нереально в среднем.
Северное Сияние, хорошо, давай конкретнее:
на фронте могу сверстать любые таблицы, графики, загрузку и смену аватарок, всплывающие уведомления и т.д. Ну то есть абсолютно всё то же, что ты видишь на большинстве сайтов. Допустим такую страницу как эта - вообще без проблем я сделаю, при том хорошо.
на go - пишу микросервисы с 0, интеграции с внешними системами самостоятельно изучая документацию, любые виды api.
sql - запросы любой сложности с with, джойнами, подзапросами и т.д. С оптимизацией и индексами хуже.
Линуск - очевидно, что я не сис.админ, речь об уровне уверенного пользователя, слазить посмотреть логи/поменять конфиг, права доступа и т.д.
"Потому, что примерно за такие деньги работает много людей с куда бОльшим опытом, нежели ты."
Ну хабр карьера говорит, что медианка сейчас за 150000.
У меня оклад 85 в данный момент. Зачем мне переходить на меньшее?
Никаких психологических эффектов тут нет, я прекрасно осознаю свой уровень, какие у меня есть преимущества и недостатки
В общем ладно, бесполезный разговор, думай дальше что чтобы научиться писать код нужно 10 лет когда люди за 3-5 становятся тимлидами при том что там помимо идеального знания технологий нужны и другие навыки.
Вот пример запроса:
INSERT INTO new_calls_with_new_column FROM
(SELECT * FROM calls WHERE create_date >= '2023-09-07 00:00:00' AND create_date < '2023-09-08 00:00:00') a
left join
(SELECT id, new_column FROM temp_calls) b USING id
calls весит 100 ГБ, но за день не более 1, temp_calls - 20 ГБ.
Уменьшение диапазона даты ещё сильнее не помогает.
Подскажите, как оптимизировать можно?