Какие материалы по работе с большими БД наиболее полезны?

Question

[Wsearch]

Здравствуйте! Подскажите пожалуйста курс или материал, по которому можно в целом перетрясти свои знания по большим БД. Начальные знания SQL есть, но чувствую, что хромаю именно при работе с большими БД.
На собственном опыте, можете подсказать, как разбирались, может какой-либо материал особенно помог. Гуглить я пробовал, там просто завал по темам и все не систематизировано, боюсь в не ту степь уйти. Спасибо.

Comments

[Василий Банников]

Что такое "большие бд"? И как понял, что хромаешь?

[Wsearch]

Василий Банников, На собеседованиях в основном. У меня опыт в продакшене в целом был с клиентскими сайтами, высоконагруженных было немного. На собесах различные вопросы начиная, от того как проектировать высоконагруженные БД и заканчивая как с ними работать. Тут вроде отвечаю, но опять же не уверенно. Я поэтому и спрашиваю, может есть какие-либо материалы, где это в целом натренить можно или только опытом.

[Василий Банников]

Wsearch, ну тоесть вопрос не про администрирование? Можешь клеппмана почитать например

[Wsearch]

Василий Банников, нет. Я вообще бекендер. Вопрос именно, как с этим всем работать на своем поле так сказать. Спасибо. Клеппман - это про высоконагруж системы, там книга с кабаном помоему, да?

Answer 1

[Saboteur]

для больших баз данных можно бэкапы поделать, кластер баз установить и поиграться с шардированием, приоритетом нод.
С индексированием можно разобраться поглубже, для ускорения. Но на маленьких оно тоже может дать прирост.
Не знаю. Уточните вопрос что значит "большие БД" и чем они отличаются от маленьких в вашем случае.

Comments

[Kentavr16]

Не автор вопроса, но тоже интересуюсь. В моем случае под большими бд я подразумеваю многотабличные бд со сложными отношениями. Вопрос в том, как лучше всего масштабировать имеющиеся бд, ознакомиться с паттернами ускорения их работы, оптимизации. В базовых пособиях зачастую встречаешь описание трех форм нормализации бд с примером с бд из 3 строк.

[Saboteur]

нет простого рецепта - в каждом случае следует смотреть на данные, на структуру, на частоту использования и типичные запросы.
То есть совершенно общие рекомендации - в случае частых запросов по определенным критериям, посмотреть в сторону добавления индексов для этих критериев вручную.
Продумывать структуру базы (разбивку на столбцы и таблицы) с точки зрения и роста количества данных и удобства индексирования.
То есть самые обычные рекомендации. А все нюансы могут применяться не к общим вопросам, а конкретной базе конкретного приложения.

Answer 2

[alexalexes]

В домашних условиях с большими БД вы можете столкнуться, если будете изучать какой-нибудь датасет к нейронке. В остальных условиях вы будете работать с крошечными базами данных, по меркам возможностей работы инструментов СУБД, просто вам нужно научиться ими пользоваться.

Answer 3

[Vitaly Karasik]

Из того, что можно изучить и потренироваться без реального опыта с "живыми" системами:
- DB performance tuning - например по постам в блоге Percona
- DB scaling - для записи, для чтения, вертикально/горизонтально
- как писать "быстрые" запросы, как анализировать запрос
- индексы - плюсы и минусы, как понять какие нужны
- мониторинг - по каким критериям мы понимаем в чем bottleneck

По всему этому есть много достаточно систематического материала.

А дальше - читать highscalability.com, плюс postmortems в блогах разных компаний, и т.д.

Answer 4

[Dimonchik]

берешь книжку
MySQL 8 для больших данных
от корки до корки, а затем ту же структуру по иинтересующим базам применяешь и ищещь ответы