В какой базе хранить гигабайты текста?

Question

[alekssamos]

Не спрашивайте зачем. Сначала начал конечно же с sqlite. Сначала было все хорошо, затем когда файл стал весить 200 мб - один запрос SELECT выполнялся несколько секунд. Когда стало 900 мб, еще дольше, а затем завис полностью и отвис только после удаления данных.
Если я перейду на mysql, она сможет обрабатывать ГИГАБАЙТЫ текста и быстро делать выборку? Или тоже зависнет?

Comments

[zkrvndm]

У одно из моих клиентов сайт на Joomla и у него база данных раздута до 2 Гб разными текстами. По его словам, сайт стал тормозить, например, на создание одного материала (что требует обхода всей базы) уходит в среднем 7 - 8 секунд. Сами думайте много это или мало. И да, речь именно о MySQL.

P. S. Видел статьи на хабре, что мускул можно разгонять различными оптимизациями, возможно ситуация не столь плачевна.

Answer 1

[Станислав Бодро́в]

Если я перейду на mysql, она сможет обрабатывать ГИГАБАЙТЫ текста и быстро делать выборку? Или тоже зависнет?

Сможет. И не такое сможет. Предварительно главное его правильно настроить, затем нормальные запросы слать.

Comments

[alekssamos]

То есть нужно правильно определить тип данных, например, не просто текст, а varchar (1024)? Какие могут быть ещё оптимизации? Просто ответ такой воодушевительный, но хотелось бы узнать подробнее.

[Dimonchik]

можно text

но глааное - индексы, в том числе полнотекстовые, судя по "обрабатывать"

а еще есть sphinxsearch и manticoresearch , там тоже можно хранить

[alekssamos]

То есть вот так? Индексы в MySQL Хорошо. Попробуем.

[Станислав Бодро́в]

Просто ответ такой воодушевительный, но хотелось бы узнать подробнее

Мускуль уже неплохо доведён до ума и многое может. Поэтому раскрытие потенциала Мускуля это уже удел умения обращения с этим инструментом.

Какие могут быть ещё оптимизации?

Начиная с настроек операционной системы, которые часто никак по умолчанию не годятся для работы с базой данных. Затем настройка сервера Мускула в зависимости от имеющегося железа, возможностей операционки, профиля работы базы. Потом оптимизация твоих запросов. В оснастке, которая идёт к Мускулу довольно годный планировщик запросов. Заканчивая организацией операций для поддержки данных в базе в актуальном состоянии: индексы надо обновлять (без них не получишь приемлемой производительности); бэкапы наше всё; со временем оптимизировать саму базу.