Виктор

К чему конкретно этот вопрос? Все эти базы займут не больше памяти, чем вы укажете в настройках. Если же вам интересно, кто эффективнее использует память - это надо конкретно сравнивать форматы хранения данных и индексов (B-tree, BSON, LSM-tree и т.д.) и их реализации. Плюс учитывайте сжатие/не сжатие данных.

1) Правильно ли чем больше mysql база тем больше потребление памяти потому что база загружается в память?

Нет, память используется для кэширования и сама по себе база в память в общем случае не подгружается.

2) И верно ли что sqlite в отличии от mysql базу в оперативной памяти не хранит,

Как мы установили, и mysql базу в оперативной памяти тоже не хранит. Логика подсказывает, что в sqlite должен экономнее относиться к ресурсам, но это догадки.

3) Что насчет MongoDB?

Да, что там у монги? Там BSON для данных и тот же B-tree для индексов ( в основном ). В тех, бенчмарках, которые я видел b-tree индекс в монге занимал на треть больше места, чем в mysql. Но вы померяйте и выложите актуальные данные, очень интересно.

Оба варианта правильные.

По поводу непоняток во втором варианте. Ну так вы же сами указали, что * - т.е. все поддомены ссылаются на ваш сайт. А дальше все происходит так, как вы настроите:
для апача:

<VirtualHost a.b.c.d:80>
ServerName site.ru
ServerAlias www.site.ru *.site.ru
...
</VirtualHost>

В этом варианте вы указали, что основное имя сайта - site.ru, но кроме него принимать запросы на www.site.ru и *.site.ru. Честно говоря www.site.ru в ServerAlias является излишним.
Т.е. любой поддомен вплоть до kfjjvkfjvbkjbvkjbvkjvbkejbv.site.ru приведет на ваш виртхост.
Если же в ServerAlias не указан *.site.ru - то произойдет следующее. Запрос придет на сервер, но подходящего виртхоста нет. Тогда апач отдаст этот запрос на обработку либо первому виртхосту в конфиге, либо так называемому default. Если админы хостинга не настроили default виртхост - значит отработает какой нить сайт с этого сервера.
Отсюда вывод - если уж вы указываете * IN A a.b.c.d в конфиге зоны - будьте добры корректно настроить виртхост - либо прописать *.site.ru в алиасе, либо создавайте для каждого нужного вам поддомена свой виртхост. Но это все равно не освободит вас от необходимости указать *.site.ru в алиасе какого нить своего виртхоста.
Не хотите такого поведения - прописывайте в настройках днс ровно те записи, которые вам нужны. Ну и виртхосты под них делайте.

Разница между прописыванием NS серверов и A записей - это просто место, где вы будете рулить доменом. Если вы перенесли NS сервера вашего домена на сервера хостинга - то необходимые записи в днс надо создавать в панели управления хостингом. Если же только A записи - то управление доменом остается у регистратора, а управление хостингом - у хостера.

Можно попробовать примерно так:

server {
    listen 80;
    server_name doc.ixley.ru;
    root /var/www/doc.ixley.ru/out/;
    index index.html index.htm;

    location / {
        try_files $uri $uri.html $uri/ =404;
    }
}