lega

Как вам переключение поможет от DDOS?

сделайте балансировку на оба сервера, пусть оба работают, если один загнется все запросы пойдут на другой, базу в реплику

Возможно резкое падение связано с системой кеширования в ОС, в начале данные загоняются в ram, далее они упираются в лимит и медленно сливаются на диск. Новая БД - новый файл - отдельный кеш блок... - работает быстро в начале.

Было бы интересно проверить на рам диске, что-б исключить тормоза io, если памяти много.

Так же вставка должна происходить быстрее чем обновление (когда база пустая, идет как раз просто вставка).
Т.к. если размер обновления не помещается в старые размеры документа, то его нужно релокйтить.

"avgObjSize" : 37

С таким объемом документа процент эффективной информации снижается. Для этой задачи можете попробовать LevelDB или его прототипы, в теории будет экономней и быстрее раз в 10.

Если создать новую коллекцию и записывать в нее, то все работает как надо.
Записывается примерно по 300 документов в секунду.

Отключите ожидание результата, или пишите в параллель. У меня на ноутбуке примерно 10к в сек пишет в пустую коллекцию.

Настало время когда одного сервера стало не хватать.

Чего конкретно не хватать?

поставил проксирующий nginx

Зачем нагружать "балансер" двойным трафиком, пусть клиенты напрямую ходят на второй сервер.

Так же можно не синхронизировать, а раскидывать файлы по серверам, четные на 1-й сервер, нечетные на 2-й, но лучше префикс сервера в ид (имени) файла сделать.

Таким образом будет экономия диска и более эффективное использование трафика.

Есть и плюсы в простом дублировании (ваш вариант):
1) Второй сервер - как бекап, если один из серверов умрет, хотя для бекапов есть инструменты лучше.
2) Если один сервер умрет, то сервис может* продолжить работать, но медленней, а с "шардингом" (вариант выше) часть контента будет не доступна.
С другой стороны, что вы будете делать когда будет не хватать диска на сервере?

Ещё вариант - перебросить файлы на S3

> было бы идеально в режиме реального времени.
В том месте где сохраняете файлы можете дописать, что-б сохранять файл так же и на примонтированный сервер либо через ssh.
Если нет возможности дописать, то можно сделать внешний скрипт который будет "слушать" изменения ФС и реагировать (копировать на др. сервер).

В таких инструментах как GridFS можно легко настроить репликацию - будет реалтайм. Но его напрямую не заюзать (нужно код писать), поэтому можете поискать конкурентов.