sim3x

Никакой
sqlite
Местами для кеша levelDB

postgresq

PostgreSQL

Postgres

+

Поиск по аттрибутам

+

Полнотекстовый поиск

+

Хранить бинарные данные в БД

+

Быстрый доступ

до остального еще нужно дорасти

В реляционных субд нет такого типа как жсон. Он есть в реляционно-обьектных СУБД типа postgresql

ЖСОН-схема - попытка сделать из noSQL субд SQL

The schema in Elasticsearch is a mapping that describes the the fields in the JSON documents along with their data type, as well as how they should be indexed in the Lucene indexes that lie under the hood.

Такое можно организовать в виде процедур в любой нормальной субд

postgres

Пока не поймеш какая структура у проекта, можешь хранить данные в json

Когда все устаканится - нормализуешь

Используй постгрес
PostgreSQL — свободная объектно-реляционная система управления базами данных (СУБД)

И не морочь нам голову

Если у тебя на проекте заведется менеджер, которому понадобилась монга, на проект, больший чем сайт-визитка / лендинг, то советую потихоньку искать работу, тк проект завалят

Postgresql

json разложить по таблицам (нормализовать -- избавиться от повторяющихся текстовых значений), сделать индексы, при необходимости, сделать партиционирование

Быстро никак не получится

Готовое

sort \
--unique \
--parallel <threads count> -T /path/to/temp/dir/ /path/to/huge/file >>/out/file

Поставь на удаленной машине субд с ram 16gb
Сделайтам таблицу с уникальным полем
И долби своей машины вставками

Слишком мало конкретики
Посмотри на
redis.io/commands/INCR

Или сделай кеширование руками
Или средствами мускула
Или средствами пхп-мемкеша
Или средствами nginx

Подсчет лайков по ид в индексе происходит очень быстро

Вот работаеш ты 2 года на позиции жаюа дева и вот ну совсем у тебя нет задач, которые можно вынести в диплом?
За два года у тебя с десяток тем на диплом должно набраться

Спроси у своего начальника лучше

ФС тоже БД

PC-1 for routing
возвращает адреса машин, на которых лежат хеши и картинки по, 
например, первым 4 байтам хеша

PC-1 for hashes
|-/file_with_hash_of_region: content hash of image
|-....

PC-n for hashes
|-/file_with_hash_of_region: content hash of image
|-....

PC-1 for images
|-/image_file_with_hash_as_name
|-....

PC-n for images
|-/image_file_with_hash_as_name
|-....

постгрес наше все

Если ты хочешь фыр-фыр-фыр только в фронтенд и не хочешь маятся беком, то тебе стоит искать по кейвордам типа backend-less backend-as-a-service

Только имей ввиду, что NOSQL решения хороши для тонкой прослойки задач и обьемов данных. Для бигдаты нужны свои решения и свои напильники

монгодб, пот, кровь, сопли, овертайм. (с)ya.disk

доступ осуществляется к любым данным в базе

все бд, даже пресловутая монга дает доступ - вопрос в скорости и необходимости индексации

вопрос: в какой конкретно базе хранить?

ответ в любой, даже в sqlite

есть ли варианты базы с компрессией?

есть leveldb

хочется не особо замороченный вариант с распаралеливанием на несколько компов..

тут вообще непонятно о чем речь, то ли о шардинге, то ли о репликации