Кажется курсор в Postgres поддерживает опцию SCROLL. Тоесть можно делать перемотку вперед и назад.
В этом случае вам не нужно на каждый page down делать еще один запрос. Просто продолжаете
перемотку следующих 10 записей.
v_k, кассандра скорее всего не подходит. Она в основном расчитана на In-Memory Cluster. Дорого и безсмысленно. Будете платить за uptime.
Хотя ее младший брат AWS-Dynamo может стоит рассмотреть. Будет дешевле с точки зрения хранения информации. Кажется там платить надо за фактически вычитанные строки. А за само хранение и за uptime
я не помню. Может и что-то начисляется но мало.
markinaras, ты пишешь на Go? Вот и напиши себе (или найди готовый) пул сокетов в котором количество
заранее ограничено.
Подозреваю что речь идет о парсинге сайтов. Так в этой предметной области - огромное количество уже
готовых решений. Тогда сразу не сокетов а HttpConnections. Вот. И запускай хоть мильон своих Go-потоков
а они пускай уже дерутся за эти 1000 коннектов по очереди.
linuxstation, я думаю что смена среды разработки не должна крашить сборку проекта. Сегодня этот трюк прокатил но в следующий раз тебе надо глубже разобраться в причинах того что не работало.
А можешь объяснить что именно и кто блокирует. Потому что для интернет-провайдера количество открытых
сокетов - безразлично. А вот для того сервера (хоста) куда ты пошел - может быть лимиты есть. Но может быть парсинг netstat это не то что тебе надо.
v_k, мне кажется что мы "не с той стороны" начали.
Вот смотри. Ты делаешь акцент на загрузке триллиона records за 10 дней.
А зачем тебе их все вообще грузить? В каком виде они лежат сейчас?
Если это - CSV файлы - то их можно так и положить на какую-нибудь
hdfs-like файловую систему и работать как с большими данными.
AWS athena может работать с ними сразу через SQL никуда даже не
преобразовывая. Spark умеет CSV в датафреймы преобразовывать.
А для скорости надо просто сделать партишенинг хешу от ключа.
А для быстрого ответа построить поврх этой системы Redis. Таким образом
горячие ключи быстро поднимутся в кеш а холодные.... а нафик они нужны.
Вобщем есть миллиард способов как решать эту задачу.
Надо почитать с какой целью Sony ввела этот новый стандарт. Скорее всего тут цель - устранение неких дефектов Bluetooth. Но если говорить о качестве - то скорее всего вопрос будет и да и нет. Потому что в описании речь идет о целой матрице режимов звука и кодеков. Тоесть какой кодек и битрейт будет выбран - то и будет качество. Но скорее всего цель - либерализация софта. Тоже самое что и происходило вокруг mp3 и почему появился ogg (vorbis). Та-же мотивация.
v_k, вы можете отказаться от ACID и строгой консистентности и поднять например 8 постгресов и таким образом вставлять в разные БД ключи по формуле MOD(8) от ключа. Такое часто бывает в облатси биг-дата где я работаю. Но у нас в биг-дате данные обычно write-only. Исторические.
Вот. А при поисковых операциях вы будете просто очень быстро искать ключ в нужной БД из 8 возможных.
Что пробовали: файловая система (хранение в подпапках вида /a/b/c.../a1.txt, скорость вставки получилась медленная
Это хорошая идея и ее надо обдумать. Но если вы планируете по 1 файлу на каждый ключ то ваша система лопнет по количеству inodes. А тюнинг ФС до такого уровня количества ключей я еще ни разу не встречал.
И вообще я думаю это плохая практика. ФС будет хранить больше мета-информации на каждый файл чем длина вашего ключа. Именно поэтому эта идея нежизнеспособна. Вы потеряете все терабайты в мету. Можно группировать ключи в файлы-группы но это все - уводит вас в сторону от собственно базы данных. Тогда постановку нужно пересмотреть полностью.
Нет. Есть понятие - сортировка пузырем. Работает для малых массивов. Вот у вас массив из трех слов.
За 3 сравнения и за 3 свопа его можно отсортировать. Тоесть Макаров Владимир Сергеевич будет превращен в Владимир Макаров Сергеевич (по буквам ВМС).
Василий Банников, ну вобщем-то да. Я имею в виду что заточка обычно имеет структуру которая отражает свет
по другому. Поэтому надо 2 отражающих материала. Один - зеркало. А другой с нарезкой как винловая
пластинка.
Ну а если вообще глубоко копать то катана - это кованный рулончик тонкого железа. Его когда изготовляют
- много раз разплющивают и сворачивают. А потом после заточки на поверхности появляется такой
характерный волнистый узор. Это - слои.
В этом случае вам не нужно на каждый page down делать еще один запрос. Просто продолжаете
перемотку следующих 10 записей.