Как работать с таблицами >1кк строк?

Илья Кметь: Проблемы с объемами начинаются тогда, когда заканчивается место на диске.
Одно исключение: когда алгоритм решения задачи требует random access по всему объему и этот объем не помещается в оперативку. Это довольно редкий случай, когда для задачи не существует решения через последовательный доступ.

Как работать с таблицами >1кк строк?

200 MB списков и словарей на скрипте с динамической типизацией - это бессмысленное прожигание электроэнергии (пока оно все пересчитается). В питоне для массивов типизированных данных и операций над ними существует Numpy. А структуры наподобие записи в БД описываются так - https://docs.scipy.org/doc/numpy-1.10.1/user/basic... И никаких "пандасов" для этого не нужно!

Как работать с таблицами >1кк строк?

Roman Kitaev: Миллион строк это уже бигдата? Тогда я (да и многие здесь, наверное) ветеран бигдаты. Я как-то считал, что настоящая бигдата начинается от объемов чуть больше, чем хард на домашней машине, поэтому просто недоступна для большинства из нас.

У кого нибудь остался gikdbg.art?

Когда-то очень давно у меня была эксклюзивная сборка Olly с кучей плагинов (в том числе много спираченных).
Мне в этой жизни вряд ли уже придется ковырять что-то под виндой, так что, теперь не нужно.
Но поддержу вопрос, так как, уважаю цель поиска раритетов, и вдвойне уважаю реверсеров.

Почему сопроцессор в тысячу раз медленнее процессора?

А я так в asm засмотрелся, что проглядеть это. Но, как я и предполагал - причина простая я и с железом не связана.

Почему сопроцессор в тысячу раз медленнее процессора?

Ckpyt: Под какой это компилятор? Я на GCC так и не смог скомпилировать (там много разных причин).

Если бы я смог запустить у себя, то смог бы сказать что-то определенное по этому поводу, а так...

Повторю еще: Разрыв в тысячи раз - это нонсенс для такого простого кода, тут просто негде спрятать что-то достаточно тяжелое, что бы оправдывало такой разрыв. Причина тут явно не в процессоре и вообще не в железе. Возможно, разгадка тут будет какая-нибудь простая. Например, что-то связанное с компилятором.

Почему сопроцессор в тысячу раз медленнее процессора?

Должно быть где-то в 3-5 раза медленнее. В 1000 раз - это нонсенс!
Как и чем меряете? Сколько прогонов теста. Перед реальным тестом прогон на прогрев не забываете? Приведите весь код своего бенчмарка и его полный вывод.
По нормам должно уходить не меньше секунды на прогрев (точно такой же прогон, только без замера) и сразу после этого реальный прогон с замером, по продолжительности тоже не меньше секунды независимо от того, сколько итераций циклов на это потребуется.

Как защититься от инсайдеров?

Ульрих: Нормальные в целом методы. Запрет на монтирование внешних носителей, плюс доступ в Сеть через прокси с фильтрацией по белым спискам должен неплохо сработать.
В дополнение могу предложить:
1. Логгирование всех распечаток на принтерах (на лазернике 600 dpi на один лист А4 можно нанести сотни мегабайт).
2. Полный запрет на самовольное использование внешних носителей (не только на запись). Кому что-то реально нужно, обращаются к администратору. Цель: предотвратить занос "умного" софта (это могут быть не обязательно исполнимые файлы, но и *.doc с макросами, а на макросах тоже можно много написать для автоматизации выкачки по различным каналам утечки).
3. В дополнении к белым спискам, на прокси настроить по умолчанию блокировку POST запросов (точнее всех методов, кроме GET) и зачистку тела HTTP-запроса (после заголовков ничего не должно следовать), исключения временного действия раздавать лично. Цель: предотвратить утечку через постинг в социалочках, на форумах и в чатах (при автоматизации этого процесса через этот канал тоже можно быстро слить гигабайты архивов).

Верно ли я понимаю, что обычный сайт на html js и php обернув с помощью phoneGap можно превратить в мобильное приложение?

xfg:
1. PHP не является языком более высокого уровня, чем JS.
2. Во всех нормальных языках такие вещи, как работа с БД, реализуются в подключаемых библиотеках.
3. В использовании TypeScript нет прямой необходимости. Это просто дело вкуса/привычки.
4. С каких пор PHP стал языком общего назначения? Это чистейший веб-серверный скрипт. Область применения JS гораздо шире, за счет того, что на JS работает весь веб-фроненд (и альтернативы ему в этой нише нет), на нем даже сами браузеры по большей части написаны (за исключением самих движков).

Какой алгоритм использовать в этой задаче?

Контрпример к такому алгоритму я дал в комментарии к ответу di23

Какой алгоритм использовать в этой задаче?

Контрпример: n = 3; k = 2; S = 1; Проход слева направо, сверху вниз.
Шаг 1: рандомно заполняем окно в левом верхнем углу.

100
000
000

Шаг 2: рандомно корректируем окно в правом верхнем углу.

100
001
000

Шаг 3: рандомно корректируем окно в левом нижнем углу.

100
001
010

Шаг 4: что делать с окном в правом нижнем углу?

Как решить проблему с данной архитектурой Базы данных?

Валентин:

А что вы имеете ввиду под динамической иерархией? С моей системой я, вроде, могу организовать товар любого типа, разве нет?

У вас фиксированная структура с двумя уровнями иерархии (тремя, если считать subject). Обратите внимание как устроен Яндекс.Маркет, например, там некоторые категории делятся на под категории, а некоторые нет, и нет ограничений на количество таких уровней иерархии. Большинство современных CMS умеют работать со структурами с динамической иерархией. А реализуется это так:
https://www.google.com/search?q=Managing+Hierarchi...
https://www.google.com/search?q=Adjacency+List+Mod...

Плюс, я еще создал Producer, решил все-таки вынести ее отдельно, вы считаете, это оправданный шаг?

Все это только начало проектирования. У, например, при слове интернет магазин, в голове сходу рисуется модель с 15-25 таблицами, и это только в самом общем приближении без рассмотрения специальных требований, которые неизбежно возникают в любом реальном проекте.

при гипотетическом расширении базы до несколько сотен тысяч записей, поиск по Id все равно будет довольно шустрым?

По первичному ключу не происходит "поиск" (так даже не говорят), а просто "выборка" или "получение данных". Время исполнения этой операции пропорционально логарифму от количества записей (то есть зависит очень слабо), так же, как и по любому индексированному полю, но по полю можно уже сказать "поиск".

Как я понимаю, FK почти ничего не весят, это же всего лишь ссылки?

Да. Поле "весит" 64 бита.

А на счет View, ... или select-ом, или двумя text-area:

Если так, то это требует еще усложнить структуру базы. По идеи численные и строковые характеристики следует хранить в разных таблицах. А там где идет выбор из списка - отдельно таблицу со значениями, из которых происходит выбор и отдельно таблицу со значением этого выбора для конкретного товара.

P.s на счет Subject

Это, вроде, и есть " товарная категория" (нижний уровень иерархии категорий).

Каким средствами организовать схему оплаты через депозит в личном кабинете?

Белый бизнес? Юрисдикция РФ? Если да, то с легальным выводом электронной валюты будут большие проблемы.

Стоит ли привлекать к защите домашних данных виртуальные машины?

Хост машина не должна иметь выхода в Интернет вообще (посредством железного файрвола).

К чему это на хост-системе? Виртуальная машина служит решением как раз этой проблемы же.

Стоит ли привлекать к защите домашних данных виртуальные машины?

Qubes OS - десять минут разгребал документацию, пока до меня дошло, что это просто GUI под Xen.

Стоит ли привлекать к защите домашних данных виртуальные машины?

alexq2: Паранойя - это болезнь. А потребность в безопасности (в широком смысле) - это базовый инстинкт любого здорового живого существа. Зачем человеку нужна личная безопасность? - Затем же, зачем государству нужна госбезопасность, вы же понимаете.

Как обойти максимальное количество ребер неориентированного взвешенного графа?

Странно, что до сих пор про неё никто ничего не упомянул.

Я упомянул про NP-полноту в комментарии.

Стоит ли привлекать к защите домашних данных виртуальные машины?

Меня уже деанонимизировали?

Как обойти максимальное количество ребер неориентированного взвешенного графа?

Похоже, задача NP-полная (сложность экспоненциально зависит от числа вершин).

Формула расшифровки px из size?

Outoverlay: В смысле теоретические педелы этих значений? - от 1х1 до 32767x32767.