Строки абсолютно рандомные. Единственное требования, чтобы в пределах одного файла строки не повторялись. В пределах разных файлов могут повторяться.
База или файл одна/один (не для каждой страницы свой)
------------
udp
В общем, задача сейчас больше свелась к тому, как ускорить процесс генерации.
Понял, что создавать 100500 html файлов на сервере не очень хорошая затея, решил, что лучше помещать все в SQLLite базу. И потом уже генерировать страницу на лету на основе шаблона.
Вообще, цель всего этого - генерация страниц для сайтов. Т.е. каждый сайт будет иметь 250к - 1кк страниц.
Встает вопрос, как ускорить процесс записи в SQLLite базу (для каждого сайта база своя) и не положить сервер, если за раз мы генерим, скажем, 50 сайтов.
Как я предполагаю, поочередно производить запись в лайт-базу для каждого сайта будет очень долго.
Т.е. получается такая схема:
Есть SQL база под управлением MySQL. В ней несколько таблиц. В каждой таблице 1кк-3кк строк.
Необходимо сгенерировать 50 сайтов за раз, в каждом сайте по 250к - 1 кк страниц.
Для каждой страницы идет выборка из нескольких таблиц SQL базы, текст обрабатывается и записывается в SQlLite базу каждого сайта.
Как лучше оптимизировать все это дело, чтобы и скорость была максимально возможной, и в тоже время сервер не падал?