Bred Thomson, ну, чисто теоретически можно и без ajax'а - вываливать в шаблон вообще все посты, но с css-свойством display: none, а по нажатию "More" делать часть постов видимыми. Только это очень плохая идея.
Ваш парсер не имеет блока обработки "широких" исключений, падает на 79% собранных данных, теряя их. Вы анализируете бэктрейс и добавляете в код обработчик для того исключения, которое привело к падению. Вы потеряли день работы парсера, но теперь он годами стабильно работает, собирая каждый день около 80% информации.
Ваш парсер имеет блоки обработки "широких" исключений, на 79% собранных данных "бесшумно" переходит в неконсистентное состояние и следующие несколько месяцев обрабатывает только 1% от того, что мог бы обрабатывать, пока вы случайно не узнаете, что работа выполняется плохо. Вы потеряли месяцы.
Принципы "fail fast" и "let it crash" придуманы не так просто и есть веские причины, почему они набирают популярность в проектировании современных систем.
cython, название этого метода можно перевести не как "отправить всем", а как "отправить всё". socket.send() при вызове отправит не столько данных, сколько ему передано, а сколько получиться отправить в момент вызова. socket.sendall() не завершит работу до тех пор, пока не отправит всё, что ему передано.
orbit070, во-первых, надо понимать, что 10 Mb на соединение - это условность. Оптимальный объём памяти на соединение зависит от множества факторов и может существенно отличаться в разных сценариях использования. Во-вторых, СУБД нужна память на построение планов запросов, на кэширование горячих данных, на выполнение фоновых задач, таких как построение индексов, сборка мусора и т.д. и т.п. Чем больше памяти доступно СУБД и чем оптимальнее она распределена между подзадачами, тем выше производительность.
