На чем писать проект под большую нагрузку?

Question

[gresus]

Посоветуйте на чем писать проект по большую нагрузку?



50-100к в день.



Если можно с объяснением почему выбор в пользу того или иного решения?



В данный момент склоняюсь к Yii если php, друзья советуют Django. На сколько он подходит к проектам с нагрузкой? что скажете о ruby on rails?

Answer 1

[holyorb2]

Писать нужно на том чем умеешь!

Comments

[Masterkey]

а потом переписать на ерланге

Answer 2

[Sergey]

50-100к в день.

Это что за метрика? Уники? Реквесты? Максимум онлайн?

Comments

[Алксандр Коротаев]

т.т. для этого есть кнопка уточнить вопрос но присоединяюсь…

[Sergey]

«Уточнить» — говнокнопка, совершенно неработоспособная, т.к. не приходят уведомления об ответе.

[gresus]

Давайте считать, что 100к уникальных, Maксимум онлайн 80к

[Sergey]

На самом деле, пофиг, на че писать. Главное правильно построить архитектуру приложения с оглядкой на горизонтальное масштабирование. Сервера, как правило, дешевле, чем труд программистов на редких языках.

[BasilioCat]

+1. Пофик на чем писать, говнокод можно писать на любом языке и фреймворке. Однако порог вхождения в Джанго и рельсы несколько выше, и говнокодеров в целом гораздо меньше. То же и с ПХПшными фреймворками — на Симфони еще попробуй свой хеллоуворлд напиши. Главное продумать методы оптимизации затратных операций — мало фреймворков об этом думают из коробки. Memcached, кэширование страниц или блоков (привет, SSI!) как статичных (а динамическая часть — более легкими ajax/json запросами)

[gresus]

так вывод какой в итоге? на чем будет, гибче проект и разработка быстрее идти

[Sergey]

На том, на чем найдете много хороших, опытных и недорогих программистов.

[gresus]

Много программистов мне не нужно, нужен один.

[Sergey]

Фигасе. Хайлоад и один программист? Он же системный/сетевой архитектор, он же сисадмин и дежурная служба? Это как?
Тогда выбирайте помоднее, эрланг там, или чего.

[gresus]

нужно прототип написать, зачем мне больше для этой задачи?

[Sergey]

На чем писать проект под большую нагрузку?

Друже, формулируй мысль сразу и четко, уважай товарищей. Проект и прототип можно написать на совершенно разных языках.

[gresus]

Согласен, ввел всех в непонимание. Если потребуется быстрый переход от прототипа к рабочей версии, то это будет не гибкое решение, разе нет?

[Sergey]

Прототип, как правило, делают для демонстрации идеи потенциальным инвесторам. Внутри может быть все, что угодно, хоть голый html. Потом под реальный проект подбираются люди, уже исходя из бюджета. Из прототиа обычно продуктивные релизы не вижимают. У вас как? Опишите подробнее, что ли.

[gresus]

в данный момент есть дизайн. Поступлю по ваше сделаю верстку, тогда можно будет более предметно с кем-то общаться.

Answer 3

[ChemAli]

Без разницы. Узкие места все равно будут не в языке и фреймворке, а в архитектурных блоках и каналах обмена данными между ними. Вводных данных недостаточно чтобы дать вам ответ.

Comments

[ChemAli]

Ммм. Направленность (тип) реусра — соцсеть, дискуссионная площадка, медиа-площадка. Типы данных, с которыми оперируют пользователи. Число операций, выполняемых пользователями. Планируемые сервисы (тупо чтение-запись текста в бд/из бд, загрузка, обработка, просмотр видео/аудио, стриминг, хранение данных большого объема, лайв коннекты, частота запросов, их объем и объем отдваемых данных и тдитп). Объемы хранимых данных. Суточный трафик в мбтиха/гбитах/гигабайтах

много-много всего нужно предполагать чтобы давать предварительные оценки. Да просто погуглите сначала high load и высоконагруженные сайты. Надите на хабре описания архитектур одноклассников, вконтакте, твиттера, фейсбука и будете иметь понимание какие проблемы решаются при разработке высоконагрудженных проектов.

[gresus]

Спасибо, за совет! буду разбираться, что нужно именно мне

Answer 4

[VlK]

Вопрос в корне неправильный и несколько дилетантский: «Хочу сайт, чтоб много народу лазало».

Какой сайт? Сервис а ля Твиттер? Новостной, где можно статику нагенерить? Интерактивный а ля соцсетки? Бэкэнд для игрушки на флеше? Раздавать файлы/видео в больших объемах?

Это может выглядеть настолько по-разному, что даже примерно рассуждать не приходится.

Comments

[gresus]

Да, я уже понял, что постановка вопроса не правильная мало информации для ответа. Сделаю верстку, потом можно будет, что обсуждать. СпасибО!

[Masterkey]

вы бы ТЗ прикинули сначала и выложили, по нему то мы насоветуем, а вот по верстке ничего не насоветуем — это как гадание будет

Answer 5

[Денис Ильиных]

на Perl

Comments

[gresus]

на Perl, мало разработчиков в сравнение с тем же php, мне не очень это подходит

[Денис Ильиных]

Перл для самураев ).

[Руслан Левиев]

> на Perl, мало разработчиков в сравнение с тем же php

Так вы же сами выше сказали, что «Много программистов мне не нужно, нужен один» :)

Answer 6

[iSlava]

могу предложить python (django) + wsgi gevent server + memcached + haproxy(можно nginx). всё это отлично выдержит такую нагрузку. на питоне приятно писать, а у Джанги прекрасная документация. дальнейшая поддержка будет лёгкой

Answer 7

[calg0n]

Имхо, язык абсолютно не важен. У каждого есть свои минусы и плюсы. Вон Stackoverflow на asp.net, ВКонтакте на пхп + xcache, LJ на перле.

Comments

[deep_orange]

Контач кста на kphp - они компилят php (https://github.com/vk-com/kphp-kdb) - так быстрее работает.

Answer 8

[Begetan]

1. Сразу делать nginx

2. Не страдать преждевременной оптимизацией. На мой дилетантский взгляд High Load требует принципиально другого подхода к разработке. У вас, как минимум, должен быть работающий прототип чтобы на нем увидеть узкие места архитектуры и переписать уже все по-правильному. Обычно узкое место это SQL. Поэтому смотрите Memcahed, Redis.

Среда разработки и фрейморк тут вторичен, потому что, как уже сказали, к высокой нагрузке они все из коробки не готовы. Выбирайте то что проще потом допилить.

Comments

[gresus]

а можно по детальней?

Почему сразу делать nginx?

Прототип как раз и будут писать, хочется сразу делать максимально гибко и правильно, а потом уже из-того что будет, исправлять узкие места и переписывать что-то?

Разве Yii не готов к высокой нагрузке, очень много отзывов, что фрейморк спецом для этого?

[holyorb2]

все говорят что их продукт готов к высокой нагрузке, иначе никто его пользовать не будет :)
вопрос в другом — НУЖНО УМЕТЬ ГОТОВИТЬ!!!

[Begetan]

Nginx — потому что «хочется сразу делать максимально гибко и правильно»

В посещаемых сайтах разносится функция отдача контента клиентским сессиям и генерация контента. Это называется frontend/backend.

Answer 9

[Ринат Шайхутдинов]

Я бы посоветовал Ruby On Rails. Используется на многих крупных проектах, в частности — в Twitter. Плюс, фреймворк очень богат функционалом, поэтому разработать прототип будет проще простого.

Comments

[gresus]

какие требования можно предъявлять к программисту Ruby On Rails? Если мы говорим, о написание прототипа, который потенциально будет является нагруженным сайтом

[Ринат Шайхутдинов]

Как уже подсказали выше — при нагрузке всегда можно будет докупить серверных мощностей, поэтому подойдёт любой программист, который не первый год знаком с веб-программированием и хотя бы год активно использует rails + человек должен понимать что такое кеширование, где и как его правильно применять, ну а опыт работы с облачными сервисами от Амазон стал бы огромным плюсом для кандидата.

[Beholder]

Ага, только что вот Twitter отказался от Ruby On Rails. :) habrahabr.ru/blogs/hi/117258/

[andoriyu]

Как только ваш проект дорастет до уровня Twitter тогда тоже перейдете с RoR. Алсо, RoR хорош только для фронтэнда.

Answer 10

[Пума Тайланд]

Если у вас 100 тысяч уников в день то на чем угодно можно писать, все равно работать будет, хоть то пхп + мускул, хоть то скала + монго, хоть асп + мсскл.
В целом любая платформа дает возможность предусмотреть масштабирование, и говорить что лучше тут не уместно, лучше писать на том что знаешь и сможешь оптимизировать.

Comments

[gresus]

А если я собираюсь привлекать разработчика и важным будет: скорость разработки, гибкость архитектуры? то тоже не важно на чем писать

[Пума Тайланд]

Гибкость архитектуры закладывается при проектировании, как спроектируете так и поедет, куча проектов высоконагруженных на пхп + мускул, в силу того что изначально на нем начали.
Опишите что вы хотите написать, тогда будет понятнее какие инструменты более выгодны в этом случае.

[Пума Тайланд]

Yii вообще не входит в популярные фреймворки на пхп, по крайней мере в тройку, да и вообще какой производительности вы ожидаете от фреймворка? Фреймворк это камень в сторону производительности, но большой плюс к скорости разработки.

Answer 11

[ajaxtelamonid]

Вы не разработчик, а заказчик? Вы не оттуда начали поиск. Написать можно на чем угодно, язык не важен ВООБЩЕ. Скорость одинаковая, все равно все упрется в продуманность кэширования и базу данных (возможно, вам подойдет mysql, а возможно, лучше обратить внимание на postgre).

Ищите профессионала, он сам вам расскажет, на чем лучше делать.
И тут есть ньюансы — на php очень много низкоквалифицированных кадров, как правило умные люди подвязываются на ниве джанги или рельсов. Так что профессионалов там найти легче. Но и стоить это будет дороже.

Comments

[gresus]

Спасибо, за совет!

Answer 12

[diostm]

Пишите на том, на чем знаете лучше всего. Вон твиттер на ruby on rails написан был целиком. Появилась надобность — переписали часть фукнционала толи на Scala, толи на Java.

Answer 13

[AlexeyK]

А что за проект? С какого рода данными вы будете работать и какова частота запросов/средний размер ответа?

Answer 14

[Fafnir]

Понимаете, масштабирование приложения — это не функция по умолчанию определенного фреймворка или языка. ) Более того, premature оптимизация — это зло. Лучше сначала сделайте хоть что-то, а то конкуренты догонят.

Answer 15

[Gibbzy]

Тут по мимо реализации еще так же важна работа комманды сис админов, которые должны уметь настраивать веб сервера правильно.
Последний раз писал на Yii проект 50к заходов в сутки, с кэшированием в yii работать приятно и не сложно, фреймворк шустрый, все работало отлично, конечно нужны прямые руки отсутвие всяких неправильных sql запросов итп.

За остальные фреймворки говорить не возьмусь ибо не компитентен.

Answer 16

[odmin4eg]

Совершенно верно сказано, написать можно на чём угодно, выбор новых фреймворков — для само развития, так я начал изучать Джанго, попутно пишу один проектик.

по поводу высоконагруженности, есть у меня сайт, который при 1 тысячи в сутки начал уводить в 100% 2х процессорный зеон, с 4мя гигами памяти… дальше были 2 года оптимизаций и различных слоёв кеширвоания.

если совета хочешь, то пожалуй
1 схема БД с «лёгкими запросами» (а ну и с выбором БД тоже надо верно подойти, чтоб не было с пушки по воробьям)
2 возможность кэширования результатов выборок с БД например в мемкешеде (тут джанго приветом машет, одна строчка в конфиге, хотя уверен и в рельсах оно есть).
— вот этого хватит чтоб понять, а надо ли дальше вкуриваться в оптимизации и «стартанёт ли оно»
если идти дальше
3 если вот прямо стотыщь в сутки, то пожалуй блоки контента сгенерированные тоже ложаться в мемкешед. (ээм может даже noSQL в первый пункт?), а ну и без CDN я думаю не обойтись

а вообще всё чепуха, сколько раз наступал на эти грабли, ВСЕГДА наступал момент «блин проще переписать с нуля»

Answer 17

[phasma]

50-100 тыщ человек в сутки выдержит обычный php + mysql + какой-нибудь memcached или вообще обычный файловый кэш :)

Answer 18

[kutanov]

Писать мозгом надо. Если в достаточной мере знать архитектуру современных компьютеров, особенности самого языка и работу его интерпретатора — построить можно на чем угодно. Тут вопрос в скорости, сложности, простоте реализации каких-то отдельных механизмов.

Answer 19

[Co0l3r]

В яндексе django используют, в твиттере руби использовали, с php тоже есть примеры. Все эти технологии так или иначе проверены, но и свои слабые места у них есть. Ищите конкретные проблемы, которые могут проявиться в ваших условиях и отталкивайтесь от них.

Answer 20

[Iliapan]

Мне кажется, лучше начать с поиска конкретного человека — специалиста по разработке высоконагруженных систем. А он уже пусть пишет, на чем привык.

Answer 21

[easyman]

Если стоит вопрос работаюшего прототипа: берите что-нибудь с кучей уже реализованных социальных функций и натягивайте свой шаблон. Например: Community server, Sharepoint 2010.

Что касается реального приложения: надо будет оценить что и насколько необходимо улучшить.

Comments

[gresus]

А можно чуть по подробней: какие возможности у Community server и Sharepoint 2010?

Answer 22

[andoriyu]

Плевать на чем писать начальную версию. Главное сразу продумать хорошую архитектуру приложения. Разнесите приложение на отдельные части (как в твитере например, их вэб-интерфейс сам работает на том же уровне, что и другие клиенты — через API). Опять же все зависит от задачи. Я решил сначала все на ruby сделать, если упрусь в потолок производительности, то перепишу на jruby, если и там упрусь — erlang.

Опять же, все зависит от задачи.

Answer 23

[Евгений Безымянников]

Язык не важен, так как реализация логики — это второе дело для HiLoad.
Основа всего будет система хранения/выборки/записи данных.
Если запрос на данные пользователя будут уходит в sql и приходить через 0,2 секунды, то 5 пользователей в секунду начнут валить базу.
И еще совет, распишите все до отдельных действий:
запись информации о пользователе
показ формы редактирования личного профиля
и т.д.
и примите за постулат, что каждое действие будет выполнятся на отдельном сервере, тогда мозг немного переключается в режим «как так», а через небольшой срок проектирования системы приходит понимание как оно должно работать, как можно в разных БД хранить разные типы данных и т.п.

Answer 24

[Дэн]

Много полезной информации о разработке под нагрузки и оптимизации Web приложений:
ruhighload.com/sitemap