Откуда у Google столько памяти?

Question

[Valeriu]

Добрый день, какие сервера должны быть у Google чтобы он хранил столько информации?
Есть YouTube, вообще практически весь интернет у них на серверах.
Боюсь представить какие цифры там.
Интересно просто какие виды памяти бывают)

Answer 1

[Максим Гришин]

Вкратце - построили. У них с сотню датацентров по всему миру, включая кэширующие прокси ютуб-роликов. Внутри почти обычные железки с тоннами жестких дисков и SSD. Их просто много.

Comments

[Valeriu]

Думал что-то придумали необычное...

[Иван]

Valeriu, + алгоритмы сжатия файлов и всё

[Максим Федоров]

Valeriu, много чего придумали,
узнать хотите — устраивайтесь инженером в Google!

[Johnny Gat]

Valeriu, что-то "необычное"? т.е. такие "железки" для вас обыденность?

[Владимир Олохтонов]

Johnny Gat, крупные IT компании редко используют такие железки, чаще это самые обычные сервера или блейды, с подключенными полками, если это нужно для конкретной машинки.

[Johnny Gat]

Владимир Олохтонов, крупные IT компании как раз такие "железки" и используют. А вот гигантские (амазон, фейсбук, гугл) - обычно используют что-то "свое".

[alex-1917]

самое интересно, что автор вопроса даже в тот же гугл поленился залезть)))) испугался прослыть каламбуром?)))

[Saboteur]

cyb0rg_01,

Интересно, что у них на готове, на случай если вдруг самолет в один из датацентров влетит? Второй такой же, с теми же данными?

https://ru.wikipedia.org/wiki/Content_Delivery_Network

Answer 2

[longclaps]

Волшебные сервера, ясен пень.
А вот какие виды памяти бывают:

Comments

[Valeriu]

:))

[longclaps]

Valeriu, https://geektimes.ru/post/3627/

[alex-1917]

Где-то в гугле)) встречал статейку, как ихние инженера ездят на заводы, скидки выбивают))) Ну и нельзя исключать полезность исключения дублирования, если процессору для этого надо будет 0, 0001% процессорного времени, почему же не хранить фотки одной и той же пьянки, который один юзер пересохранил себе, в одном варианте?))) А какой просто отрывается при умном анализе картинок? Дублей наверняка процентов 10% точно есть....

[alex-1917]

longclaps , давай еще про дискетки, до слёз!!))

Answer 3

[Сергей Мельников]

lmgtfy.com/?q=%D0%B3%D0%B4%D0%B5+google+%D1%85%D1%...

Answer 4

[Роман Булгаков]

индекс всего интернета и "весь интернет" это не одно и тоже. объем хранилища у них несомненно большой, но значительно меньше чем "весь интернет"

размер индекса гугла примерно 100 Петабайт на 2016 год. сейчас наверно подрос где нибудь процентов на 10.
прибавим сюда кучу личной инфы с их сервисов, ну скажем еще процентов 20 от этого объема.

Объем всего интернета по примерным оценкам исследователей из Cisco (самая большая контора по производству сетевого оборудования) - где то в районе 1.2 Зетабайта на текущий момент, что примерно в 10 000 раз больше чем размер индекса Google.

При желании можно разместить 200 Петабайт данных даже в одном ДЦ.
Более интересный вопрос - как они обеспечивают оперативность доступа к такому объему данных (я могу представить только в общих чертах)

Comments

[Valeriu]

Это понятно что не весь интернет у них. Поисковой индекс это лишь часть. У них есть ещё и Google Drive, YouTube.... много чего есть что много место занимает
Я вот думаю, Гуглу много денег Я не дал но место на дисках моя информация занимает, откуда столько дисков? ))

[ⓒⓢⓢ]

Valeriu,

Я вот думаю, Гуглу много денег Я не дал

Ошибаетесь, даже зайдя на тостер вы принесли Гуглу очередную копейку на рекламе :)

Answer 5

[Андрей]

Вот читани https://www.insight-it.ru/highload/2011/arkhitektu...

Answer 6

[Станислав Макаров]

www.artificialbrains.com/google/datacenters

Посчитаете сколько там в сумме? Явно больше 1.5 миллионов. Как думаете, сколько суммарно памяти на них?
Если что в Гулге изобрели, так это средства горизонтального масштабирования типа Google File System и много чего ещё. Чтобы если что, можно было поставить ещё десяток серверов. А потом ещё сотню. А потом ещё тысячу.

И объем памяти уже становится не такой уж большой проблемой. Проблема - заставить это слаженно работать и синхронизировать то что должно быть синхронизировано. Умы инженеров будут стоить точно больше чем железки.

Answer 7

[Пума Тайланд]

Обычные хдд нынче уже модели на десять терабайт есть