Ответы пользователя по тегу Хранение данных
  • Какие есть популярные виды обмена и хранения данных для сайта?

    saboteur_kiev
    @saboteur_kiev Куратор тега Веб-разработка
    software engineer
    Чтобы избежать тумана в голове, нужно говорить не про абстрактные базы, а про конкретный проект.

    Если вы начинаете работать с БД, то просто с mysql хотя бы разберитесь до уверенного использования. Есть множество проектов, которым mysql с головой хватает.

    Нет смысла бегать галопом по европам, не освоив хотя бы один инструмент. Все SQL базы для новичка более-менее похожи.
    Nosql базы нужны для других типов данных.
    Ответ написан
    Комментировать
  • Как зашифровать файлы для хранения на облаке?

    saboteur_kiev
    @saboteur_kiev Куратор тега Информационная безопасность
    software engineer
    winrar solid более чем достаточно.
    Но для большого количества фоток это не так удобно постоянно пережимать..
    Ответ написан
  • Что именно можно хранить в NOSQL базах данных?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    Все можно хранить. Но nosql базы бывают разные, заточенные под разные задачи.
    Надо уточнять для чего вам база.
    memcached, например, тоже можно сказать что это Nosql база. Используется для ускорения доступа.

    А mongodb это скорее объекты, а не документы.

    Например, вам нужно хранить такие поля
    имя, фамилия, телефон
    имя, адрес
    фамилия, инициалы, год рождения
    телефон, адрес, описание

    как вы видите, поля разные. Поэтому в обычной реляционной базе, вам нужно будет заранее создать столбцы для каждого значения. При этом, если в данных куча "пустот", место зачастую все равно будет выделяться. Плюс нужно будет указывать типы данных для каждого столбца.

    А в mongodb,например, можно просто хранить объекты как есть:
    Имя: Вася, Фамилия: Пупкин, телефон 02
    Имя: Петя, адрес: "Останкино, 1"
    Имя: Вера, инициалы: "В.Б.", год рождения: нескажу
    телефон: "красненький", адрес: "Останкино, 1", описание: "что-то где-то"

    И каждый объект хранится ровно с теми полями, которые в нем есть.
    При этом поля могут быть разного типа.
    При этом можно нормально пользоваться запросами и разными функциями.

    Да, тут нет joins, зато монго оптимизирована для работы с подобным и размеры коллекций ее не слишком будут смущать.
    Ответ написан
    6 комментариев
  • Что делать когда на хостинге закончилось место, где хранить картинки и другую информацию?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    Какие решения есть когда заканчивается место хранения на хостинге

    Купить болеее высокий тарифный план.

    Мне сложновато представить себе хостинг, у которого недостаточно места для ваших картинок.
    Ответ написан
    Комментировать
  • Что произойдёт с файлами в облаках при неоплате?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    Существует ли сервис, в котором данные будут храниться неограниченное долго?

    Такого даже в платных сервисах нет.
    ВСЕ бесплатные сервисы не могут ничего гарантировать. В лучшем случае данные не удаляются сразу после отсутствия оплаты, может пройти случайное время (день, месяц, год) - читайте справку конкретного сервиса.
    Нет ниодного сервиса, который пару лет назад хранил файлы месяцами и сейчас делает тоже самое. Это НЕ ГАРАНТИРОВАНАЯ услуга.
    Ответ написан
    Комментировать
  • Как хранить альбомы фотографий?

    saboteur_kiev
    @saboteur_kiev Куратор тега Веб-разработка
    software engineer
    Смотря какая файловая система. Но для современных файловых систем проблем нет.
    Листинг может занять врея (find на папку с 3 млн файлов на обычном сервере - 16 гб, 4 ядра, ssd- выполнялся 3-5 мин.) но доступ к одному конкретному файлу по полному пути будет почти мгновенный.

    Но в принципе, лучше разбивать по подпапкам.
    Ответ написан
    Комментировать
  • Какое облачное хранилище выбрать для "вечного" хранения?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    Бесплатного такого нет.
    Можно посмотреть самый дешевый холодный бэкап, типа 0,01 $ за гигабайт‑месяц
    Полтора бакса в год будет на ваших 13 гб.

    Бесплатно можно попробовать сделать пару аккаунтов с гуглдрайвом, и сделать несколько бэкапов.
    Но "залить и забыть нельзя". Меняются политики компании, меняются условия. Предсказать что будет через 5-10 лет нельзя.
    Ответ написан
    2 комментария
  • Размер диска указывается вместе с размером MFT?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    1.
    12 гбайт являются частью раздела, и после создания раздела в 100.000000.000 вы увидите мЕньшее свободное место.

    Чтобы точно считать сколько вы сможете записать данных, надо понять разницу между гигабайт и гибибит.
    Опять же, если это одним файлом - то да, почти 88 гб. Если много маленьких файлов - все меняется.

    2. Нет, отдельно купленные диски показывают размер обычно в гибибиитах, и это вообще еще без файловой системы. Количество данных которые можно записать будет зависеть от разбивки по разделам (при покупке ноута с предустановленной системой, вполне может быть несколько скрытых разделов для "восстановления винды к заводским настройкам". И от файловой системы.

    MFT есть только в NTFS, в других файловых системах есть аналог. например в FAT - File Allocation Table, в линуксах это iNodes и так далее.

    У каждой файловой системы есть свои плюсы и минусы, и нет особого смысла выигрывать несколько гигабайт именно за счет файловой системы, тем более для домашнего использования.
    Если проблемы с местом - лучше докупить диск побольше.
    Ответ написан
    5 комментариев
  • Sim карта, как можно использовать не по назначению?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    У симкарты - только один интерфейс, и без него она собственно и работать не будет. Поэтому использовать ее как микрокомпьютер нет смысла - вам нужен еще один компьютер чтобы работать с самой симкартой.

    Можете попробовать почитать спецификации.
    Просто неясно что именно имеется ввиду про "не по назначению". Если вы хотите уже переиспользовать готовые сим-карты, то неясно чьи и как именно они устроены. Могут быть быть без флешки, то есть ничего на них не запишешь.
    Опять же программатор для флеш памяти под симки - надо разбираться как это все работает.

    https://habr.com/ru/post/93210/

    Проще их использовать по назначению, и выкинуть использованные. Чем вас не устраивает современный энергоэффективный компьютер для вычислений? С точки зрения скорости работы он будет явно поэффективнее кучи сим-карт.
    Ответ написан
    2 комментария
  • Чем синхронизировать файлы между 3мя серверами?

    saboteur_kiev
    @saboteur_kiev Куратор тега Linux
    software engineer
    А что за файлы?
    Если конфиги (текстовые), то можно и гитом.
    Ответ написан
    Комментировать
  • Как лучше организовать IT-инфраструктуру предприятия?

    saboteur_kiev
    @saboteur_kiev Куратор тега Компьютерные сети
    software engineer
    На что установлен ориентир:
    В первую очередь разумеется стабильная работа с отказоустойчивой системой.

    Берем нормальную стойку для серверного и сетевого оборудованием.

    Можно легко поискать бушную.

    1. Сеть
    В первую очередь хотелось бы перекроить в нормальные короба с выводом розеток, а не набивать провода в тонкие кабель-каналы.

    Какая разница в чем идут кабеля? Главное чтобы они шли не в одном канале с силовыми и их было достаточно.

    Кабель выберем экранированную витую пару.

    Это специфическое решение, в основном или в случае сильных наводок, что нечасто встречается в офисных помещениях, либо часто экранированную кладут по улице. И вообще, в случае сильных наводов, сейчас не так дорого оптику проложить в самом неприятном месте.
    В вашем случае экранированная может быть совершенно необязательной.

    Тут встает выбор:
    1. Или на каждый этаж заводить управляемый коммутатор из дешевого сегмента (D-Link какой-нибудь на 16-24 портов), что не особо нравится в плане расширения. Поэтому склоняюсь к второму варианту.

    Заводите на каждый этаж несколько пар. Надо будет расширить - подключите на этаже 2-3 коммутатора. Вдобавок если какой-то кабель повредился, будет запасной. Вдобавок некоторые коммутаторы умеют увеличивать скорость за счет объединения двух портов.

    2. Разорится на парочку многопортовых стоечных коммутаторов и вести к каждой машине свой кабель.
    На сколько нарыл в интернете можно взять 2 по 48 портов, объеденить их.

    Очень часто бывают внутренние перестановки, со сносом стен и новыми кабинетами. Поэтому проще на каждом этаже сделать небольшой ящик, от которого все раскидывается по этажу, в ящике - коммутатор. От серверной в ящик несколько пар или оптика.

    Дальше, т.к. в наличии есть филиалы, то не обойтись без маршрутизатора.

    Если что, некоторые провайдеры могут вам предоставить услугу "корпоративная сеть", организовав впн с вашими филиалами. Зависит от их расположения и подключения.

    Он в дальнейшем поможет организовать и активный резервный канал связи, соответственно 2 WAN порта + wifi модуль.
    WiFi будет для пользовательский мобильных устройств через резервный канал, т.к. основной канал планируется резать от "паразитного" трафика - только рабочие ресурсы.

    Vlan

    2. Сервер
    Тут меня одолевают смутные сомнения, взять 2 сервера и объединить их в кластер для оперативной подмены или
    в целях экономии взять 1 сервер и считать что ничего с ним не случиться.
    Хотелка для серверов: недорогая стоечная kvm консоль с IP.

    Говоря "сервер" нужно сразу говорить сервер чего. Что он будет делать.
    Кластер нужен если простой стоит гораздо дороже, чем поднять из бэкапа. А сейчас поднять виртуалку из бэкапа - дело очень быстрое.

    По серверам мысль такая:
    Про кластер из 2х новых серверов, если позволит бюджет, я уже сказал (пока не углублялся, но как понял во время работы синхронизируется, можно настроить распределение нагрузок и при выходе одного сервера из строя, идет полное переключение на второй)

    1 виртуальный сервер - Linux Ubuntu: Работает как DHCP-сервер (? или лучше отдать роль коммутатору/маршрутизатору) + как домен контроллер и служба каталогов (LDAP. Беглый анализ показал что популярности Samba) + сервер лицензий.

    Нагрузка на домен контроллер, DHCP и ldap обычно такая маленькая, что совершенно нет смысла делать для этого кластер. Обычная виртуалка на виртуалбокс справится с офисом на пару сот рабочих мест. А учитвая, что новые юзеры/новые машины в домен заводятся нечасто, бэкап недельной давности может оказаться вполне актуальным. Поэтому вместо кластера - просто каждую ночь резервная копия всей виртуалки на другой физический комп, и в случае чего просто поднимаете виртуалку с домен контроллером на другом сервере за пару минут. Сразу минус все сложности с кластерами.

    2 виртуальный сервер: ОС будет зависеть если все таки отыщется лицензия на MS SQL и Windows Server. Если нет, то ставим Linux Ubuntu и отдаем сервер под базу данных на PostgreSQL. Приоритет ресурсов: память.

    А зачем вам база, если так легко переезжаете с одной на другую? Если вам непринципиально, то сразу PostreSQL берите, зачем с лицензиями мучаться и виндой?

    3. Хранение данных

    Серьезно? SSD, точнее РЕЙД из SSD для хранения драйверов инсталляшек и бэкапов?
    SSD нужно разве что под postgres или 1C и без всяких рейдов, все остальное - на обычные HDD.
    Бэкапы настраивать исходя из предположительных потерь в случае простоя.

    1. Стоить ли заморачиваться с программными рейдами на виртуалках, если их образы будут храниться на внешнем рейде?

    Рейд имеет смысл исключительно на первом уровне. Если у вас диски виртуализированы - рейд не нужен.
    Рейд нужен только для исключительно критичных каждую минуту данных. Если компания может подождать час, зачем рейд? Тем более, что многие сервисы можно поднять виртуалку из бэкапа за 5 минут.

    5. Что мог упустить из виду в этом наброске плана?

    Наймите в вашем городе сисадмина или компанию, которая настроит или разработает для вас детальный план, и будет консультировать первые пару месяцев.
    Ответ написан
  • Что лучше - ext4 или NTFS с точки зрения сохранности данных?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    От файловой системы тут мало что зависит. Вы же не делаете бэкап на глючный диск.

    Линукс не очень хорошо работает с NTFS, а винда не очень хорошо работает с ext4, поэтому выбирайте все-таки больше по тому, какую OS используете.
    Но в принципе, восстановление данных с NTFS более вероятно чем с ext4 в домашних условиях. Но если дело дойдет до этого, то честно говоря разница в файловой системе вряд ли вам сильно поможет. Лучше уж тогда бэкапы сделать в два разных места.
    Ответ написан
    Комментировать
  • Деградация файлов -- это нормально?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    Файлы не могут деградировать. Деградировать могут диски, но при этом файлы просто перестают читаться. Если файл прочитался (практически все форматы изображений, видео, музыки имеют контрольный код для сверки), то 99.9999%, что он точно такой же как и раньше.

    Либо у вас что-то с софтом, которым вы открываете эти файлы.
    Либо, как вариант, может какой-то вирус покоцал файлы, но я не знаю современного вируса, который бы портил их частично. Криптеры просто целиком криптуют.
    Ответ написан
    6 комментариев
  • Как перенести файлы по части имени?

    saboteur_kiev
    @saboteur_kiev Куратор тега Linux
    software engineer
    mv *(198?)* /home/fywy/task1/video/80x/
    Ответ написан
  • На сколько райд 1 хорош для увелечения скорости рандомного чтения диска?

    saboteur_kiev
    @saboteur_kiev Куратор тега Железо
    software engineer
    Если у вас хороший рейд контроллер, то и Raid0 и Raid1 увеличат рандомное чтение примерно одинаково - на количество устройств в рейде.

    Если встроенным рейдом на дешевой материнке, особенно в которой вместо Raid0 написано joilet0 - то можно и не заметить ничего.
    С софтварным не скажу. По идее скорость должна увеличиться, но насколько...
    Ответ написан
    Комментировать
  • Что такое возможности по сохранению резервной информации, как параметр файловой системы и какие ФС имеют данную возможность?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    Думаю речь идет про теневые копии.

    ntfs, btrfs, zfs это умеют
    Также на линукс можно через LMV это сделать везде.
    Но теневые копии это не та резервная информация которая может заменить бэкапы.
    Ответ написан
    Комментировать
  • Стоит задача организовать хранение 30 ТБ фото и видео материалов с гарантией того, что ни один бит хранимых данных не исказится. Как это реализовать?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    Взять NAS на 8 дисков, забить их 8-терабайтными или 10-терабайтными SATA дисками.
    Организовать их в рейд с зеркалированием. Вовремя менять, если диск вышел из строя. Может имеет смысл сразу купить один запасной диск, чтобы был под рукой.

    Дешевле - только если материнка позволяет подключить такое количество дисков.
    Ответ написан
    Комментировать
  • Как предотвратить поломку файловой системы на рам-диске?

    saboteur_kiev
    @saboteur_kiev Куратор тега Системное администрирование
    software engineer
    Варианта два
    1. баг в рамдиске
    2. глюки с железом - память, или в редких случаях проц.

    Рекомендую планку памяти проверить/поменять.
    Ответ написан
    Комментировать
  • Что почитать или/и что посмотреть (видео уроки) по ОС?

    saboteur_kiev
    @saboteur_kiev Куратор тега Системное администрирование
    software engineer
    Анна, судя по вашим вопросам, учат вас по жутко древним и устаревшим материалам. Поэтому если вам нужно подготовиться именно к экзамену - насилуйте вашего преподавателя, потому что нахватавшимь современных и актуальных представлениях о том, как это все работает - вы можете с вашим преподавателем не сойтись во мнениях.
    А во-вторых 30 лет назад, во времена Нортона, все это было в разы проще чем сейчас, поэтому как бы давалось пользователям. Сейчас это все усложнилось настолько, что не каждый администратор углубляется в подобные вопросы.
    То же управление процессами в Линуксе - сменилось уже несколько представлений о том, как это должно работать. Многие современные курсы все еще оперируют timeslice, хотя они уже давно устарели. Многие считают что CFS это стандарт, а он лишь треть того, что происходит на самом деле.
    Ответ написан
    3 комментария
  • Как думаете, тексты, сжатые с помощью zlib сейчас, получится распаковать через 100 лет?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    Конечно да.
    Все, что было сжато 100 лет назад, сейчас успешно разжимается, не говоря уж о том, что было сжато в 80-90е.
    Ответ написан
    Комментировать