Рекомендации фотографам по хранению

Многие фотографы и видеооператоры часто используют локальное хранилище своих компьютеров для хранения медиафайлов. Когда диски их компьютеров заполняются, они часто приобретают внешние жесткие диски, чтобы разгрузить часть или все данные, разделяя данные и затрудняя быстрый доступ и резервное копирование. Другие выбирают выделенные массивы хранения, которые обрабатывают все данные в одном месте, хотя и за более высокую цену, а иногда и за сомнительные результаты.

Для человека, не разбирающегося в технологиях, выбор подходящего решения для хранения данных может оказаться сложной задачей. При таком большом количестве различных решений DAS (хранилище с прямым подключением) и NAS (хранилище с прямым подключением) на рынке можно быстро запутаться, что в конечном итоге приведет к множеству проблем с хранилищем. Поскольку неправильное управление хранилищем потенциально может привести к потере данных и другим проблемам, всегда полезно пересмотреть свои потребности в хранилище и выбрать лучшее решение, которое не только удовлетворит ваши сегодняшние требования к хранилищу, но и поможет увеличить объем ваших данных в будущем.. В этой статье мы подробно рассмотрим различные решения для хранения данных, определим плюсы и минусы каждого из них и, надеемся, поможем вам выбрать лучшее решение для хранения данных, соответствующее вашим потребностям.

Обработка роста данных

Год за годом разрешение устройств записи и вывода увеличивается значительными темпами. Хотя несколько лет назад мы имели дело с камерами, которые имели разрешение не более 8-12 мегапикселей (МП), а типичные мониторы / телевизоры не превышали 1080p, с тех пор ситуация определенно изменилась. Обычное разрешение камеры увеличено до 20-24 МП (а полнокадровые камеры с высоким разрешением - 100 МП), тогда как в большинстве магазинов электроники больше нет даже экранов с разрешением 1080p, а телевизоры и мониторы переводятся на 4K и более высокое разрешение.

В результате этих изменений размер носителя также значительно увеличился. Всего за пару лет размер файлов RAW увеличился в четыре раза с 8-12 мегабайт (МБ) до 40-50 МБ в среднем при съемке цифровыми камерами с разрешением 36 МП и выше, а видео 4K представляет собой новый уровень проблем с хранением, а не не только с точки зрения места для хранения, но и с точки зрения скорости хранения, позволяющей справляться с большим объемом текущих данных. Хотя вы можете сделать все возможное, чтобы сократить потребности в резервном копировании, большие файлы и дополнительные данные, с которыми вам приходится иметь дело ежедневно, не позволяют свести к минимуму потребности в хранилище.

Весь этот рост объема данных затрудняет хранение медиафайлов на одном ноутбуке или компьютере, поэтому большинство фотографов и видеооператоров в конечном итоге приобретают внешние накопители большой емкости, на которые они выгружают данные. Как только эти диски заполняются или наступает новый год, они обычно покупают больше дисков для размещения своих новых данных, в результате чего у них появляется коллекция внешних дисков, управление которыми становится кошмаром.

Поскольку данные разделены по множеству разных дисков, доступ к старым данным становится затруднительным, выполнение рутинных резервных копий становится затруднительным, а большое количество различных устройств с разной емкостью и возможностями подключения затрудняет управление данными в целом. И не будем забывать о типично мизерной скорости доступа к данным с внешних устройств. Звучит знакомо? Для меня это точно так, как я сам делал это в прошлом. И я знаю ряд профессиональных фотографов, которые до сих пор полагаются на такие методы рабочего процесса.

Что, если бы существовал способ упростить процесс, поместив все данные в одно место? Не облегчит ли это быстрый доступ к данным и управление ими? Вот тут-то и вступают в игру массивы хранения.

Что такое массив хранения данных?

Проще говоря, массив хранения данных (также известный как дисковый массив) - это выделенный блок, в котором можно разместить несколько накопителей (обычно жесткие диски или твердотельные накопители) для хранения данных и доступа к ним. Самые простые и наименее дорогие массивы хранения обычно вмещают от двух до четырех дисков, тогда как массивы хранения более высокого класса могут вмещать пять или более дисков и предлагают высокие скорости, больше возможностей подключения и могут даже запускать собственную операционную систему для работы с различными собственными и сторонними системами. Приложения. В отличие от типичных локальных и внешних хранилищ, массивы хранения более высокого класса часто имеют встроенные функции обнаружения ошибок и резервирования, позволяющие снизить вероятность потери данных, что делает их более надежными и масштабируемыми в долгосрочной перспективе.

Ниже приведены основные архитектуры хранения, с которыми вы можете столкнуться сегодня:

Хранилище с прямым подключением (DAS)

Любое хранилище, требующее прямого подключения к компьютеру, можно считать DAS. Например, ваш жесткий диск или твердотельный накопитель на вашем компьютере - это DAS. Внешний диск или массив хранения данных, подключенный к компьютеру с помощью Thunderbolt или USB-кабеля, также является DAS. DAS обычно полезен только для установки на одном компьютере и обычно не предназначен для автономной работы. DAS предоставляет компьютеру хранилище на уровне блоков или RAW, поэтому его тома хранения обычно управляются через компьютер, к которому он подключен.

Сетевое хранилище (NAS)

Как следует из названия, сетевое хранилище подключается к одному или нескольким компьютерам через проводную или беспроводную сеть (хотя варианты подключения к беспроводной сети обычно недоступны из-за проблем с надежностью беспроводной связи). Поскольку NAS не подключен напрямую к компьютеру, для управления хранилищем ему требуются собственный процессор и память, и, следовательно, он предназначен для автономной работы. NAS идеально подходит для многопользовательской установки и, как показано в следующем разделе, имеет множество преимуществ перед DAS, особенно когда речь идет о доступе к данным. В отличие от DAS, NAS обеспечивает хранилище на уровне файлов, к которому можно получить доступ с нескольких компьютеров одновременно.

Сеть хранения данных (SAN)

Сети хранения данных более сложны, чем DAS и NAS, и они обычно используются в более крупных средах, где требуется высокий уровень производительности, надежности, масштабируемости и избыточности в средах центров обработки данных, где можно использовать один большой массив хранения данных. используется для предоставления хранилища на уровне блоков нескольким серверам. Поскольку SAN является излишним для большинства фотографов, мы не будем рассматривать его в рамках этой статьи.

В зависимости от архитектуры массивы хранения могут быть как простыми, так и очень сложными. Простые и удобные в использовании массивы хранения данных, как правило, являются наиболее доступными по цене, предоставляя очень мало вариантов конфигурации для быстрого начала работы, тогда как массивы хранения данных, предназначенные для малого и среднего бизнеса, могут иметь множество вариантов конфигурации и подключения, что затрудняет их использование. внедрять и управлять.

DAS против NAS

Давайте посмотрим на преимущества и недостатки DAS и NAS:

Преимущества DAS:

Простота настройки: DAS прост и понятен каждому. Он действует как диск на вашем компьютере. Вы можете легко отформатировать его, изменить его размер и разбить на разделы с помощью стандартных инструментов операционной системы. Он не требует сети или какой-либо другой дополнительной настройки.
Отличная скорость: при подключении через Thunderbolt или USB 3.1 DAS может обеспечить невероятную скорость, используя все преимущества хранилища.
Лучшая задержка: у прямого соединения всегда будет меньшая задержка, чем у сетевого подключения.
Низкая стоимость. Несмотря на то, что существуют дорогие массивы хранения данных DAS, большинство решений DAS изначально стоят очень дешево. Простой жесткий диск в корпусе - это DAS, и вы даже можете приобрести дешевую установку DAS с двумя дисками, которая может обеспечить избыточность в конфигурации RAID 1 (зеркальная).
Идеально для путешествий: для тех, кто часто путешествует, идеально подойдет простой корпус DAS с одним или двумя дисководами, поскольку он занимает очень мало места.

Недостатки DAS:

Только для одного компьютера: DAS должен быть подключен к одному компьютеру, и его хранилище нельзя использовать совместно с несколькими компьютерами с помощью нескольких кабелей. После подключения хранилище может использоваться несколькими компьютерами по сети через операционную систему компьютера, но для этого требуется, чтобы DAS компьютера был всегда включен, что увеличивает энергопотребление.
Ограниченные возможности: поскольку DAS всегда требует подключения к компьютеру, его возможности могут быть весьма ограничены, когда речь идет о таких вещах, как внешний доступ. Вместо предоставления доступа исключительно к массиву хранения необходимо предоставить доступ к компьютеру, к которому подключен DAS, и настроить веб- или файловый сервер, что является довольно технической задачей. DAS нельзя управлять по сети, поэтому, если что-то пойдет не так, необходимо иметь доступ к компьютеру для управления DAS.
Потенциальные проблемы с подключением: для достижения наилучшей производительности DAS должен иметь на своей стороне быстрый контроллер + порт подключения, а скорость контроллера и порта должна совпадать со скоростью на компьютере, иначе скорость будет ограничиться самым медленным соединением. Например, если USB 3.1 DAS подключен к порту USB 3.0, его скорость замедлится вдвое. А если он подключен к старому порту USB 2.0, он будет работать медленно, что приведет ко многим разочарованиям. Кроме того, из-за частого использования DAS-устройств процесс подключения и отключения интерфейсных кабелей может привести к повреждению кабелей и интерфейсных портов.
Риск потери данных на простом DAS: При использовании простого DAS с одним диском (один локальный диск или один внешний диск) существует высокая вероятность потери данных в случае сбоя диска. В идеале, если вы используете DAS, он должен быть настроен как минимум с двумя дисками в конфигурации RAID 1 / зеркало.

Преимущества NAS:

Идеально для многопользовательской среды. Одним из самых больших преимуществ сетевого хранилища является то, что его можно настроить для многопользовательской работы. Поэтому, если в вашей сети несколько компьютеров, и вы хотите иметь с них надежный доступ к одному и тому же хранилищу, не требуя, чтобы один компьютер всегда использовал одно и то же соединение, вам нужен NAS.
Энергоэффективность: поскольку выделенное устройство NAS имеет собственный процессор и память, производители часто используют очень энергоэффективные процессоры и память, чтобы снизить энергопотребление устройства NAS. Хотя при использовании DAS вы будете расходовать много энергии (мощность компьютера + мощность DAS), вы сэкономите немало денег, выбрав энергоэффективный NAS.
Лучшая избыточность: большинство NAS-массивов имеют встроенные RAID-контроллеры, которые обеспечивают отличную проверку ошибок и возможности резервирования.
Выделено для хранения: NAS - это выделенное устройство хранения, которое ничего не делает, кроме хранения данных для компьютеров и других устройств в сети. Благодаря этому его можно оптимизировать для предоставления быстрого, надежного и масштабируемого решения, отвечающего многим требованиям к хранению данных.
Изолированные пользователи и разрешения: поскольку NAS работает автономно, для него можно настроить структуру пользователей и разрешений, отличную от структуры вашего компьютера(ов), сохраняя отдельную безопасность и упрощая предоставление доступа к определенным папкам.
Встроенные приложения: Еще одним большим преимуществом NAS является то, что он поставляется с набором встроенных приложений, которые расширяют функциональность устройства. В зависимости от его популярности могут быть доступны даже сторонние приложения. для вас, чтобы развернуть. Например, вы можете легко превратить NAS в развлекательное устройство, которое передает аудио- и видеоконтент на телевизоры и другие устройства в вашей сети. Вы можете настроить NAS для автоматического выполнения резервного копирования на ваших компьютерах. Вы можете настроить файловый сервер, веб-сервер или даже телефонную систему.

Недостатки NAS:

Более сложная настройка: по сравнению с DAS, NAS сложнее настроить. Необходимо правильно настроить сеть, понимать основы работы в сети (например, назначение IP-адреса устройству) и иметь одинаковую скорость интерфейса на всех устройствах и кабелях. Например, если устройство NAS имеет сетевое соединение 1 Гбит, все кабели, сетевые карты и коммутаторы в сети, которым требуется доступ к 1 Гбит, должны соответствовать этой скорости.
Проблемы с пропускной способностью/скоростью сети. Хотя современные интерфейсы DAS оптимизированы для обеспечения пропускной способности 10 Гбит+, современные сети не поспевают за такими темпами. Даже ноутбуки и компьютеры последнего поколения поставляются с портами Ethernet, пропускная способность которых ограничена 1 Гбит, а большинство устройств NAS потребительского уровня также ограничены портами 1 Гбит. Хотя такие производители, как QNAP и Synology, поставляют свои устройства NAS как минимум с двумя портами, чтобы обеспечить большую пропускную способность сети с помощью протоколов агрегации каналов, такие настройки требуют специальных сетевых коммутаторов и могут быть трудными в настройке.
Медленная задержка: поскольку все данные передаются по сети, могут возникнуть проблемы с задержкой, особенно если сетевое соединение уже интенсивно используется.

Как видите, одно не обязательно лучше другого: как устройства DAS, так и NAS, а также массивы хранения имеют свои преимущества и недостатки. Поэтому, прежде чем принять решение о покупке, вы должны полностью их понять и быть готовыми к решению потенциальных проблем, с которыми вы можете столкнуться.

Аспекты скорости DAS и NAS

Хотя массивы хранения с прямым подключением способны обеспечивать исключительную скорость (при условии, что используется быстрый интерфейс, такой как USB 3.1 или Thunderbolt, как указано выше), самым большим узким местом сетевого хранилища является сеть. Поскольку в большинстве домов и офисов используются старые кабели CAT-5e, которые ограничивают пропускную способность сети до 1 Гбит, для работы значительно более быстрой сети требуются не только более мощные коммутаторы и сетевые карты, но и потенциально новые кабели, замена которых может оказаться непомерно дорогостоящей (обратите внимание, что кабели CAT-5e и CAT-6 потенциально могут поддерживать 10 GbE на более коротких расстояниях).

Можно утверждать, что массив DAS будет лучшим решением, поскольку он может обрабатывать гораздо большую пропускную способность. Однако массивы NAS имеют множество преимуществ перед массивами DAS, особенно в многопользовательской среде. С помощью устройства NAS доступ к вашим мультимедиа можно получить с любого компьютера в вашей локальной сети (LAN), а если вам нужен доступ к вашим файлам во время путешествия, вы также можете загрузить свои данные через Интернет, без необходимости держать один компьютер включенным. все время. NAS потребляет намного меньше энергии, чем DAS, подключенный к компьютеру, и можно использовать все виды собственных и сторонних приложений, чтобы получить больше функций от NAS, таких как автоматическое резервное копирование компьютера, автоматическая репликация на другие устройства NAS и возможность потоковой передачи мультимедиа. к домашним развлекательным устройствам. Наконец, большинство массивов NAS созданы для круглосуточной работы и являются самоуправляемыми, в то время как массивы DAS потребительского уровня обычно этого не делают.

По этим причинам я предпочитаю NAS DAS в качестве решения для хранения фотографий и видео. Хотя раньше меня вполне устраивали NAS-массивы 1 GbE, скорость передачи данных 100-120 МБ/с была слишком ограничена для моей работы, особенно когда я начал снимать камерами с высоким разрешением и работать с видео. В результате, несмотря на более высокие затраты, я перешел на сеть 10 GbE и массивы NAS, поддерживающие сетевые карты 10 GbE.

Поэтому, если вы пытались выбрать решение NAS, помните об упомянутых выше проблемах с узкими местами в сети и обязательно планируйте будущее. Если вы работаете с видеоконтентом 4K+ или у вас есть особые требования к скорости и вам не нужно более одного компьютера для доступа к вашему хранилищу, высокопроизводительный DAS может подойти. А если вы ищете что-то более мощное и масштабируемое, вам следует серьезно присмотреться к NAS с возможностью 10 GbE.

Потребность в большем и быстром хранилище

К счастью, с ростом количества материалов для фото- и видеосъемки производители систем хранения данных также работают над увеличением емкости хранилища. Если несколько лет назад мы были ограничены дисками емкостью 4 ТБ, то теперь доступны жесткие диски потребительского уровня емкостью 16 ТБ. Хотя стоимость за ГБ по-прежнему остается высокой, M.2 NVMe и твердотельные накопители также увеличивают емкость: на рынке уже доступны варианты емкостью 4 ТБ+.

В результате теперь у нас есть массивы хранения данных чрезвычайно большой емкости, способные обрабатывать большое количество данных. А благодаря дополнительному преимуществу создания больших кэшей на основе накопителей M.2 и SSD можно добиться невероятных скоростей и на таких массивах. Наконец, благодаря сочетанию различных форм-факторов и типов устройств хранения данных, мы начинаем видеть, как многоуровневое хранилище выходит на потребительский рынок, и это очень интересно!

А теперь давайте взглянем на некоторые из лучших решений для хранения данных, доступных на рынке, которые мы рекомендуем нашим читателям.