С увеличением количества данных все более важным становится вопрос их хранения. На TechCrunch вышла колонка венчурного капиталиста Дона Бэзила, в которой он приводит 4 способа решения проблемы. Мы подготовили для вас перевод статьи.

Вы когда-нибудь пытались сосчитать все случаи использования данных за день? Как много потребленных калорий, занятий, заданий, сообщений, проектов, разговоров, записей и другой информации учитывается и используется при помощи хранилища данных ежедневно? Готов поспорить, вы никогда не сможете закончить этот список.

Многие из нас никогда не задумываются, что же это означает, но данные растут экспоненциально – и им не видно ни конца ни края. В мире уже больше миллиарда мобильных телефонов, производящих 18 эксабайт (миллиард гигабайт) данных ежемесячно. По мере роста количества подключенных к интернету вещей приборов, вывод данных с самых различных устройств от автомобилей до бытовой техники будет увеличиваться еще больше.

К 2020 году IDC предсказывает тысячекратное увеличение количества данных, которое достигнет впечатляющих 44 зеттабайт. Единственная логичная реакция на эту лавину – создание новых способов хранения и извлечения максимальной пользы из всей этой информации.

В последние годы искусственный интеллект и машинное обучение стали крупнейшими направлениями исследований в ответ на этот информационный «потоп», тогда как алгоритмы вырабатывают шаблоны, помогающие в управлении данными. Хотя это и шаг в верном направлении относительно изучения данных, их хранение до сих пор остается проблемой. Несмотря на интересные открытия, которые делаются в области хранения данных в молекулах ДНК, на данном этапе реалистичные решения все еще не похожи на фантастические фильмы. Существует 4 реализуемых способа выхода из тяжелого положения, связанного с недостатком вместимости хранилищ данных.

Гибридное облако

Мы все понимаем концепцию облачного хранилища. Хранение в гибридном облаке немного от него отличается: оно задействует как облако, так и аппаратное оборудование. Увеличение объема достигается за счет программы-мэшапа, имеющей доступ к обоим видам хранения, и выбирающей из них в зависимости от уровня безопасности и доступности.

Гибридное хранение – ответ на распространенные опасения, связанные с надежностью, нормативностью и низким быстродействием, которые вызывает обычная облачная модель. Данные могут храниться как на месте, так и в облаке, в зависимости от классификации риска, необходимой скорости работы и загрузки сети. Предприятия, выбирающие гибридное хранение, привлекают возможность увеличения объемов и рентабельность в сочетании с возможностью сохранения данных конфиденциального характера вдали от посторонних глаз вне общедоступного облака.

Только flash

Флэш-память – самый распространенный тип хранения информации в потребительской технике, включая мобильные телефоны. В отличие от традиционного метода записи на диски, флэш-память хранит информацию и открывает доступ к ней прямо через полупроводник. В то время как цены на флэш-носители продолжают падать, а технология развивается, позволяя вмещать все больше данных на картах одинакового размера, выбор flash является разумным для многих предприятий среднего бизнеса.

Недавние прорывы в области хранения данных, совершенные компанией Pure Storage, позволяют поднять использование технологии flash на новый уровень, делая ее реальным претендентом на победу в войне за внимание крупных корпораций. Pure применила свой заключающийся в повсеместном использовании flash подход к хранению, создав блок FlashBlade, способный хранить беспрецедентное количество неструктурированных данных – петабайты. Ящик размером с холодильник способен вместить до 16 петабайт данных, но это число может увеличиться вдвое к 2017 году, считает сооснователь компании Джон Хэйз. 16 петабайт – уже в 5 раз больше, чем в традиционных носителях, так что очевидно, что техническое решение Pure с возможностью масштабирования  – шаг в правильном направлении.

I-SDS

Интеллектуальные программно-определяемые хранилища (I-SDS) позволяют избавиться от громоздкого закрытого аппаратного обеспечения, с которым у нас часто ассоциируется хранение данных, и заменить его инфраструктурой, управляемой и автоматизируемой интеллектуальным ПО. Использование I-SDS также позволяет сократить расходы и повысить быстродействие системы.

I-SDS движется к модели хранилища, напоминающей человеческий мозг, хранящий огромные пласты информации и имеющий уникальную способность в любой момент активировать нужную. В общем и целом, I-SDS позволяет группировать большие потоки данных. Сочетание приблизительного поиска и извлечения данных из потока позволяет обрабатывать огромные массивы данных, одновременно с этим выводя наиболее распространенные и подходящие результаты поиска. Подобные технологии дают I-SDS огромное преимущество перед устаревшими способами хранения, поскольку их совместное использование позволяет значительно увеличить как скорость работы, так и ее точность.

«Холодное» хранение

«Холодное» хранение данных очень экономично, если не использовать его часто. Содержание на более медленных и недорогих дисках информации, доступ к которой не требуется постоянно, освобождает пространство на более быстрых дисках для информации, которая может понадобиться в любой момент. Это свойство отлично подходит крупным предприятиям с большими архивами, к которым не нужно обращаться часто.

Подобные компании могут распределять информацию на основе ее «температуры»: более горячие данные можно хранить на флэш-носителях, где к ним можно получить более быстрый доступ, а архивы – на малозатратных холодных дисках. Тем не менее, лавина больших данных, которые в огромном количестве собирают предприятия, приводит к тому, что не всегда понятно, какая информация представляет ценность, а какую можно отложить в долгий ящик.

Больше данных — более разумное хранение

При экспоненциальном росте количества данных растет и осязаемая польза, которую приносит компаниям сбор информации о потребителях и продуктах. Хранение данных должно быть быстрым, удобным в использовании, эффективным, надежным и недорогим – это длинный список качеств в мире, где рост объема данных превышает рост населения. Будет очень интересно узнать, какой из методов лучше удовлетворит всем этим требованиям.