Blogerator.org

× Версия для печати

В мае 2011 года, в расширенном докладе Майкла Рубина (Michael Rubin), занимающегося системами хранения данных в Google (и ответственный в первую очередь за их развитие и масштабирование), прозвучал подробный сравнительный обзор современных файловых систем, в котором, кроме перечисления их преимуществ и недостатков, были даны и некоторые прогнозы о будущем развитии и потребностях информационной индустрии в этой сфере.

В частности, была рассмотрена способность существующих файловых систем (ФС) адаптироваться к вызовам уже ближайшего будущего, в связи с чем, из всех были выделены четыре ведущие файловые системы «новой школы», изначально спроектированные с учетом удовлетворения самых взыскательных требований и запросов.

Майкл Рубин отдельно подчеркнул, что Google умышленно не рассматривал среди числа этих перспективных ФС, такие некогда популярные проекты, как JFS, ReiserFS, а также инновационную Tux3, — из-за их хронических проблем с графиком разработки и недостаточной поддержкой кодовой базы. Поэтому они, будучи скорее «мертвыми» чем «живыми», не позволяют рассматривать их как реальные варианты для будущей миграции.

Среди всех рассмотренных вариантов, в том числе отчасти мифических (например, таких, как WinFS), были тщательно отобраны лучшие претенденты, которые уже сегодня (или в ближайшем будущем) смогут стать успешным решением для больших информационных хранилищ. Сегодня мы рассмотрим и сравним основные плюсы и минусы каждого из этих четырех претендентов, чтобы помочь сделать ваш выбор своей файловой системы будущего.

Но перед тем как мы подробно ознакомимся с меню из наиболее перспективных файловых систем ближайшего будущего по версии экспертов Google, попробуем определиться и рассказать, что имеет в виду Google, когда говорит, что мы входим в новую стадию развития ИТ — «Эпоху Больших Данных».

Зетта-наводнение грядёт...

Только в 2008 году было создано около 5 экзабайт уникальной информации. Чтобы разместить такой объем данных, требуется 1 млрд DVD-дисков. Всего три года спустя размер уникальной информации возрос до 1,2 зеттабайта.

Чтобы создать аналогичное количество данных в Твиттере, каждому жителю Земли пришлось бы размещать твиты в течение 100 лет. Если же пересчитать этот объем на размер файла длящегося один час телешоу, то такой видеозаписи хватило бы на непрерывное воспроизведение в течение 125 лет.

Сравнительные цифры

Чтобы более наглядно представить все эти цифры, а также, чтобы немного лучше познакомить читателя с предстоящими необычными единицами измерений информации (пока необычных ему в том смысле, что пока они совершенно не встречаются в его бытовом окружении). Это поможет понять, почему Google так остро озабочен надвигающимся зетта-наводнением, тщательно готовясь к нему уже сегодня.

Человечество ежегодно создаёт миллиарды гигабайт информации, и эта инфо-цунами грозит захлестнуть нас совсем скоро. Журнал Wired приводит такие любопытные факты с наглядным сравнением различных объемов информации от терабайта (1000 ГБ) до петабайта (1000 ТБ):

• На терабайтном жестком диске можно разместить 260 тыс. музыкальных композиций.
• 90 терабайт фотографий пользователи ежемесячно закачивают в Facebook.
• 120 терабайт данных и фотографий произвел телескоп Хаббл за всё время своего существования.
• 500 терабайт информации еженедельно продуцирует Большой адронный коллайдер.
• В 460 терабайт умещаются все данные о погоде, накопленные в Национальном климатическом датацентре (США).
• 530 терабайт новых видеофайлов еженедельно закачивается на YouTube.
• 600 терабайт — таков объем генеалогической базы данных Ancestry.com, записи с 1790-го по 2000-й.
• 1 петабайт данных — именно столько обрабатывают серверы Google каждые 12 минут.

Почувствовали ничтожность своего многогигабайтного жесткого диска по сравнению с подобными «океанами» информации?!

Этот цикл статей даёт исчерпывающий ответ на этот вопрос. Вот общий план перевода всего доклада Google по «большим» файловым системам готовым к приёму так называемых зетта-данных:

• Введение (этот пост);
• Описание и общие характеристики ZFS;
• Описание и общие характеристики btrfs;
• Описание и общие характеристики HAMMER;
• Описание и общие характеристики XFS;
• Сравнение этих ФС и общий практический вывод.

~

В заключение этого введения, длинная простыня инфографики по вышеупомянутым «мегаединицам» для измерения больших объемов данных новой эры — сравнительные цифры и факты о Петабайте.