Новости про HDD и статистика

Работая в серверах, отказавшие HDD функционировали в среднем около двух с половиной лет, что противоречит гарантийному законодательству ЕС, которое требует минимум три года гарантии.

Статистика собрана по тридцати различным моделям HDD объёмом от 4 ТБ до 12 ТБ, с фокусом на ежегодный уровень сбоев для HGST (7), Seagate (13 моделей), Toshiba (7 моделей) и WDC (3 модели).

Наибольшее число отказов было у Seagate. Её модель ST12000NM0007 объёмом 12 ТБ продемонстрировала 2023 отказа, с ежегодным отказом 7,46% и средним сроком работы всего 18 месяцев. Для сравнения, WDC обладали самым низким уровнем отказов в 0,31%.

Общий уровень отказов в I квартале 2023 года составил 1,54%, что выше 1,21% в IV квартале 2022 года и 1,22% в I квартале 2022 года.

Известный облачный оператор Backblaze регулярно публикует отчёты о надёжности жёстких дисков. Компания содержит большое количество ЦОД в США и Европе, а потому может предоставлять отличную статистику по накопителям. Но, в этот раз, речь идёт не о сравнении разных моделей HDD, а о сравнении HDD с SSD.

Энди Кляйн из Backblaze в очередном блоге опубликовал графики частоты выхода из строя жёстких дисков и твердотельных накопителей, показав, что разницы между ними практически нет. Накопители обоих типов в условиях Backblaze с постоянной записью, чтением и удалением файлов работают почти одинаково надёжно.

В ежегодном отчёте об отказах накопителей компания составила график, где показала очень похожую картину в выходе из строя HDD и SSD. При этом надёжность SSD оказалась немного выше, однако эту разницу можно игнорировать.

Главной проблемой опубликованной статистики можно считать её краткосрочность. Мониторинг надёжности жёстких дисков ведётся с 2014 года, в то время как SSD учитываются лишь с 2018, так что пока можно говорить о похожих результатах за три первых года эксплуатации. Как поведут себя SSD в более долгосрочной перспективе, покажет время.

Твердотельные накопители намного быстрее жёстких дисков, а потому в таких пропорциях производства нет ничего удивительного. По данным IDC, в I квартале 60% всех новых компьютеров оснащались твердотельными накопителями.

Область, в которой жёсткие диски имеют неоспоримое преимущество — это стоимость одного гигабайта. Именно этот фактор делает HDD основным средством хранения данных на предприятиях. Поскольку ЦОД используют SSD для кэширования, то поставки дискового пространства в SSD намного превышают таковые для HDD: 288,28 ЭБ против 66 ЭБ.

При этом твердотельные накопители позволяют их производителям больше зарабатывать. В прошлом году SSD сгенерировали 34,86 миллиарда долларов, а HDD — 22,6 миллиарда.

Если говорить о производителях SSD, то несомненным лидером здесь является Samsung, которая за I квартал поставила на рынок 25,3% всех твердотельных накопителей и 34,3% объёма. За ней следует Western Digital с 18,2% в натуральном выражении и 15,8% в объёмном. На третьем месте расположилась Koxia с 13,3% устройств и 9,4% эксабайт.

1 эксабайт — это 1 миллион терабайт. То есть под добычу (или в терминологии самой Chia, выращивание) Chia используется 10 миллионов терабайт. Эта величина активно возрастает, поскольку ещё неделю назад майнинг Chia использовал накопители суммарным объёмом 6 ЭБ. То есть всего за неделю прирост почти двойной.

Другой интересный факт заключается в том, что в большинстве случаев это делалось на сверхбыстрых NVMe SSD, которые работают несравнимо быстрее механических HDD.

Засевание — это первый этап добычи Chia. Каждый участок имеет размер K32 или 101 ГБ. Чтобы его засеять нужно как минимум 2 потока процессора, 3,4 ГБ ОЗУ и записать 1,6 ТБ данных. Это значит, что вам нужно записать 1,6 ТБ на ваш SSD, типичный ресурс которого составляет 600 ТБ. Для того, чтобы засеять 100 ТБ (1010 участков) вам необходимо израсходовать 1,6 петабайт NVMe SSD, это невероятное значение, которое несомненно уже уничтожило не один SSD.

Для оценки стабильности компанией использовались 104 954 жёстких диска. При этом из отчёта были удалены модели, которых было установлено 45 и менее штук, что традиционно для Backblaze и вызвано низкой релевантностью такой выборки. Откинув также накопители, использовавшиеся для тестирования, отчёт составлен на основании отказов HDD из 104 778 штук.

Нулевой процент отказов означает, что ни один из винчестеров данной модели не вышел из строя.

В целом, отчёт за 2018 получился хорошим, а производители жёстких дисков показали высокую надёжность своих изделий. Высокий процент отказов был зарегистрирован лишь для накопителей, которых в эксплуатации было менее 500 штук, либо наработка составила менее 50 000 дней суммарной наработки. Поэтому полагаться на такие данные при выборе винчестера Backblaze не рекомендует.

Как мы уже сказали, надёжность винчестеров в прошлом году была на высоте. Всего 1,25% жёстких дисков вышли из строя, что ниже прошлогодних показателей.

По состоянию на 31 марта 2018 года компания эксплуатировала 100 110 жёстких дисков, из которых 1922 используются для загрузки, а 98 188 — для хранения данных.

Общая величина годовых отказов в первом квартале составила лишь 1,2%, что заметно ниже 1,65%, наблюдавшихся в IV квартале прошлого года. Многие накопители вообще не отказывали, в то время как 4 ТБ Seagate ST4000DM000 имел самый высокий уровень отказов. За год из строя вышли 2,3% из 30 941 жёсткого диска этой модели, или 178 штук.

Жёсткие диски высокой ёмкости (от 8 ТБ до 12 ТБ) показали отказы на среднем уровне 1,2%. При этом Backblaze отметила, что «многие из этих накопителей введены в эксплуатацию за последний год», так что «в этих данных наблюдается некоторая волатильность», а потому в прогнозах надёжности данных накопителей на полученные данные опираться пока не стоит.

На конец сентября компания насчитывала в работе 86 529 жёстких диска. Впервые в статистике появились накопители объёмом 12 ТБ.

Со второго квартала фирма добавила 9599 накопителя и вывела 6221 диска. Статистика приведена для моделей, которые представлены как минимум 45 накопителями в серверах компании.

Вся статистика за третий квартал представлена в графике.

Кроме графика Backblaze также сообщила, что доля сбойных дисков достигла 1,84%, худшего показателя за историю компании. На это повлияло много факторов, но самым важным стало заметное снижение среднего срока эксплуатации накопителя. Лишь одна 4 ТБ модель HDS5C4040ALE630 от HGST показала среднюю продолжительность жизни более 4 лет — 51,3 месяца. Остальные накопители в среднем не дожили до 4 лет, а около 80% накопителей не доживают и до 3 лет.

Модели объёмом 10 и 12 терабайт слишком новые. В сумме они наработали 13 000 дискочасов, и при этом не показали сбоев. И хотя эти накопители прошли тестирование без происшествий, ещё слишком рано говорить об их надёжности.

В 2017 году аналитики прогнозируют падение продаж HDD до 407,7 миллионов штук. Несмотря на постоянное падение продаж, общий объём данных, хранящихся на поставляемых жёстких дисках, вырос с 535,8 ЭБ (экзабайт) в 2015 году до 633 ЭБ в 2016 году, и в 2017 году составит 756 ЭБ.

Производство жёстких дисков шириной 1,8” практически прекратилось, а продажи 2,5” винчестеров для ноутбуков и 3,5” для настольных ПК продолжает снижаться. Однако накопители, предназначенные для постоянной работы, показали увеличение продаж, что связывают с повышением спроса на NAS накопители со стороны бытовых потребителей, а также предприятий малого и среднего размера.

Сейчас на рынке существует продукция лишь 4 брендов: Seagate Technology, Western Digital, HGST, принадлежащая Western Digital (ранее Hitachi), и Toshiba.

График надёжности винчестеров, построенный компанией, сделан на основе отказов более 25 000 винчестеров. Как видно на диаграмме, надёжность 3 ТБ винчестеров за последний год резко снизилась, и особенно, это касается продукции Seagate. По данным Backblaze количество годовых отказов этих жёстких дисков составило целых 40%!

По всей видимости, речь идёт о 3 ТБ накопителе модели Barracuda 7200.14, и именно показал столь высокое число отказов в центрах обработки данных Backblaze. Самое интересное в этих цифрах то, что в 2013 году количество отказов этих винчестеров было вполне заурядным и составляло 10%, увеличившись за год в 4 раза. Причины же такого скачка доподлинно неизвестны, ясно только, что число таких образцов стало очень большим. Всего же компания насчитала 1100 сбоящих HDD этой модели со средним сроком наработки 2,2 года.

Стоит отметить, что винчестеры объёмом 3 ТБ двух других производителей, HGST и WD, также в прошлом году стали ломаться чаще, однако их процент отказов несравнимо меньший, чем у Seagate.

Наиболее же надёжными по данным Backblaze по-прежнему остаются диски HGST.

Мировой рынок накопителей претерпевал структурные изменения, проходящие тремя волнами. В первой волне устройства хранения появились в мейнфреймах, во второй накопители продавались для клиентов серверов, а третья волна включает облачные вычисления, которые позволяют людям иметь доступ к Большим Данным в любое время. Несмотря на то, что сохранённая информация не используется полностью, процесс принятия решений, на основе используемой информации, может привести к повышению эффективности производства фирмы на минимум 5%, а прибыльность на как минимум 6%, отметил Чен.

Два года назад HGST представила свою инициативу по выпуску 3,5” винчестеров для серверов. Эти HDD планировалось наполнять гелием, что позволяет увеличить количество магнитных пластин до 7, в то время как конкуренты могли расположить в винчестере не более 5 пластин. В 2013 году компания выпустила первый такой винчестер объёмом 6 ТБ, а уже в этом году была представлена расширенная до 8 ТБ модель. В дополнение, HGST встроила технологию SMR, что позволило увеличить объём винчестеров до 10 ТБ. По словам Чена, их производство начнётся в первом квартале 2014 финансового года.

Поскольку компания имеет большой центр обработки данных, у неё имеется превосходная возможность проводить анализ и подготавливать статистику о надёжности жёстких дисков. В настоящее время компанией используется 34 881 винчестер общим объёмом более 100 петабайт.

По словам компании, она точно отслеживает какой из дисков работает хорошо, а какой не очень, что помогает ей своевременно приобретать винчестеры и правильно выбирать модель.

В центрах обработки данных Backblaze используются диски объёмом 2, 3 и 4 ТБ от Hitachi, 1,5, 3 и 4 ТБ от Seagate и 1 и 3 ТБ от Western Digital. Как видно на графике выше, наиболее часто выходят из строя накопители Seagate объёмом 3 ТБ. Среди этих винчестеров сбойными оказываются от 15% до 9%, но даже 9% брака выглядят очень большим числом. А вот жёсткие диски под брендами Hitachi и WD работают действительно хорошо, правда при этом чётко видно, что 3 ТБ винчестеры WD сбоили в этом году несколько больше остальных.

Можно ли считать эту статистику показателем качества жёстких дисков? И да, и нет. Как заявила сама компания, «возможно, что эти диски хуже подходят для окружающей среды в центре обработки данных. А возможно, что проблемы возникают при отключении диска от фермы и извлечении его из внешнего USB кожуха. Мы продолжим следить и сообщать о том, как эти накопители будут работать в будущем».

Кроме того, приведённая статистика касается накопителей для предприятий, так что опираться ли на неё при выборе нового винчестера для дома, решать вам.