Сборка сервера: от заказа комплектующих до тестирования

DIY или Сделай сам

Предисловие

Несколько лет разрабатывали с другом проект, для которого в конечном итоге понадобился сервер. И мы задумались: как реализовать нашу идею? Для начала позвонили местному интернет-провайдеру, чтобы узнать расценки стоимости размещения своего сервера в дата центре. Узнали, оказалось, что стоимость размещения зависит от количества юнитов, из которых состоит сервер. И для себе решили, что для нас идеальным вариантов будет размещения сервера размером в 1U. Так как бюджет у нас был очень ограничен, мы не могли позволить себе покупку мощного сервера в форм-факторе 1U. У нас возникла идея, а почему бы его не сделать самим? Сказано-сделано. Сбегали в ближайший компьютерный магазин и купили все комплектующий для обычного компьютера. Ну что ж, самое главное что оставалось сделать — это корпус и впихнуть в него все комплектующие.

Реализация

Для начала необходимо было определиться с размерами и железом, которое будет помещено в корпус. Стандартные размеры нетрудно найти в интернете, главной задачей было впихнуть комплектующие в высоту 43,7 мм., именно столько составляет величина 1U. Ну… поехали! В нашем городе трудно быстро и дёшево купить серверную турбинку, поэтому куллер решили делать из того что было. Был куплен радиатор и доработан ножовкой по металлу, под нужную высоту. Вид после распила. Площадь радиатора была сокращена, поэтому пришлось делать куллер с более мощным потоком воздуха. Ну, и конечно, куда мы без испытаний…? Нужно было проверить интенсивность охлаждения средствами какими у нас были. И так, перед нами три участника: сдвоенный вентилятор, картонная турбинка и рядовой вентилятор для радиатора. Продолжим! Будем нагревать радиатор на конфорке, присоединив к нему термодатчик.

К сожалению результатов уже не помним, но эффективнее всего оказалась турбинка, со сдвоенным вентилятором, эту конструкцию и решили использовать, на всякий случай, добавив третий вентилятор для надёжности. Так же решено было использовать гофр для направленного забора потока воздуха от радиатора процессора. Далее на очереди был обычный 500W ATX блок питания. Для начала мы совершили над ним акт вандализма, спилили радиаторы и отпаяли высокие детали. Затем вернули всё на свои места, но под другим углом. Корпус пришлось выкинуть и сварганить новый из нержавейки. Не переживайте, качество ни чуть ни хуже чем у наших собратьев китайцев, всё как надо, даже клеевой пистолет поучаствовал. Ну и чтоб не ржавело, красим краской из автомобильного баллончика. И теперь, когда основные части были готовы, осталось снять замеры и начертить чертёж по размерам 650х425. Важным аспектом было расположение элементов сервера таким образом, чтобы он придерживался стандартной системы охлаждения – спереди забор холодного воздуха, сзади отдача тёплого. Поэтому из-за конструкции ATX материнской платы, воздух с процессора пришлось отводить в сторону, а блок питания перенести в переднюю часть сервера. Начертили чертеж корпуса на бумаге. Дело осталось за малым – изготовить сам корпус. К счастью, у нас нашлись хорошие знакомые со старым добрым листогибом и оцинковкой, которые любезно нам одолжили инструмент и помещение. И понеслась… Если честно сначала всё выглядело ужасно, даже хотелось бросить эту затею, собственно вот: В итоге получилась вот такая коробочка, больше похожая на вентиляцию чем на сервер… На самом деле всё не так страшно, через дорогу был другой цех, где за небольшую сумму можно было покрыть полимером любого цвета. Покрасив корпус, мы скрыли все потёртости и царапины, придав ему приятный вид. Осталось всё собрать. С качеством сборки особо не старались, так как это было временное решение, до того как проект начнёт приносить прибыль. На фото видно, как местами применялся клеевой пистолет. В итоге мы собрали вот такой необычный сервер. В нём есть ещё место под дополнительные жёсткие диски и одну плату расширения (нужно только докупить райзер). Самое интересное в задней части сервера. Воздух в корпус заходит спереди, а выходит слева от материнской платы, так как подавать напрямую на процессор нам мешает оперативная память и слот питания материнской платы. Передних вентиляторов на один больше, чем слева, это сделано для того, чтобы воздух в пространство с материнской платой нагнетался быстрее чем забирался. В итоге мы охлаждаем радиатор процессора не разрежением, а постоянным потоком воздуха. Для более эффективного охлаждения процессора, склеили гофр соединяющий радиатор и три вентилятора. По бокам стоят менее производительные вентиляторы для оперативной памяти и транзисторов. Ну, и конечно, для чего же приклеена жёлтая полоска? (Кто разбирается в стиле, нас поймёт!) Шутим, конечно. Полоска нужна, чтобы выходящий поток тёплого воздуха с процессора не перебивал поток воздуха с блока питания, так как на блоке питания стоят менее оборотистые вентиляторы. А с данной полоской воздух выходит направленно в заднюю часть корпуса. Для эффективного охлаждения передняя часть была выполнена в виде решётки, чтобы уменьшить сопротивление воздуха, сделанной и вырезанной из обычной сетки закрепили её с помощью того же клеевого пистолета. Осталось приобрести салазки и можно устанавливать! Таким образом, мы получили достаточно дешёвый и мощный сервер на базе процессора Athlon II X4 3.0GHz и 8 гб. оперативной памяти. Себестроимость собранного сервера составила 14 000 руб.ГлавнаяСетевые устройстваДомашний серверСборка домашнего NAS сервера самостоятельно | Обзор компонентов для NASВ предыдущем материале «NAS-сервер из старого ПК» я уже рассказывал о недорогом способе реализации NAS для домашней сети, но сборки у всех могут получиться разные: кто-то будет недоволен габаритами NAS из старого ПК, а другой будет жаловаться на шум. В качестве альтернативы эта статья будет посвящена сборке маленького компьютера на основе Intel Atom или AMD. На данный момент очень много материнских плат с пассивным охлаждением встроенного процессора Intel Atom, да и огромный выбор компактных корпусов со встроенными блоками питания позволяют не задумываться над выбором комплектующих. Конечно же, проще купить готовый продукт от Synology, Qnap или Thecus, но не каждый готов вложиться в покупку такого решения, тем более, что сборка NAS сервера достаточно проста и занимает гораздо меньше времени, нежели укомплектовать полноценный десктоп.Бюджетные, собранные вручную, NAS-системы отлично подходят для домашних сетей, состоящих из двух-трех компьютеров, парочки смартфонов (планшетов), медиацентра и Smart TV.В выборе компонентов для сетевого хранилища ищут баланс — между пожеланиями потребителя, его финансовыми ресурсами и возможностями NAS-системы. Чтобы помочь вам с выбором, я рассказал о некоторых комплектующих, которые позволят собрать NAS-сервер с оптимальной производительностью и надежностью хранения данных.

Подбор компонентов для NAS

1. Корпус.

IN WIN BP655 200W

Данный корпус позволяет разместить в себе до двух жестких дисков и имеет встроенный блок питания 200 Вт.  Нет комплектующих, перекрывающих элемент охлаждения процессора.

Thermaltake Element Q VL52021N2E 200W

Отличный корпус в плане комфорта внутреннего размещения комплектующих. Особенно радует дизайн и качество исполнения. Использую его сам, но не в качестве сетевого хранилища. Радует возможность установить 2.5″ диски. Недостатком могу назвать лишь возможность размещения до 2-х жестких дисков 3.5″.

SilverStone SG01B-F Black

Данный вариант дороже предыдущих (≈3000 руб.), но его явным преимуществом является установка до 4-х жестких дисков 3.5″, продуманная система охлаждения и возможность установки блока питания форм-фактора ATX.

Lian Li PC-Q08 Silver

Самый дорогой вариант из представленных корпусов для домашних серверов (≈3500 руб.). Отличительной особенностью данного экземпляра является установка до 7 жестких дисков 3.5″ и один 2.5″ HDD или SSD, небольшие размеры, отличное штатное охлаждение. Возможность установки БП форм-фактора ATX. Недостаток: тяжеловат доступ к внутренним комплектующим. Если вы рассматриваете для покупки корпус для NAS с возможностью добавления HDD в будущем, то это идеальный вариант.

2. Материнская плата для NAS сервера.

Обзор материнских плат для NAS формата Mini-ITX. Именно такой форм-фактор материнских плат используется для сборки современных NAS серверов и HTPC. В данный момент в интернет-магазинах огромный выбор «материнок» любых производителей: Asrock, Asus, Zotac, MSI и др. Давайте рассмотрим несколько удачных вариантов.

ASUS AT5NM10T-I

Моя любимая материнская плата для сборки NAS и обычных серверов, на ней работает уже не один собранный мной сервер.

В этой плате от Asus есть все необходимое: предустановленный 2-х ядерный процессор  Intel Atom D525, пассивное охлаждение, поддержка  памяти DDR3 SO-DIMM и встроенный видеоадаптер Intel GMA 3150. А четыре SATA порта для подключения HDD делают ASUS AT5NM10T-I идеальным вариантом для домашнего NAS, возможно, кто-то пожелает большего, но я считаю 4 диска по 2 Тб или 3 Тб оптимальным решением для дома. Кому объема в 8-12 Тб мало, можно использовать контроллер SATA c интерфейсом PCI-e x1, так как он на материнской плате остается не задействован. При сборке компактного HTPC я туда устанавливаю аппаратный HD-видео декодер.

ASRock E350M1

Данная материнская плата станет отличным вариантом для производительного NAS сервера с возможностью использования его как HTPC. Думаю, всегда найдутся сторонники универсальности в технике, поэтому ASRock E350M1 должна присутствовать в обзоре. Преимущества этого компонента NAS в 2-x ядерном процессоре AMD E-350, интегрированной графике ATI Radeon HD 6310, возможности установки памяти обычных DDR3 DIMM до 8 Гб, а также HDMI интерфейсе. Все перечисленное несомненно устроит желающих собрать HTPC или реализовать потоковое видео. Для реализации NAS: на борту платы 4 SATA порта, низкое энергопотребление и достаточно тихий кулер на радиаторе процессора. Собирал связку NAS + HTPC своему другу, «клиент» остался несказанно доволен. До этого момента не раз использовал эту «материнку» как основу для сборки портативных домашних кинотеатров. Стоит отметить и материнские платы на базе ION 2, которые неплохо зарекомендовали себя в качестве компонента бюджетного HTPC.

Zotac FUSION350-A-E

Третий вариант материнской платы будет под  брендом ZOTAC. Мне очень симпатизируют их Mini-ITX решения, по причине высокой интеграции современных интерфейсов. Данная «материнка» обладает низким энергопотреблением и приличной графикой AMD Radeon HD 6310, как у предшественницы. Повторюсь, что для реализации  NAS такая видеокарта не нужна, но в совокупности с портом HDMI и оптическим S/PDIF-выходом, плата превращается в неплохого кандидата на «должность» мультимедийного ПК. Не будет лишним и модуль WiFi 802.11n, работающий со скоростью до 150 Мбит/с и конечно же 4 порта USB 3.0 + eSATA. А для установки HDD мы имеем 4 порта SATA 6 Гбит/с.

Обращайте внимание на поддержку современных интерфейсов при выборе материнской платы — eSATA, USB 3.0: это даст вам возможность расширить сетевое хранилище для дома или использовать машину в другой конфигурации.

Не хочу превращать статью в интернет-магазин, поэтому не буду перечислять все понравившиеся или подходящие варианты. Добавлю лишь, что при выборе материнской платы для NAS, руководствоваться необходимо следующими параметрами:

• достаточно производительный процессор (2 ядра), так как никогда точно не знаешь как его «нагрузишь» в будущем. Я, например, использую NAS и для конвертации видео под мобильные устройства.
• встроенное видео ядро. Оно конечно необходимо лишь тем, кто хотел бы добавить к функциональности NAS еще и НTPC, но и для тех кто не имеет в загашнике старенькой PCI-e видеокарты для редкого обращения к интерфейсу своего хранилища не помешает. Хотя, можно воспользоваться видеокартой от другого ПК или подключаться по удаленному рабочему столу.
• обращайте внимание на модули памяти DIMM (десктоп) или SO DIMM (ноутбук), так как возможно поставить планки от старого ПК или ноутбука
• старайтесь покупать платы с пассивным охлаждением процессора. Иногда приходится менять дешевый дребезжащий кулер. Тем более, что решения с радиатором, практически всегда экономно расходуют электроэнергию и избавляют от головной боли с выбором вентилятора.
• выбирайте материнские платы с интегрированным процессором — это сделает вашу покупку оптимальной по цене.

<h.>

HDD — один из самых важных компонентов нашего будущего NAS сервера. Универсальным решением в качестве носителя для сетевого хранилища я считаю жесткие диски серии  Caviar Blue от Western Digital, хотя многие, в том числе и я, ради экономии используют Western Digital GreenPower, но есть и противники данной линейки HDD из-за проблемы парковки головок, поэтому их не рекомендуют как носители для частого обращения к данным. Правда, моя практика этого не подтверждает. Еще хорошо зарекомендовали себя жесткие диски от Hitachi и Samsung, что не могу сказать о Seagate. Необходимый объем вы можете выбрать сами, наиболее оптимальным выбором будет — 2Гб (2 или 4 диска). По желанию вы можете использовать один «ноутбучный» диск. Помните, какой бы быстрый диск вы ни купили, скорость передачи данных у NAS-устройств ограничена пропускными возможностями гигабитной сети. Приобретайте модели, рассчитанные на длительную эксплуатацию, от Hitachi и Western Digital, ориентированные на серверное использование.

4. Оперативная память

Выбор огромен. Я предпочитаю использовать модули памяти от Samsung и Kingston. Файловый сервер не очень требователен к оперативной памяти, поэтому слоты в материнской плате можно занять любыми планками от известного производителя. Пара модулей по 1-2 Гб сейчас очень доступны по цене.

При выборе комплектующих для NAS необходимо опираться на две противоречивых тенденции:

• выбирая недорогую систему с двумя дисками, слабым процессором и небольшим объемом памяти, сложно получить производительный и надежный NAS сервер;
• возможности высокопроизводительных NAS очень часто используются не в полную силу, это особенно касается эксплуатации в домашних условиях.

5. Операционные системы для NAS-сервера

• FreeNAS (аналоги: Openfiler (основана на Linux), NexentaStor (основана на Solaris), openmediavault (Linux), Pulsar-OS, Open-E, Zentyal). В ссылке 2 образа: для 32 и 64-битных систем.
• Windows Home Server 2011
• Windows Server 2008 R2
• Ubuntu Server (для 32 и 64 битных систем)

Выше представлен список операционных систем, которые можно использовать в качестве программной оболочки для NAS. Об установке FreeNAS я писал в этом материале.

Если вы решите использовать Ubuntu Server, то вам придется по вкусу большой репозитарий различных программ, который даст возможность сделать сервер по образу и подобию сервера своей мечты. Если вам сложно настраивать серверную ОС, то вы можете воспользоваться дистрибутивом с графической оболочкой.

Предложу вариант для пользователей мало знакомым с Linux, которым отлично подойдет операционная система Windows Home Server 2011 со своей простотой установки и настройки. Тем более, что данный вариант бесперебойно справляется с восстановлением и архивацией данных на компьютере, а также обеспечивает потоковую передачу мультимедиа контента по домашней сети. В представленном ниже видео вы сможете ознакомиться с интерфейсом и функционалом WHS 2011. Кстати говоря, функционал этой ОС можно расширить специальными дополнениями, а ознакомиться с ними вы можете здесь.

[youtube]FmnFoI8iqC8&gl[/youtube]

Управлять таким сервером можно с других домашних компьютеров с установленным клиентским ПО, которое можно установить, набрав в браузере: \имя_сервера, но и получить доступ к серверу удаленно через внешний IP. Плюс ко всему вы сможете быстро и просто организовать свой web-сервер, легко расшарить свои файлы на телевизор Smart TV, Xbox 360, смартфон и на любой компьютер под управлением Windows XP, Windows Vista и Windows 7. В Windows Home Server работают все привычные приложения, которые вы использовали на Windows Vista и Windows 7.

Собрав и запустив свое сетевое хранилище (NAS), вы будете обладать следующими преимуществами перед готовыми решениями:

• возможность расширения дискового пространства добавлением жёстких дисков SATA. Дополнительные диски могут быть подключены через порт USB, eSATA и дополнительный контроллер
• использование материнской платы не только с Ethernet 1 Гбит/с, а также с модулем WLAN
• диски для расширения не ограниченные по объему
• расширяемая функциональность сервера (любой софт, HTPC).

Я всегда готов помочь с выбором конфигурации для домашнего NAS и с выбором подходящей операционной системы в том числе. Пожалуйста, оставляйте комментарии.

</h.></p> of your page —> Что происходит, когда наш клиент заказывает сервер произвольной конфигурации? Насколько надежны серверы, собранные по индивидуальному заказу? Эти и другие вопросы мы сегодня подробно обсудим в новой статье.

Заказ сервера

Несмотря на то, что в разделе доступных для заказа серверов присутствует несколько десятков различных конфигураций, некоторым клиентам требуются серверы специальной конфигурации. Чаще всего такое необходимо для создания сервера с очень высокой производительностью либо с большим количеством дисковых накопителей. Чтобы удовлетворить такую потребность, была предусмотрена услуга «Выделенный сервер произвольной конфигурации». Конфигуратор на сайте позволяет за пару минут самостоятельно создать сервер любой сложности и арендовать его. Однако мало кто задумывается, как именно собираются эти серверы. После того как клиент определился с нужной конфигурацией, сделал заказ и оплатил его, система автоматически создает тикет в панели управления. Такой тикет поступает в отдел сборки, и специалисты приступают к проверке заказа и, собственно, самой сборке сервера.

Процесс сборки

Проверка заказа

Конфигуратор на сайте чаще всего выбирает «правильный» вариант комплектующих, но в некоторых случаях клиенты могут выбрать не самый оптимальный вариант сочетания аппаратных компонентов. Например, RAID-контроллер, который не сможет выдать максимальную производительность в такой конфигурации, или нечетное количество планок оперативной памяти в многопроцессорных системах. Поэтому инженеры вначале проверяют заказ и в случае выявления потенциальных проблем обязательно предупреждают клиента в тикете. В случае, если клиент согласен, что конфигурация не оптимальна, можно без проблем аннулировать заказ и создать новый. Денежные средства при аннулировании возвращаются на баланс панели управления в полном объеме. После того, как заказ проверен, мы приступаем к подготовке комплектующих и сборке сервера.

Комплектующие

Каждый сервер состоит из следующих комплектующих:

• корпус (идет сразу с блоком питания);
• материнская плата;
• оперативная память;
• процессоры;
• накопители;
• дисковые контроллеры (если есть в заказе);
• видеокарты (если есть в заказе).

Ответственный за сборку инженер готовит все комплектующие и фиксирует их в системе учета, используя серийные номера в качестве идентификаторов. Теперь расскажем обо всех этапах, которые проходит каждый сервер произвольной конфигурации.

Подготовка корпуса

Мы обычно используем корпусы Supermicrо, которые следует подготовить к установке материнской платы с помощью идущих в комплекте метизов. В разных моделях материнских плат разные точки крепления, поэтому следует определить количество метизов и болтов для каждой конкретной сборки. Пока количество заказов было небольшим, мы просто брали предназначенный для корпуса комплект крепежа, а неиспользованный крепеж откладывали. В определенный момент стало ясно, что тратится очень большое время на поиск нужного болта и мы решили расфасовать весь крепеж, имеющийся на складе.^{Расфасованный крепеж} После того как последний пакет с крепежом был расфасован, стало ясно, что мы не зря проделали эту работу. Теперь каждый болт и каждый метиз лежит в строго отведенном для этого месте и это экономит огромное количество времени. Для того, чтобы контакты материнской платы не соприкасались с металлическим корпусом и не произошло короткого замыкания, используется специальная пластиковая прослойка. Без нее сборка запрещена. Помимо этого, необходимо аккуратно выломать (да-да, это предусмотрено производителем) отверстия для портов в заглушке с задней части сервера. Выполняется элементарно с помощью плоской отвертки. После этого на корпус наносятся наклейки с идентификатором заказа, а также серийный номер будущего сервера. Для удобства работы помимо буквенно-числового идентификатора на наклейках содержатся штрих-коды, позволяющие оперативно считать информацию с помощью сканера.

Установка материнской платы

Непосредственно перед установкой материнской платы инженеры выполняют некоторые подготовительные действия:

• надевают тонкие перчатки;
• надевают заземляющий браслет.

Прежде всего это нужно, чтобы не повредить руки. Наиболее частая травма при этом — порезы. Заземляющий браслет не позволит произойти случайному повреждению электронных компонентов платы из-за статического электричества. После того как материнскую плату поставили на место, закручиваются крепежные болты. При этом следует помнить, что текстолит достаточно хрупок, и не прилагать излишних усилий. Для экономии времени инженеры используют аккумуляторные отвертки. Теперь к материнской плате подключаются кабели питания, а также вентиляторы системы охлаждения. Здесь важно то, что порой длина кабелей больше, чем необходимо, поэтому их аккуратно стягивают при помощи тонких нейлоновых стяжек. При отсутствии возможности закрепить стяжки к корпусу, производитель поставляет удобные крепежные площадки на двустороннем скотче. Концы аккуратно откусывают бокорезами. Затем выполняется подключение лицевой панели и бэкплейна с помощью соответствующих кабелей. Теперь можно приступать к установке процессоров и прочих элементов.

Установка процессоров

Эта операция, пожалуй, самая тонкая и требующая внимательности. Еще 10 лет назад процессоры имели удобные «ножки», а сокеты представляли собой пластиковую матрицу с отверстиями. Благодаря этому достаточно было всего лишь аккуратно вставить процессор в сокет и закрыть защелку. Начиная с сокета LGA 775 процессоры лишились «ножек», остались только ровные контактные площадки. Сокеты, наоборот, теперь имеют контакты, однако они настолько маленькие и хрупкие, что любая операция с установкой процессора должна быть максимально точной.^{Современный сокет FCLGA3647Процессор линейки Intel Xeon Scalable} После того, как процессоры установлены на свои места приходит черед установки радиаторов охлаждения. Как правило, используются пассивные радиаторы, однако перед этим наносится термопаста — слой теплопроводящего материала, разделяющий процессор и радиатор. Чаще всего для этого используют кремнийорганическую пасту, такую как КПТ-8. Здесь следует помнить, что основная задача термопасты — закрыть микроскопические дефекты как на поверхности процессора, так и на поверхности радиатора, обеспечивая максимально большую площадь соприкосновения. Поэтому ее наносят очень тонким и ровным слоем. Для этого используют либо специальную лопаточку, либо по старинке ненужную пластиковую карточку. Излишки убираются с помощью ватных палочек.

Установка оперативной памяти

Каждый производитель материнских плат самостоятельно определяет верный порядок установки модулей оперативной памяти, в зависимости от ее типа и скорости. Для Supermicro этот порядок установки прописан в инструкциях к каждой модели материнской платы. Тем не менее есть несколько достаточно универсальных правил, которые работают в большинстве случаев:

• нежелательно использовать нечетное количество планок (актуально для процессоров Intel Xeon линейки E5);
• следует поканально распределять память, чтобы система могла задействовать все возможные режимы механизмов управления;
• в одном сервере желательно использовать память с одинаковым значением задержки (latency), напряжения и частоты, в диапазоне, который поддерживает материнская плата.

Перед установкой инженеры проверяют, чтобы в слотах не было никаких посторонних частиц пыли или бумаги. При необходимости используется сжатый воздух для очистки.

Установка накопителей

Тут все просто. Дисковые накопители закрепляются в штатных салазках, после чего вставляются в сервер. Если были заказаны дисковые контроллеры или дополнительные сетевые карты, то они устанавливаются в соответствующие PCI-E слоты и закрепляются винтами. После того, как все установлено на свои места, инженер отдела сборки еще раз проверяет соответствие всех комплектующих заказу и отправляет сервер на стенд для прошивки и тестирования.

Укладка кабелей

Коснемся такой темы, как укладка кабелей внутри сервера. Тут тоже есть свои нюансы, главным из которых является ограниченность пространства. Большинство серверов спроектированы таким образом, чтобы занимать минимум места в стойке. Высота одного монтажного юнита составляет 43,7 мм. Из-за этого места для кабелей после установки материнской платы и прочей периферии остается достаточно мало. Забавный факт: один монтажный юнит по высоте в точности равен одному вершку (древнерусская единица длины). Всегда следует учитывать, что сквозь сервер воздух должен проходить беспрепятственно для эффективного охлаждения компонентов. Любые препятствия на его пути будут ухудшать отвод тепла, а следовательно, увеличивать расход электроэнергии из-за увеличенной нагрузки на систему охлаждения. Это особенно важно для серверов с несколькими GPU, температура которых под нагрузкой доходит до 80 градусов. ^{Воздушный поток разделяется поровну между всеми GPU} Поэтому все кабели укладываются таким образом, чтобы не перекрывать путь прохождения воздуха. Излишки при помощи стяжек закрепляются к штатным проушинам, а в случае их отсутствия к пластиковым площадкам с двусторонним скотчем. ^{Кабели уложены так, чтобы не мешать прохождению воздушного потока}

Прошивка комплектующих

Для начала ответим на достаточно часто задаваемый вопрос — зачем же это нужно? Ответ прост — эта процедура необходима для того, чтобы все компоненты сервера работали без ошибок, а также, чтобы повысить уровень безопасности. Большинство компонентов сервера построены с расчетом на то, чтобы их можно было перепрограммировать. После выхода с конвеера в процессе тестирования и эксплуатации в большинстве случаев обнаруживаются ошибки и уязвимости программного обеспечения. Если бы возможности перепрограммирования компонентов не было предусмотрено, то для ликвидации этих программных проблем пришлось бы отзывать всю продукцию. Гораздо дешевле было создать возможность замены микропрограммы.

Перепрошивка IPMI

Модуль удаленного управления (IPMI / iLO / iDrac) — один из важнейших элементов сервера. Он представляет из себя независимый микрокомпьютер, работающий всегда, когда на материнской плате присутствует рабочее напряжение. Даже когда в сервере нет комплектующих, этот микрокомпьютер работает, выполняя задачу интерпретации и корректировки данных с датчиков сервера. Модуль тесно связан со всеми подсистемами управления питанием и позволяет выполнять практически любые операции удаленно. Поэтому вопрос безопасности при доступе к такому устройству стоит очень остро. Своевременное обновление прошивки позволяет уберечь модуль от взлома. Установка прошивки обычно производится непосредственно из веб-интерфейса, однако в некоторых случаях ее можно произвести по сети, отправив на модуль прошивку с соответствующим программным обеспечением.

Перепрошивка BIOS

Базовая система ввода-вывода помимо уже перечисленной причины безопасности требует обновления еще для одного важного момента. В прошивке BIOS имеются микрокоды процессоров, поддерживаемых материнской платой, а также микрокоды сетевых интерфейсов и чипсетов. Когда выходит новая версия процессора, производители материнских плат выпускают новые версии прошивок, которые содержат требуемый микрокод. Без этого новый процессор просто не сможет запуститься. Помимо этого, выпуск новых прошивок предотвращает конфликты, возникающие при взаимодействии различных комплектующих (как встроенных в материнскую плату, так и сторонних устройств). Вместе с прошивкой BIOS зачастую обновляются и связанные модули, например, Intel ME (Management Engine). Дабы не быть голословными, приведем пример. Возьмем материнские платы Supermicro X10SRi/X10DRi/X10DRW, которые поддерживают процессоры Intel Xeon E5-XXXXv3. Если поставить туда процессор следующей версии E5-XXXXv4 плата стартует, однако будет выдавать странные ошибки сбоя оперативной памяти «Failing DIMM» в разных слотах. И проблема тут вовсе не в памяти, а в том, что контроллер памяти находится в процессоре. Следовательно, неверное опознавание процессора материнской платой ведет к тому, что возникают подобные проблемы. Перепрошивка с помощью поддерживаемого процессора полностью решает эту ситуацию. В некоторых случаях производители оборудования искусственно прекращают поддержку новыми моделями материнских плат более старого оборудования. Ярким примером может служить материнская плата Supermicro X11DPi, которая с любой версией прошивки BIOS не будет работать с HBA-контроллерами Adaptec 7-ой серии. Дисковый контроллер просто не инициализируется, вызывая полное зависание сервера. И на данный момент эта проблема не имеет решения.

Перепрошивка дисковых контроллеров

Ошибки в программном обеспечении таких важных устройств, как дисковые контроллеры могут не просто доставить неприятности, но и стать источником очень крупных проблем. В большинстве случаев процесс очень простой, перепрошивка происходит с помощью родной утилиты, встроенной непосредственно в сам контроллер. Следует помнить, что старая прошивка дискового контроллера может не только исправлять ошибки, но и кардинально менять способ хранения метаданных. Чтобы избежать неприятных ситуаций и сохранить данные в целости, перед выполнением перепрошивки следует обязательно прочитать список внесенных изменений в функционал. Эта информация всегда присутствует на сайте производителя оборудования и чаще всего дублируется в архиве с самой прошивкой.

Перепрошивка сетевых карт

Не менее серьезные проблемы, крайне сложные в диагностике, могут доставить сетевые карты с ошибками на уровне встроенного программного обеспечения. Помимо устранения ошибок, программное обеспечение сетевых карт напрямую может влиять на производительность. Так что это еще один обязательный пункт для инженеров, выполняющих сборку серверов.

Важно

Хотелось бы отдельно отметить, что все операции по перепрошивке компонентов потенциально опасны для оборудования, поэтому их допустимо производить только квалифицированным специалистам. Если вы уже являетесь нашим клиентом и обнаружили необходимость перепрошить какой-либо компонент сервера, то ни в коем случае не пытайтесь это делать самостоятельно. Просто напишите нам в тикете, какой компонент следует перепрошить, и это будет выполнено со всеми мерами предосторожности.

Тестирование

Покончив с обновлением программного обеспечения, инженер сборки приступает к нагрузочному тестированию собранного сервера. Такое тестирование позволяет выявить большинство проблем еще до того, как сервер будет сдан клиенту.

Тест оперативной памяти

Для того, чтобы проверить работоспособность всех установленных в сервер модулей оперативной памяти, запускается весьма популярный инструмент под названием memtester. Непосредственно перед выполнением тестирования, инженер сборки проверяет, чтобы все установленные в сервер модули памяти корректно отображались в BIOS. При запуске тестирования происходит процесс чтения и записи данных в оперативную память, используя разную последовательность данных и порядок заполнения ячеек. Скорость выполнения всех тестов напрямую зависит от объема. Наши минимальные требования — это один полный цикл проверки. Если в процессе тестирования выявлены ошибки, то мы ищем сбойный модуль оперативной памяти и исключаем его из конфигурации, заменяя на аналогичный. Затем процесс тестирования повторяется целиком. Только когда все итерации тестов будут пройдены без ошибок, сервер отправляется на стресс-тестирование.

Тест процессора и дисков

Нагрузочный тест имитирует максимальную нагрузку на сервер в течение минимум 6 часов для сервера с магнитными накопителями. В случае с твердотельными накопителями столь длительное тестирование может резко увеличить износ накопителя, поэтому для них проводится аналогичное тестирование с меньшим временем исполнения. Нагрузочное тестирование для процессоров Intel проводится с помощью оригинальной утилиты Intel IPDT (Processor Diagnostic Tool). Этот процесс вызывает повышение температуры процессора до максимально допустимой эксплуатационной температуры, и система охлаждения должна эффективно отводить все это тепло. Инженеры сборочной постоянно следят за тем, чтобы сервер прошел это испытание, и температура всех компонентов не превышала заявленных эксплуатационных пределов. После завершения тестирования проверяются параметры S.M.A.R.T. всех установленных дисков. Если хотя бы один параметр, заявленный производителем как повод для замены накопителя, имеет ненулевое значение, диск заменяется на другой и также тестируется для исключения вероятности возникновения проблем в «боевом режиме».

Заключение

Каждый сервер произвольной конфигурации, сдаваемый нами в аренду, множество раз проверяется и тестируется, поэтому их можно смело использовать для любых проектов сразу, не тратя время на повторные тестирования и проверки. На каждом заказанном сервере будет самая актуальная версия микропрограммного обеспечения каждого компонента, что дает хорошую защиту от существующих уязвимостей и ошибок. Расскажите нам о своем опыте сборки или тестирования серверов. С какими интересными особенностями вы сталкивались? Ждем ваших историй в комментариях.Используемые источники:

• https://m.habr.com/ru/post/216735/
• https://mediapure.ru/setevye-ustrojstva/domashnij-server-nas/sborka-domashnego-nas-servera-s-nulya-obzor-komponentov-dlya-nas/
• https://habr.com/post/422959/