О сборке малошумного сервера начального уровня из общедоступных комплектующих

Введение

В сознании многих пользователей сервер ассоциируется с высоченным шкафом или хотя бы с корпусом типа Big Tower. Лицезрение этой конструкции вызывает уважительные мысли о мощи и надежности информационных технологий. Но внешность бывает обманчивой. Случается так, что вся эта махина выполняет функции, которые вполне под силу маленькой китайской коробочке с встроенным Linux-ом, Web-интерфейсом и ценой от 1500 до 6000 рублей за штуку. А если открыть корпус сервера, то иногда обнаруживается... пустота - как в старом шкафу, из которого забрали одежду. Так бывает тогда, когда сервер выполняет в основном представительские функции.

Эта статья не о том, как произвести впечатление на доверчивого пользователя. Разговор пойдет о том, как собрать компактный файловый сервер, достаточный для обслуживания 100-мегабитной сети класса С из 50-200 компьютеров. В литературе такие серверы часто называют серверами уровня подразделения. Они занимают ценовой диапазон от 45000 до 75000 рублей - за счет применения нескольких процессоров, дисков SCSI с возможностью горячей замены и т.п. Но мы не будем гнаться за наворотами и вместо этого построим сервер начального уровня, который должен обеспечить надежное хранение данных объемом от 100 гигабайт и выше, но от которого не требуется особенно высокая производительность. Бонус заключается в том, что мы попадем в ценовой диапазон от 30000 до 45000 рублей и, кроме того, получим малошумную машину, которую можно будет поставить в одну комнату с сотрудниками. Такой сервер подойдет не только для большой сети, но и для небольшой рабочей группы, а при необходимости может выполнять роль рабочей станции с повышенной надежностью хранения данных.

Основное внимание будет уделяться вопросам надежности и стоимости, а также подбору комплектующих для достижения оптимальной производительности; впрочем, обсуждение последнего вопроса не следует рассматривать как исчерпывающее. В отличие от многих статей, посвященных серверам - здесь не будет тестов на скорость выполнения запросов. Для сервера начального уровня это не столь актуально, потому что к его производительности никакие особенные требования не предъявляются. Т.е. речь идет о задачах, с которыми справляется любой более или менее современный компьютер - такие, как NAT, электронная почта и файловый архив, а также корпоративные Web-сервер и база данных на движке с эпизодической рабочей нагрузкой. А если нагрузка в сети такова, что сервер начального уровня не справляется с поставленными задачами - то нужен полноценный сервер уровня подразделения или организации со всеми вытекающими из этого финансовыми последствиями.

Начнем с небольшой обзорной экскурсии.

1. О серверах и не только о них

Серверы бывают очень разные. На выставках и в преуспевающих фирмах иногда приходится видеть высоченные шкафы, набитые суперсовременной (на момент их изготовления) аппаратурой. Кластеры из многопроцессорных одноплатных серверов, дисковые массивы Fiber Channel, коммутаторы Gigabit Ethernet, самые дорогие процессоры - вот неполный перечень того, что ставит производитель в эти памятники вычислительной технике. Администратор при таком сервере - это полубог, обладающий недоступными простым смертным сертификатами и получающий нереально большую зарплату.

На более скромном уровне стоят серверы в вертикальных корпусах типа "Pedestal". Такое оборудование можно встретить даже в бюджетной организации. Моим первым сервером был Acer Altos 9000 (на фото справа), который продали нашему директору по чьему-то совету за немалые деньги. Не шкаф, кончено - но настоящий брендовый Big Tower с блоком питания от Дельты, восемью слотами для горячей установки SCSI дисков и множеством вентиляторов для их обдува. Для расширения были предусмотрены восемь слотов ISA и PCI. Память была из четырех SIMM c ECC по 32 мегабайта каждая (а всего слотов было - Вы угадали - восемь). В качестве интеллекта стояли два Пентиума-200. Я до сих пор не понимаю, на что тратят рабочее время эти процессоры - потому что сервер тормозит как раз на тех операциях, которые требуют вычислений. Он честно тянет разделяемый диск на 20 компьютеров, электронную почту с прикрученным к ней антивирусом и примитивный Web-сайт, но впадает в задумчивость от движка PostNuke.

При желании, Big Tower можно купить в магазине и попытаться собрать сервер самостоятельно. Одна бюджетная организация так и поступила - но бюджетных денег хватило только на корпус, а дальше пришлось экономить. Поэтому в корпус поставили маленькую такую плату micro-ATX на K6-2 и периферию IDE. Нет, сервер до сих пор жив - но за время службы на нем от перегрузки отказали два жестких диска. Но это еще тот анекдот. Здесь компьютер хотя бы пытается выглядеть сервером. А ведь бывает так, что даже этот романтический флер безжалостно отбрасывается!

На другом конце шкалы жизненного преуспевания стоит старый системный блок на первом Пентиуме или втором Селероне, который в силу его полной непригодности для компьютерных игр списали на роль файлового, почтового, модемного, прокси и Web сервера, маршрутизатора, брандмауэра, а также рабочего места админа, который сидит возле него в дырявых башмаках. К такому серверу обычно прикручивают локальную сеть, построенную на 10-мегабитных хабах по топологии "очень длинная цепочка". Только не говорите мне, что такая сеть работать не будет. Я и сам знаю, что по теории это работать не может. Но как-то работает...

2. Бренд или не бренд?

Вопрос актуален потому, что многие бренды предлагают совсем дешевые серверы начального уровня. Возьмем, к примеру, сервер Compaq ML330. Эту машину, оборудованную процессором Pentium III/900, 256 мегабайтами памяти ECC SDRAM и 9-гигабайтным диском SCSI мне собрали в 2002 году всего за 33500 рублей. Модель ML330e c IDE была еще дешевле - но это не вариант, если принять во внимание ненадежность IDE дисков.

На человека, не избалованного брендовой техникой сервер Compaq производит сильное впечатление. Начнем с того, что внутри не висят шлейфы - они почти все тщательно сложены и прикреплены к корпусу.

На сиcтемной плате есть два 64-битных и четыре 32-битных разъема PCI. Один из 32-битных разъемов занят платой с видеоадаптером и одноканальным контроллером SCSI. Блок питания на 250 ватт, но от Дельты, что как раз достаточно для сервера на Pentium III. Вентилятор на блоке питания шумит умеренно, но ему помогает оборотистый и шумный вентилятор на задней стенке корпуса.

Подготовка сервера к работе автоматизирована до предела. Если забудешь подключить клавиатуру или что-то еще - BIOS выдает подробные разъяснения на английском. Для форматирования диска и установки операционной системы применяется диск SmartStart. Загружаешься с него, вводишь тип операционной системы и серийный номер, ставишь ее CD - и теперь можно отдыхать - через пару часов сервер будет готов к работе.

Через два часа полета возвращаемся в обыденную действительность. Диск SmartStart годится только для первой установки т.к. он стирает винчестер целиком. Поэтому повторную установку (она потребовалась через месяц экспериментов с новой операционной системой) я делал как обычно. И тут система благополучно вылетела в синеву. Оказывается, диск SmartStart при установке незаметно подкладывает ей специфичный драйвер SCSI. Драйвер пришлось искать на сайте Compaq. Мне до сих пор непонятно - почему не предупредили?

Другое разочарование наступило, когда я принялся искать на сервере порт USB. Его там не было. Ну, это не беда, можно добавить. А когда потребовалось установить еще один диск SCSI, пришлось лезть в маленькую корзину, где два места из трех уже были заняты. Никакого вентилятора рядом с корзиной нет, что (парадокс!) не мешает дискам оставаться почти совершенно холодными. Надо отдать должное инженерам Compaq - корпус устроен так, что значительная часть воздуха втягивается в него через корзину с винчестерами. Но вряд ли охлаждение будет столь же эффективным, если убавить обороты шумного вентилятора на задней стенке системного блока. Еще одно лыко в строку - никаких фильтров нет, поэтому через несколько месяцев платы покрываются густой серой пылью.

3. Соберем сервер по собственному проекту

Иногда случается так, что сервер стоит не в закрытом помещении, как это принято по соображениям безопасности, а прямо на рабочем месте администратора. В этом случае имеет значение уровень шума, на который производители серверов вплоть до самого недавнего времени не обращали никакого внимания. Посмотрим, можно ли избавиться от этого недостатка при сборке сервера по собственному проекту.

3.1. Корпус

Классические серверные корпуса имеют высокий уровень шума. К примеру, для корпусов Intel SC5200 и SC5250-E он доходит до 55 dB. Можно, кончено, взять шумный корпус и заняться его тюнингом, но еще лучше выбрать корпус, который изначально рассчитан на работу в малошумном режиме, и при этом обеспечивает хорошую вентиляцию процессорной зоны и жестких дисков. Таких корпусов довольно много - почти у каждого производителя есть недорогие модели потребительского класса, которые хорошо подходят для сборки небольшого файлового сервера.

В качестве примера рассмотрим корпус 3R System R101. Сталь 0.8 мм, два корпусных вентилятора на 120 мм каждый, один из которых продувает пять установочных мест для винчестеров внизу корпуса. Три термопары, шестиступенчатая регулировка вентиляторов вручную или на автомате, настраиваемое отключение при перегреве в диапазоне 50-85 градусов с шагом 5. И полная бесшумность при работе корпусных вентиляторов на минимальной скорости. Что еще нужно для сервера? Разве что иметь еще один вентилятор на боковой стенке около процессора :).

Обратите внимание на то, что установочные места для винчестеров находятся за вентилятором. Это очевидное, но почему-то не слишком распространенное решение позволяет отказаться от установки дополнительных кулеров на каждом винчестере.

При более близком знакомстве становятся заметны недостатки:

• Небольшая глубина корпуса не позволяет поставить туда материнскую плату fullATX (305x285, в таком формате часто выпускаются двухпроцессорные серверные платы). Входит только стандартный ATX (305*244).
• Подсос воздуха идет через отверстие внизу лицевой панели, которое непропорционально мало по сравнению с диаметром вентилятора и к тому же частично перекрыто большой платой автоматики.
• Нет фильтра от пыли, поэтому сервер лучше держать на столе, а не на полу.
• Отсутствуют средства мониторинга корпусных вентиляторов. Нельзя узнать, на какой скорости они вращаются и вращаются ли они вообще (впрочем, об этом можно судить косвенно, если померить термопарой нагрев винчестера).
• Абсолютно бесшумной является только первая скорость. На второй и третьей скорости корпусные вентиляторы поскрипывают из-за того, что их регулировка - импульсная. Это досадно, потому что даже на третьей скорости шум воздуха едва заметен - он становится сильным только на четвертой и пятой скоростях. Поэтому имеет смысл отказаться от автоматики и поставить вентиляторы на реобас.
• Требуется перенастройка автоматического отключения, т.к. изначально оно настроено на температуру 65 градусов.
• При нажатии кнопок управления на лицевой панели плата автоматики громко и противно пищит. Отключить пищалку можно только на самой плате, для чего придется снять переднюю стенку.
• Кнопка Reset умело замаскирована под кнопку управления.

Инструкцию по установке корпуса и настройке автоматики можно найти на сайте 3R System . Там же есть описания альтернатив R101, которые выглядят не столь эффектно, но зато лучше продуманы с конструктивной точки зрения. Интересна модель с фильтром от пыли 3R AIR, а также более дешевая 3R NEON Light, у которой нет столь большой и бестолковой платы автоматики. Среди корпусов других производителей можно отметить недорогой, но качественный ASUS Ascot 6AR/300, а также разнообразную продукцию Chieftec.

3.2. Блок питания

Корпуса 3R поставляются без блока питания или в комплектации с блоком питания RPS, который снабжен абсолютно бесшумным боковым вентилятором размером 120 мм. Это идеальное решение как для обдува платы блока питания, так и для вентиляции процессорной зоны. Номинал блоков питания RPS - 300, 350 или 400 ватт; мне достался блок RPS300:

Со всеми проводами блок весит примерно 1.5 килограмма. Помимо стандартного, 12-вольтового и AUX-разъема, имеются два разъема FDD, шесть разъемов Molex и переходник на два разъема Serial ATA. Провода AWG18. Заявленные нагрузочные характеристики соответствуют фактическим, выходные напряжения отвечают стандарту ATX. Все хорошо, кроме одного - блок слабоват по линии +12V.

Основные потребители +12V - это процессор и внешние накопители. С учетом КПД регулятора напряжения на системной плате, для Pentium-2400С резервируется 8A (96 ватт), каждый внешний накопитель берет до 1A. У меня 3 диска и 1 CD-RW. Еще пара ампер уходит на питание вентиляторов, платы автоматики и разной мелочи на системной плате и видеокарте. В сумме получается 14A, в то время как блок питания дает до 12A. Его спасает от перегрузки только то, что процессор и накопители не берут свой максимальный ток одновременно.

В отличие от бытовой техники, серверы принято собирать с запасом по мощности - поэтому вместо 300-ваттного блока питания нужен, как минимум, 350-ваттный (на всякий случай оговорюсь, что речь идет о нормальном 350-ваттном блоке питания, а не о дешевых имитациях). Чтобы не изменять схему вентиляции в корпусe, я выбрал на замену блок питания FSP350-60PN:

3.3. Дисковая подсистема

Основное назначение файлового сервера - это хранение данных, которые надо защитить от утраты в случае аппаратной неисправности. Другое требование состоит в оперативной выдаче данных по запросам с клиентских рабочих мест. В нашем конкретном случае основная рабочая нагрузка приходится на файловый архив с документами, программами, презентациями и другими относительно редко востребуемыми файлами. Поэтому нас будет интересовать прежде всего надежность хранения данных, после этого - затратность и в самую последнюю очередь - производительность.

Диски SCSI быстры и надежны, но стоят дорого. Бытовые диски с интерфейсом ATA дешевы, но в файловом сервере живут недолго. Заверения производителей про диски Serial ATA самые радужные - MTBF у них вдвое выше, чем у ATA (1.000.000 часов против 500.000) и производительность приближается к производительности дисков SCSI. Но данные заверения надо воспринимать с поправкой на то, что предполагается применение дисков в бытовых условиях, а не круглосуточная эксплуатация на сервере под интенсивной нагрузкой. Среди немногих исключений - серверные диски Maxtor MaxLine II Plus (5400 RPM, 250Gb) и Western Digital Caviar RE (RAID Edition, 7200 RPM, 120-250Gb), которые рассчитаны на непрерывную работу в режиме 24*7.

Характеристики малошумных жестких дисков с объемом до 160-200 гигабайт собраны здесь: Винчестеры с пониженным шумом и тепловыделением. Многие производители предлагают диски большего объема - вплоть до 400 гигабайт; такие диски обычно шумят на 2-3 dB сильнее, чем соответствующие модели небольшого объема.

Самая последняя новость в мире Serial ATA - это поддержка очереди команд для оптимизации перемещения головок. По оценкам Intel и Seagate, очередь команд дает 30% рост производительности и сокращает нагрузку на привод головок накопителя. В версии SCSI эта технология называется TCQ (Tagged Command Queuing) и реализуется аппаратно; Serial ATA диски WD Raptor реализуют TCQ на микропрограммном уровне. Для недорогих дисков Serial ATA разработана облегченная версия NCQ (Native Command Queuing), которая на данный момент имеется в винчестерах Seagate Barracuda 7200.7 ST3160027AS (160Gb) и ST3200822AS (200Gb), Barracuda 7200.8 (250, 300, 400Gb), Maxtor DiamondMax 10 (80-300Gb) и MaxLine III (300, 350Gb).

Очередь команд нуждается в соответствующей поддержке со стороны контроллера Serial ATA, с которой дело пока обстоит не густо - она имеется только на некоторых самых современных системных платах и внешних контроллерах для шины PCI. В частности, Intel обеспечила поддержку NCQ в чипсетах для Socket 775 с южным мостом ICH6R. Определенные надежды могут быть связаны и с имеющимися системными платами и контроллерами, на которых установлены чипы Silicon Image Sil3512 и Sil3114, т.к. для этих чипов производитель обещает выпуск драйверов с программной поддержкой NCQ.

Чтобы собрать надежную дисковую систему, берем два недорогих диска Serial ATA (в нашем случае это будет Seagate Barracuda 7200.7) и создаем на них отказоустойчивый массив по технологии RAID 1. Это значит, что информация продублирована на обоих дисках и выход из строя одного из дисков не приводит к потере данных. Такое решение дешевле, чем установка одного соответствующего по объему диска SCSI, хотя и будет уступать ему по производительности. Кроме того, выбранные нами диски не рассчитаны на круглосуточную работу - поэтому можно ожидать, что срок их службы будет ограничен и диски придется периодически менять. Процедура замены выглядит таким образом: достаем отказавший диск, ставим новый и запускаем встроенную в контроллер RAID процедуру копирования для восстановления массива RAID 1. На время замены диска и восстановления массива сервер выводится из эксплуатации.

Производительность дискового массива RAID 1 будет выше производительности одиночного диска, если контроллер реализует чередование обращений к дискам - примером может служить Архитектура 3Ware TwinStor. Контроллер с чередованием распределяет запросы на чтение данных между дисками, исходя из текущего положения блоков магнитных головок, при этом чтение с двух дисков может выполняться одновременно, т.к. каналы Serial ATA независимы друг от друга.

Но даже с учетом чередования, производительность нашего массива RAID 1 недалеко уходит от уровня дисковой подсистемы обыкновенного бытового компьютера. Это приемлемо только при умеренной рабочей нагрузке; если же предполагается интенсивная работа с промышленными базами данных, системами потокового видео и т.п., то производительности может элементарно не хватить, не говоря уж о том, что отказавшие от непомерной нагрузки диски придется менять, как перчатки.

Для повышения производительности вместо дисков на 7200 RPM можно использовать диски WD Raptor на 10000 RPM (но это будет дороже, чем один диск SCSI). Более дешевый способ поднять производительность - поставить диски с NCQ и подобрать соответствующий контроллер.

Дисковые массивы RAID 1 отличаются простотой и надежностью, но не рекордно высокой производительностью. Для создания скоростных дисковых массивов применяется технология RAID 0 с чередованием секторов на двух или нескольких дисках. В результате получается один большой логический диск, производительность которого растет почти пропорционально числу физических дисков. Благодаря высокой производительности, технология RAID 0 активно обсуждается в компьютерных журналах. Но для наших целей она неинтересна, т.к. снижает и без того невысокую надежность хранения данных на бытовых дисках. Зато может пригодиться комбинированная технология RAID 0+1 или RAID 10, когда заводится четыре диска и на одной паре делается чередование секторов, а на другой - зеркало первой пары. Эта комбинация сочетает высокую производительность и отказоустойчивость. Более экономичная технология Intel MST (Matrix Storage Technology), поддержанная также RAIDCore/Broadcom, позволяет сочетать технологии RAID 0 и RAID 1 всего на двух дисках. Для этого на каждом диске создаются два раздела - один для массива RAID 0 и другой для массива RAID 1. Резервирование обеспечивается только для раздела RAID 1.

Кроме упомянутых простых вариантов RAID, существует большое количество более сложных, среди которых наиболее известен RAID 5. В массив RAID 5 объединяются несколько дисков c чередованием секторов (от 3 и более), из которых только один содержит избыточную информацию, получаемую путем суммирования секторов с данными по XOR. Эта технология обеспечивает отказоустойчивость при меньших накладных расходах на резервные диски. RAID 5 имеет невысокую производительность при записи, в то время как производительность при чтении примерно соответствует RAID 0.

3.3.1. Контроллер RAID

Все упомянутые методы RAID поддерживаются программно в операционных системах Windows NT/2000/2003 Server. Но с точки зрения надежности и производительности, предпочтительнее аппаратная реализация.

Следующей по мере увеличения надежности и производительности стоит поддержка Serial ATA RAID 0, 1 и 0+1(10) на ряде материнских плат среднего и верхнего ценового диапазона. Данный RAID иногда называют аппаратным, но это не более, чем недоразумение. В популярных решениях от Intel, Promise, RAIDCore/Broadcom, SIS и VIA функциональность RAID реализована в драйверах, при этом аппаратура выполняет функции контроллера Serial ATA и плюс к этому имеет регистры для взаимодействия с драйвером RAID. Т.е. речь идет о преимущественно программном RAID-е, при котором специфичные операции выполняются на центральном процессоре. Судя по тому, что загрузка процессора бывает невысокой - по разным тестам от 0.5% до 25%, такой подход можно считать оправданным. Аппаратное ускорение RAID явным образом заявлено только в чипсете NVidia nForce 250 для Athlon 64, причем без уточнения деталей ("The combination of hardware acceleration and optimized software architectures adds up to superior performance").

Программный RAID на контроллере отличается от программного RAID для Windows тем, что массив строится из физических дисков, а не из их логических разделов. Как следствие, появляются определенные преимущества:

• Обеспечивается совместимость с различными операционными системами (теми, для которых написаны драйверы).
• Операционная система может быть загружена с массива RAID.
• Облегчается спасение данных в случае краха операционной системы.
• Проводится оптимизация драйверов под конкретный контроллер.

Производительность контроллера зависит главным образом от эффективного управления дисками (в этом плане упоминались поддержка очереди команд и чередование запросов в RAID 1), а также от скорости обмена данными с оперативной памятью. Скорость обмена зависит от того, где находится контроллер - в чипсете или в отдельном чипе. В последнем случае чип обычно подключается к шине PCI, которая обладает ограниченной пропускной способностью (133 MB/s). Впрочем, пропускной способности PCI вполне хватает для обслуживания двух не слишком быстрых дисков в массиве RAID уровня 0 или 1. Есть только одно но - это гигабитный сетевой контроллер, который обычно тоже сидит на шине PCI и может откусить от нее до 125 MB/s. Если он будет работать при предельной нагрузке, то на долю дискового массива останется всего ничего.

Производительность увеличится, если хотя бы один контроллер (RAID или гигабитный сетевой) будет подключен в обход PCI на более скоростную шину. На эту тему есть гигабитные сетевые чипы Intel 82547EI для CSA (266 MB/s) и Marvel Yukon 88E8050 для PCI Express X1 (512 MB/s). С дискретными чипами Serial ATA RAID дело обстоит сложнее - они задействуют cкоростные расширения шины PCI, которые имеются только на серверных платах.

Пропускная способность PCI становится недостаточной при создании массивов из большого числа дисков, например, по технологии RAID 0+1. Походящий для них уровень производительности могут обеспечить контроллеры, встроенные в чипсет - если они подключаются к скоростным внутренним шинам. Но и здесь можно встретить контроллеры, полученные простым встраиванием в чипсет дискретных решений с интерфейсом PCI. Вот хороший обзор на эту тему: Chipset Serial ATA and RAID performance comparison.

Более продвинутые технологии, такие как RAID 5, реализуются внешними контроллерами, в их числе - Promise FastTrak S150 SX4 и различные платы с применением оптимизированных под RAID 0 чипов Silicon Image Sil3112, Sil3114 и аппаратного XOR-процессора. Здесь речь идет об аппаратно-программном решении, т.к. XOR-процессор берет на себя вычисление контрольных сумм RAID 5. Для ускорения работы на плату устанавливается буферная память и скоростные расширения шины PCI. Многие контроллеры допускают установку и на десктоповую шину PCI, но их производительность в этом режиме будет не особенно высокой.

Десктоповая шина PCI (32 bit, 33 MHz, 133 MB/s) не подходит для скоростных контроллеров, т.к. при объединении диcков в массив RAID скорость передачи данных суммируется. К примеру, теоретическая скорость передачи данных с пяти дисков Serial ATA в массиве RAID 5 будет равна 600 (4*150) MB/s, реальная скорость доходит до 220 MB/s: см. Тесты масштабирования RAID 5: от трёх до восьми жёстких дисков.

Полностью аппаратный RAID встречается в дорогих контроллерах с микропроцессорами, применение которых оправдано при наличии большого числа дисков, повышенных требований к готовности и т.п. Что же касается массива RAID 1, то здесь можно ограничиться материнской платой со встроенным контроллером - именно это решение будет оптимальным по стоимости для платформ Pentium 4 и Athlon 64. Вот известные мне чипы Serial ATA RAID, которые применяются (или могут применяться) на материнских платах:

В качестве примера остановимся более подробно на поддержке RAID в чипсетах Intel. Чтобы включить RAID для южных мостов ICH5R и ICH6R(RW), требуется Intel Application Accelerator - поэтому дисковый массив будет работать только под Windows 2000/XP/2003 (имеется также патч для ядра Linux 2.4 с ограниченными возможностями). Это наводит на мысль о том, что RAID от Intel является программным, т.е. все специфичные операции выполняются на центральном процессоре - насколько можно судить по BIOS, для этого используется технология HostRAID от Adaptec. Программный характер RAID подтверждается изучением спецификаций южных мостов, в которых упомянут только один регистр конфигурации RAID, причем его значение не зависит от типа массива RAID (0 или 1). Надо отметить, что многие производители распаивают на топовых платах с чипсетами Intel сторонние контроллеры Serial ATA RAID вместо того, чтобы полагаться на южный мост - и это несмотря на то, что тот показывает отличную производительность в массивах RAID 0 и 1. Вот статья, в которой производительность RAID на ICH5R сравнивается с производительностью контроллера Promise PDC20319.

Аналогичным образом поддерживается RAID в южном мосте 6300ESB. К примеру, для платы Intel SE7210TP1-E ("Torrey Pines") применяются драйверы HostRAID от Adaptec с теми же ограничениями на операционные системы - поддерживается Windows NT и выше, а для Linux есть патчи, которые надо вшивать в ядро системы.

Обсуждение технологий RAID, а также тесты производительности контроллеров и жестких дисков в массивах RAID можно найти на сайтах www.fcenter.ru, www.thg.ru, www.ixbt.com и www.techreport.com .

3.4. Оперативная память

Оперативная память сервера распределяется между операционной системой, приложениями, сессиями терминального доступа и дисковым кэшем, который улучшает производительность системы и продлевает жизнь дисков под нагрузкой. К примеру, для Windows 2003 Server 32-bit Standard Edition надо отвести не меньше 256 мегабайт, а общий объем памяти может составлять до 4 гигабайт. В целом, чем больше памяти установлено на сервере - тем лучше :).

Еще одна отличительная особенность сервера - это применение памяти с коррекцией ошибок (ECC). Память ECC DIMM имеет 72-битный интерфейс и число чипов на каждом модуле памяти, кратное 9 (а не 8, как у модулей без ECC с 64-битным интерфейсом). Такое увеличение числа чипов обеспечивает коррекцию однобитных ошибок и обнаружение двухбитных ошибок, которое происходит в контроллере памяти. Значение коррекции ошибок трудно переоценить, т.к. вероятность сбоя растет с увеличением объема и плотности оперативной памяти. Надо также принять во внимание, что большую часть памяти на сервере занимает дисковый кэш, который должен быть защищен от случайных искажений.

Память с ECC бывает двух основных видов - регистровая и небуферизованная. Регистровая память ставится в основном на серверные материнские платы, стоит дорого и к тому же имеет несколько повышенную латентность. Небуферизованная память с ECC может устанавливаться на продвинутых платах потребительского класса, например, построенных на чипсете 875P. От обычной памяти без коррекции ошибок она отличается только количеством чипов на модуле, поэтому работает так же быстро, а себестоимость ее лишь ненамного больше (невелика разница в том, чтобы вместо 64 бит хранить 72 бита, а схемы коррекции ошибок располагать не на модуле памяти, а в контроллере). При этом память с ECC более надежна и к тому же, по идее, должна быть более стабильной при разгоне, чем память без ECC. Но проверить это предположение на практике мне не удалось, потому что модули небуферизованной памяти с ECC редко встречаются в свободной продаже. А те модули, что удалось достать - не заработали ни на одной плате с чипсетом 875P. Поэтому в качестве временного решения пришлось поставить обычные модули памяти от Hynix.

Дефицит модулей небуферизованной ECC можно объяснить тем, что совместимые материнские платы для Pentium 4 слишком дороги для массового рынка. Возможно, что с распространением Athlon 64 ситуация выправится, т.к. этот процессор совершенно бесплатно поддерживает небуферизованные модули с ECC в своем встроенном контроллере памяти.

3.5. Процессор

Недорогие серверы почти повсеместно собирают на процессорах Intel:

• Для однопроцессорных систем - Pentium 4 на ядре Northwood, Gallatin (0.13m) или Prescott (0.09m).
• Для двухпроцессорных систем - Xeon на ядре Prestonia, Gallatin (0.13m) или Nocona (0.09m).

Надо сказать, что эти процессоры более ориентированы на потоковую обработку, чем на работу с базами данных. Во-первых, они тратят более 10 тактов на целочисленное умножение, из-за чего тормозят при пересчете адресов LBA в CHS и при адресации записей в безе данных. Во-вторых, из-за большой длины конвейера (20-30 стадий) замедляется поиск по дереву при обращении к базам данных и большим каталогам файловой системы NTFS. В качестве компенсации за эти недостатки предлагается гипертрединг, который удваивает число логических процессоров по сравнению с числом физических - это улучшает работу компьютера в многозадачном режиме. Но что рассуждать о достоинствах и недостатках? Попытка взять вместо Pentium 4 более подходящий процессор - например, Pentium III упирается в отсутствие комплектующих. Поэтому берем то, что предлагают.

Для сервера важны не гигагерцы, а гипертрединг и объем кэша. Дешевую и малошумную систему можно собрать на любом процессоре Pentium 4 с ядром Northwood, частотой до 2.8 GHz и штатном боксовом кулере. Процессоры с более высокой частотой работают при увеличенном напряжении питания и тепловыделении, поэтому их боксовый кулер имеет регулируемые обороты и под нагрузкой начинает шуметь. Если требуется малошумная работа во всех режимах, то потребуется более качественный кулер, который охладит процессор на оборотах около 3000 RPM или ниже (статья).

Гипертредингом обладают:

• Все процессоры Pentium 4 c шиной 800 MHz.
• Процессор Pentium 4 c шиной 533 MHz и частотой 3.06 GHz.
• Все процессоры Xeon c шиной 533 MHz и 800 MHz.

Кэш объемом больше 512K имеется на процессорах с ядрами Gallatin, Prescott и Nocona. Процессоры Gallatin мало кто видел вблизи из-за их высокой стоимости (к их числу относятся Pentium 4 Extreme Edition и старшие модели Xeon с частотой от 3 GHz). Демократичную цену имеет Prescott, но его температурный режим оставляет желать лучшего. Nocona - это серверный вариант Prescott с шиной 800 MHz и поддержкой 64-битной арифметики (EM64T, aka AMD64).

Если не гнаться за физической многопроцессорностью и кэшем больше 512K, то оптимальным выбором будет процессор на ядре Northwood с шиной 800 MHz и частотой до 2.8 GHz. Такие процессоры бывают всего трех модификаций: Pentium 4 2.4С, 2.6С и 2.8C. Если системная плата не поддерживает шину 800 MHz, то при известной доработке системы охлаждения подойдет Pentium 4 3.06/533 Mhz.

А теперь немного о процессорах Athlon. При обсуждении ограничимся однопроцессорными вариантами, поскольку именно они наиболее интересны для применения в серверах начального уровня.

Традиционный процессор Athlon XP хорош тем, что при низкой цене он мало в чем уступает процессору Penitum 4 (разве что пиковая скорость обмена данными с памятью в 2-3 раза ниже). Но дешевизна его и подводит - Athlon XP жестко позиционируется для систем low-end, соответственно большинство чипсетов под него не поддерживают память с ECC. Исключение составляют только самые древние чипсеты, как то AMD760 и VIA KT133/266/333. Разработка новых материнских плат под эти чипсеты уже не ведется, а в старых платах отсутствует поддержка Serial ATA RAID. Поэтому дисковый массив надо будет подключать через внешний контроллер PCI или создавать программным путем.

Гораздо интереснее Athlon 64, который работает с небуферизованной памятью DDR через интегрированный контроллер - минуя чипсет. Схему коррекции ошибок Athlon 64 унаследовал от серверного процессора Opteron, т.е. ECC поддерживается для памяти, а также имеется в кэше L2 и кэше данных L1; кэш команд L1 имеет контроль четности. Аналогичной поддержкой ECC обладает бюджетный процессор Sempron 3100+ на ядре Pairs с 32-битной арифметикой и кэшем L2 256K, благодаря чему его тоже можно использовать в качестве серверного :). Таким образом, поддержка памяти ECC в системах на основе линейки AMD K8 имеется независимо от чипсета. Что касается поддержки Serial ATA RAID, то проще назвать чипсеты, где ее нет - это NVidia nForce3 150, SIS 755(963) и Uli 1689/1687 (так теперь называется чипсетное подразделение Ali). Вce остальные чипсеты - NVidia nForce3 Ultra/250Gb/250, VIA K8M800/K8T800 и SIS 760/756/755(964) поддерживают, как минимум, Serial ATA RAID уровней 0 и 1; для поддержки RAID 0+1 требуется распайка на плате дополнительного PHY-контроллера. В дополнение к этому, чипы nForce3 Ultra и 250Gb снабжены гигабитным сетевым интерфейсом с фильтрацией IP-пакетов, а VIA K8M800 и SIS 760 имеют встроенное графическое ядро. В готовящемся к выпуску чипсете ATI на ядре RS480 обещана поддержка Serial ATA RAID 0/1/0+1 и графическое ядро Radeon 9600. Такой интеграции функций нет даже в самых новых чипсетах для Pentium 4.

Продолжая хвалить Athlon 64, упомянем режимы Cool'n'Quiet с пониженной частотой и напряжением питания (см. Процессоры с низким тепловыделением). Как мы уже отмечали, для файлового сервера высокая частота процессора непринципиальна, а вот экономия электроэнергии при круглосуточной работе будет вполне ощутимой. Для защиты от вирусов пригодится поддержка бита NX (Non Execute), который блокирует исполнение программного кода при ошибках переполнения буфера. Поддержка NX есть во Windows XP SP2, ее также планируется включить во Windows Server 2003 SP1. Что же до 64-битной арифметики - то ее наличие, как минимум, не помешает :). Аналогичные возможности недавно появились в процессорах Intel с ядром Prescott степпинга E0 и Nocona.

Все это просто здорово, но важно то, чтобы система в сборе действительно заработала, как обещано - потому что платформе всего один год и многие платы под Athlon 64 пока еще сыроваты. Вот одна из статей, которая позволяет судить о текущем состоянии дел в этой области: Проблемы двух модулей памяти и Socket 754: проверка совместимости.

Среди существенных преимуществ платформы Intel остается гипертрединг, пока не имеющий аналогов в серийных процессорах AMD, а также очень хорошая отработанность процессоров с топологией 0.13m. Благодаря последнему обстоятельству серверная платформа Intel выглядит более предпочтительно. Но как бы не были консервативны серверные технологии, смена платформы произойдет и здесь. В этом плане соперниками AMD K8 будут процессоры Intel с топологией 0.09m, которые уступают своим предшественникам по таким важным параметрам, как тепловыделение и длина конвейера.

3.6. Чипсет

Среди чипсетов для серверов и рабочих станций выделяется продукция Intel и Serverworks. Вот основные характеристики чипсетов Intel для одно- и двухпроцессорных плат:

Все чипсеты поддерживают двухканальный режим работы с памятью и обладают сопоставимой производительностью - поэтому выбор чипсета для сервера начального уровня определяется главным образом ценой и доступностью комплектующих.

Чипсеты для Xeon поддерживают скоростную шину PCI для подключения высокопроизводительных внешних контроллеров. В частности, все чипсеты поддерживают 32 и 64-битные платы PCI, работающие на частоте 33 или 66 MHz с пропускной способностью 133, 266 или 533 MB/s. Шина PCI-X позволяет поднять частоту до 133 MHz и получить пропускную способность 1066 MB/s. Возможности данных чипсетов подробно освещаются в статьях: Серверы на основе процессоров Intel... и Двухпроцессорная система на Xeon: выгодная альтернатива Intel Pentium 4 EE.

В отличие от двухпроцессорных, однопроцессорные чипсеты поддерживают только стандартные платы PCI (32 bit, 33 MHz, 133 MB/s). Слабость южного моста у чипсета 875P отчасти компенсируется возможностью подключения гигабитного сетевого интерфейса к северному мосту (CSA - Communication Streaming Architecure). В более новых чипсетах E7210 и 925X имеется поддержка шин с пропускной способностью до 533 MB/s.

Чипсет 925X выделяется еще и тем, что в варианте с южным мостом ICH6R(RW) и драйвером Intel Application Accelerator у него есть поддержка RAID 0/1/MST и NCQ. Для полного улета не хватает только RAID 0+1! По этому чипсету, который в настоящее время проходит обкатку на покупателях, можно судить о том, какое будущее готовит нам Intel. В существующие платы на этом чипсете не получится поставить процессор с ядром Northwood, т.к. в корпусе LGA775 выпускаются только процессоры с ядрами Gallatin и Prescott. От памяти DDR тоже придется отказаться в пользу DDR2, которая пока работает медленнее из-за своей большой латентности. Про видеокарты для AGP тоже можно забыть - на смену этой шине пришла PCI Express. Впрочем, при желании можно поставить антикварную карточку для PCI ;).

В нашем случае скоростная шина не потребуется, т.к. будет применяться встроенный контроллер Serial ATA RAID. Поэтому нам хватит возможностей чипсета 875P.

3.7. Системная плата

Для сервера начального уровня подойдет плата с поддержкой памяти ECC, дисков Serial ATA и отказоустойчивых массивов RAID 1. Из числа относительно недорогих этим требованиям отвечают:

• Платы для Pentium 4 на чипсетах Intel 925X-ICH6R(RW), 875P-ICH5R и E7210.
• Платы для Pentium 4 на чипсетах Intel 925X/875P/E7210/E7205/850E с дополнительным контроллером Serial ATA RAID.
• Платы для Pentium 4 на чипсетах VIA PT890/880/800 и SIS 656.
• Платы для Athlon 64 на чипсетах NVidia nForce 150, SIS 755(963) и Uli 1689/1687 с дополнительным контроллером Serial ATA RAID.
• Платы для Athlon 64 на чипсетах NVidia nForce Ultra/250Gb/250, VIA K8M800/K8T800 и SIS 760/756/755(964).

Чипсет 875P поддерживает небуферизованную память DDRAM с ECC, чем выделяется среди остальных десктоповых чипсетов Intel для Socket 478. Если поддержка ECC не требуется, то можно ограничиться более дешевыми платами на родственном чипсете 865PE. Южный мост на платах c 875P и 865PE поддерживает два диска Serial ATA, при этом в варианте ICH5R изначально была заявлена поддержка RAID 0 и несколько позже - RAID 1. Но на самом деле RAID реализован программно через Intel Application Accelerator. Поэтому дисковый массив на чипсете 875P будет работать только под Windows 2000/XP/2003.

На момент сборки сервера Intel Application Accelerator не поддерживал Windows Server 2003, поэтому была выбрана плата ASUS P4C800 Deluxe на чипсете 875P с дискретным контроллером Serial ATA RAID Promise PDC20378. Этот контроллер функционально аналогичен плате FastTrak S150 TX2plus, т.е. он реализует программный RAID, но при этом обладает широкой поддержкой различных операционных систем. Контроллер обеспечивает работу 2 дисков Serial ATA и 2 дисков Parallel ATA в режимах RAID 0, 1 и 0+1. Плата P4C800 Deluxe имеет встроенный гигабитный сетевой адаптер 3COM 3С940. Оба устройства (контроллер RAID и сетевой адаптер) сидят на шине PCI. Для меня это приемлемо, т.к. сервер подключается к 100-мегабитной сети и сетевой адаптер даже в дуплексе возьмет не более 20% от пропускной способности шины (25 MB/s от 133 MB/s). В случае гигабитной сети подойдет более новая плата P4C800-E Deluxe, на которой распаян контроллер Intel 82547EI с интерфейсом CSA.

Среди хороших свойств плат серии P4C800 можно указать встроенный звук, режим Q-Fan для регулировки оборотов кулера из BIOS и функции разгона, которые позволяют провести стресс-тест сервера. Такое применение разгона признает даже Intel, которая разрешила разгон в плате D875PBZ ("Bonanza") - правда, всего на 4% ;).

Отмеченные мной недостатки платы состояли в отсутствии вентилятора на северном мосте чипсета, а также в недостоверности показаний некоторых датчиков. Напряжения +12V и +5V показываются с погрешностью -2% (этот завал может быть вызван плохой разводкой питания). Показания +3.3V скачут, хотя на самом деле напряжение стабильно. А датчик фана как-то раз показал 18000 оборотов :).

3.8. Комплектация сервера и его разгон

В итоге, получился компьютер стоимостью около 37000 рублей по ценам 2003 года (без учета операционной системы, которая приобреталась по академической лицензии). Сейчас такой компьютер стоит примерно на 5000 рублей дешевле. Для сравнения приведена комплектация отечественного малошумного сервера Arbyte Alkazar S100 , выпущенного в июне 2004 года и обладающего сходными возможностями:

Я намеренно назвал свою машину компьютером, а не сервером - потому что похожую технику можно найти на столе у многих пользователей, и там она выполняет отнюдь не серверные функции. RAID 1 тоже не может считаться чисто серверным решением - ввиду известной ненадежности дисков такая предосторожность не помешает даже на домашнем компьютере. Тем не менее, многие бренды предлагают похожие конфигурации (и даже более слабые - без поддержки Serial ATA RAID, с минимумом оперативной памяти и т.п.) в качестве дешевых серверов начального уровня.

Стресс-тест показал следующее: разгон синхронно с памятью сервер терпит в пределах 20% (FSB 240) при напряжении на ядре 1.6V, дальше все упирается в конкретный процессор. В общей сложности, сервер проработал в разгоне несколько суток. Для справки приведу выходные напряжения блока питания RPS300, померенные мультимером (отметим, что речь идет о предельной для данного блока нагрузке, т.к. под нагрузкой ток по линии +12V составлял около 12A):

3.9. Температурный режим

Температурный режим сервера отслеживается по датчикам процессора, материнской платы и винчестера Seagate 31200026A, который занимает верхний слот в нижней части корпуса. Процессор работает в штатном режиме (2.4 GHz). Боксовый кулер посажен на термопасту КПТ-8; его обороты составляют 2100 RPM при температуре процессора до 56 градусов и 3000 RPM при температуре процессора свыше 59 градусов (регулировка Q-Fan).

Температура замерялась при оборотах корпусных вентиляторов от 0 (останов) до 5 (максимум) в режиме бездействия и при выполнении следующих тестов:

1. Прогрев процессора по Prime95 Torture Test (In-place large FFTs).
2. Экстремальный прогрев процессора по Prime95 Torture Test + BurnP6.
3. Прогрев винчестера ATA путем копирования на него файлов с массива Serial ATA RAID 1.

Тест Prime95 дает верхнюю оценку температуры процессора при работе в реальных приложениях. Экстремальный прогрев проводится двумя программами, т.к. процессор имеет гипертрединг. По моим замерам, комбинация Prime95 + BurnP6 греет процессор c гипертредингом на 1-2 градуса сильнее, чем BurnP6 + BurnMMX.

Все показания датчиков приведены к внешней температуре 25 градусов (т.е. если температуру в комнате была 24 градуса, то к показаниям всех датчиков прибавлялась 1, если 26 градусов, то из показаний вычиталась 1 и т.п.).

Температура при различных оборотах корпусных вентиляторов

Из результатов видно, что корпусные вентиляторы слабо влияют на температуру процессора, но зато хорошо охлаждают диски. Я думаю, что этот разнобой связан с особенностями воздушных потоков: если корпусные вентиляторы остановлены, то воздух частично идет по короткому пути через решетку вытяжного вентилятора (см. рис. ниже). При такой вентиляции процессор охлаждается хорошо, чего не скажешь об остальных компонентах системы. Нормальный поток воздуха имеет место только при работающих корпусных вентиляторах.

Основной поток воздуха при отключенных и включенных корпусных вентиляторах

Заключение

Сервер работает восемь месяцев в круглосуточном режиме под операционной системой Windows Server 2003 Standard Edition, обеспечивая работу Web-сайта на движке PostNuke (технологии Apache/PHP/MySQL), Интранет-сервера на IIS, электронной почты, файлового архива и службы удаленного доступа. За это время какие-либо неприятные эффекты (скопление пыли, выход из строя вентиляторов, зависания и т.п.) замечены не были. Уровень шума - минимален. При температуре в комнате 25 градусов и работе корпусных вентиляторов на 3 скорости температура винчестеров не поднимается выше 37 градусов. Температура процессора в простое - 40 градусов, под тестом Prime95 - 57 градусов.

Изучая различные серверы начального уровня, можно заметить, что они по конструкции мало чем отличаются от обычных домашних или офисных компьютеров. Поэтому последние довольно часто используются в качестве сервера, что оправдывается их низкой ценой и достаточно высокой производительностью. Но здесь важно понимать разницу между дешевым и надежным компьютером. Низкая стоимость самосборных машин достигается в основном за счет применения ненадежных или некачественных комплектующих. А если не экономить на комплектующих - то стоимость самосборного сервера будет приближаться к стоимости брендового.

Особая благодарность специалистам фирмы Sunrise-Екатеринбург за сборку сервера.

Сведения об изменениях

Самый "свежий" вариант статьи можно найти на сайте автора.

Ждём Ваших комментариев в специально созданной ветке конференции.