Rambler's Top100
 
 
Статьи
Константин КОРОЛЕВ  07 октября 2021

Стандарт EN 50600: первое знакомство

В российской отрасли ЦОДов немногие специалисты знакомы с европейским стандартом EN 50600, особенностями его применения, возможностью соответствующей сертификации и тем более способны сопоставить его с другими стандартами для дата-центров. Попробуем заполнить этот пробел.

История и состав стандарта

В отрасли центров обработки данных, которая сравнительно молода по общемировым меркам, соответствующие стандарты появились недавно, 15–20 лет назад. Эти стандарты разрабатывались организациями, как входящими в ISO/IEC (например, Ассоциацией телекоммуникационной промышленности США (Telecommunications Industry Association, TIA) и Американским национальным институтом стандартов (American National Standards Institute, ANSI)), так и независимыми от них (скажем, Uptime Institute или BICSI (стандарт BICSI-002 впоследствии был аккредитован ANSI; его последняя версия обозначается ANSI/BICSI-002:2019)). В Европе стандартом на создание ЦОДов и управление ими стал разработанный CENELEC стандарт EN 50600 Information Technology – Data Centre Facilities and Infrastructures. Стандарт описывает требования к проектированию, построению и эксплуатации ЦОДов, основанные на предлагаемой классификации этих объектов по четырем уровням готовности и физической безопасности, а также ключевые показатели их эффективности.

Первая версия стандарта появилась в 2012 г. (EN 50600:2012). Фактически стандарт изложен в группе логически связанных документов, которые выходили в целом ряде редакций. Частые изменения текстов, входящих в стандарт, обусловлены как накоплением опыта участниками отрасли, так и совершенствованием применяемых технологий и расширением круга рассматриваемых тем. Если первоначально стандарт фокусировался на принципах и процессе проектирования ЦОДа, то новейшие дополнения затрагивают такие вопросы, как энергоэффективность объекта на протяжении всего жизненного цикла. Последние версии составляющих стандарт документов появились в 2020 г., и работа над ними продолжается. Стандарт существует в трех официальных языковых версиях: на английском, французском и немецком языках.

Стандарт представляет собой свод рекомендаций по построению ЦОДа, отвечающего определенному набору требований с точки зрения надежности и эффективности эксплуатации. Он рассчитан на совместное использование архитекторами, проектировщиками, строителями и инженерными компаниями (в нашем понимании – системными интеграторами) в процессе создания объекта. Однако стандарт не затрагивает выбор конкретных технологий, решений, типов и марок оборудования, аппаратных и программных продуктов и т.п., оставляя это на усмотрение проектировщиков. Он фокусируется на надежности и эффективности отдельно взятого ЦОДа, не рассматривая геораспределенные модели из нескольких ЦОДов (и, следовательно, степень доступности предоставляемых такой моделью сервисов). Также стандарт не затрагивает требования по электробезопасности и электромагнитной совместимости, поскольку данные вопросы регламентируются другими документами, обязательными к применению и в известной степени аналогичными нашим ПУЭ, техническим регламентам и пр.

Стандарт состоит из пяти частей (рис. 1).
Рис. 1. Структура стандарта EN 50600

Часть 1 (EN 50600-1). Общие положения и терминология, в том числе классификация ЦОДов по уровням готовности, физической безопасности и энергоэффективности.

Часть 2 (EN 50600-2-X). Рекомендации по проектированию и построению здания ЦОДа и его инфраструктуры в соответствии с классификацией, приведенной в части 1. 

Часть 3 (EN 50600-3-X). Требования и рекомендации по эксплуатации, процессам и управлению ЦОДом.

Часть 4 (EN 50600-4-X). Ключевые показатели эффективности (KPI) ЦОДа, рекомендуемые в качестве инструмента анализа и повышения эффективности использования его ресурсов. 

Дополнения (EN 50600-99-X). Дополнительные рекомендации как по применению самого стандарта, так и по обеспечению условий, повышающих эффективность использования ЦОДа.

Классификация ЦОДов

Первая часть стандарта (EN 50600-1:2019, Information technology – Data centre facilities and infrastructures – Part 1: General concepts) излагает основные положения, на которых построен стандарт: понятийный аппарат, общие аспекты, параметры, эталонные модели и функциональные элементы ЦОДа, в том числе требования к внешней по отношению к ЦОДу инфраструктуре; перечисляет вопросы, нуждающиеся в рассмотрении при анализе бизнес-рисков и операционных затрат; вводит концепцию ключевых показателей эффективности ЦОДа; описывает принципы проектирования, включая маркировки, условные обозначения, требования к документации и т.п. 

Наконец, стандарт формулирует, вероятно, наиболее важную для многих концепцию, – систему классификации ЦОДов, основанную на трех критериях: готовности, безопасности и энергоэффективности (рис. 2). Для каждого из критериев выделены несколько уровней. Соответствующий этим уровням объект будет подвержен большим или меньшим рискам и будет по-разному влиять на бизнес компании. 
Источник: Euris Technology
Рис. 2. Система классификации ЦОДов по готовности, безопасности и энергоэффективности

Так, с точки зрения готовности (Availability) инженерной инфраструктуры ЦОДа рассматриваются четыре уровня (класса). Эти классы в принципе подобны (хотя и имеют ряд отличий) уровням Tier, разработанным Uptime Institute, и применяются к системам энергоснабжения, охлаждения и кабельной разводке.

Класс 1. Низкая готовность. Резервирование отсутствует; единичные линии распределения.

Класс 2. Средняя готовность. Резервирование отдельных компонентов; единичные линии распределения.

Класс 3. Высокая готовность. Резервирование на уровне компонентов и дублирование линий распределения. Обеспечивается техобслуживание без остановки сервисов.

Класс 4. Очень высокая готовность. Резервирование на уровне систем и дублирование линий распределения. Обеспечивается отказоустойчивость, за исключением периодов проведения ТО.

При оценке физической безопасности (Physical Security), в которой выделяются четыре уровня (зоны), изучаются возможность несакционированного доступа и устойчивость к внутренним инцидентам, связанным с окружающей средой (пожар, затопление помещений и т.п.), а также к внешним воздействиям природного и техногенного характера. Для критерия энергоэффективности (Energy Efficiency Enablement) вводятся три уровня, зависящие от таких метрик, как коэффициент энергоэффективности (PUE), использование во­зо­б­­новляемых источников энергии (REF) и пр.

Соответствие одному и тому же уровню в рамках трех критериев не является обязательным: ЦОД может одновременно характеризоваться, например, классом 3 по готовности, зоной 4 по безопасности и уровнем 1 по энергоэффективности.

Международная стандартизация: основные действующие лица и правила

Европейские стандарты, или Евро­пейские нормы (European Norms, EN) – это технические стандарты, которые разрабатываются и поддерживаются тремя некоммерческими организациями: Европейским комитетом по стандартизации (Comité Européen de Normalisation, CEN), Европейским комитетом электротехнической стандартизации (Comité Européen de Normalisation Électrotechnique, CENELEC) и Евро­пей­ским институтом телекоммуникационных стандартов (European Telecommunications Standards Institute, ETSI). Эти организации формируют систему технического нормирования и стандартизации в Европе; стандарты многих стран за пределами Европы также согласуются со стандартами EN. Стандарты EN обозначаются EN XXXXX:XXXX, где первые пять разрядов дают номер стандарта, а последние четыре разряда – год его введения в использование.

CEN, CENELEC и ETSI сотрудничают с другими организациями в области международной стандартизации, в том числе c Международной организацией по стандартизации (International Organization for Standardization, ISO) и Международной электротехнической комиссией (International Electrotechnical Commission, IEC). Это сотрудничество направлено на то, чтобы избежать дублирования стандартов и потенциальных конфликтов между ними. Ряд стандартов ISO и IEC был принят в качестве Европейских стандартов (EN). Такие стандарты имеют обозначения формата ISO EN XXXXX и действуют на всей территории Евросоюза. Отметим, что Россия является членом ISO и IEC. 

Важно, что страны-участницы не обязаны использовать стандарты ISO и IEC; каждая страна, в том числе Россия, вправе их применять или не применять. В России Государственная система стандартизации допускает разные варианты применения международных и региональных стандартов в качестве национальных (см. ГОСТ Р 1.7-2014 «Стандартизация в Российской Федерации. Стандарты национальные. Правила оформления и обозначения при разработке на основе применения международных стандартов»):
  • принятие исходного текста международного (регионального) стандарта в качестве национального (ГОСТ Р) без каких-либо дополнений и изменений. Такой вариант, называемый идентичным стандартом, обозначается так, как это принято для национального стандарта (например, ГОСТ Р ИСО 9001:2000);
  • принятие текста международного (регионального) стандарта с дополнениями, отражающими особенности российских требований к объекту стандартизации. Это называют модифицированным стандартом, и в его обозначение к шифру отечественного стандарта добавляется номер соответствующего международного (регионального): например, ГОСТ Р 56106-2015 (ИСО/МЭК 19510:2013).
Европейские стандарты имеют силу на всей территории Евросоюза и превалируют над национальными стандартами, разработанными ранее национальными органами, например, Германским институтом стандартизации (Deutsches Institut für Normung, DIN) или Австрийским институтом по стандартизации (Österreichisches Normungsinstitut, ÖNORM). Так, в инструкции CEN-CENELEC Internal Regulations, Part 2 говорится, что «Европейский стандарт (EN) несет в себе обязательство применения на национальном уровне, получая статус национального стандарта и отменяя любой конфликтующий с ним национальный стандарт».
Отметим, что данное правило касается государственных стандартов, что не отменяет возможности использования других, независимых стандартов, однако фактически сильно сужает возможности применения последних.

Требования и рекомендации по проектированию и построению ЦОДа

Второй раздел стандарта EN 50600 рассматривает как здание, так и отдельные подсистемы инженерной инфраструктуры ЦОДа применительно к приведенной в части 1 классификации по трем ключевым критериям и их уровням. Раздел включает пять документов.

Часть 2-1. Построение здания ЦОДа (EN 50600-2-1:2015, Information technology – Data centre facilities and infrastructures – Part 2-1: Building construction). Документ перечисляет требования к зданию ЦОДа и вспомогательным сооружениям с точки зрения уровней (зон) физической безопасности. Здесь рассматриваются выбор места расположения ЦОДа, исходя из внешних условий; требования к зданию ЦОДа и его конфигурация; системы противопожарной безопасности; контроль качества строительства. Если проводить параллель с известными у нас стандартами Uptime Institute, то первые два элемента описываются в стандарте на эксплуатационную устойчивость (Tier Standard: Operational Sustainability).

Часть 2-2. Системы электроснабжения и распределения питания (EN 50600-2-2:2019, Information technology – Data centre facilities and infrastructures – Part 2-2: Power supply and distribution). Документ рассматривает источники энергоснабжения для ЦОДа и их организацию; системы распределения электропитания внутри ЦОДа до конечных потребителей; системы заземления и молниезащиты; устройства учета потребления электроэнергии и контроля ее качества во всех ключевых точках системы распределения питания, а также интеграцию таких устройств с системой управления зданием (инфраструктурой).

Часть 2-3. Контроль эксплуатационной среды (EN 50600-2-3:2019, Information technology – Data centre facilities and infrastructures – Part 2-3: Environmental control). Документ определяет требования к контролю температуры, влажности, запыленности, вибраций, а также к физической безопасности систем контроля эксплуатационной среды.

Часть 2-4. Телекоммуникационная кабельная инфраструктура, СКС (EN 50600-2-4:2015, Information technology – Data centre facilities and infrastructures – Part 2-4: Telecommunications cabling infrastructure). Документ излагает принципы организации слаботочной кабельной разводки в ЦОДе, исходя из критерия готовности, сформулированного в части 1. Рассматривается построение СКС различного назначения (поддерживающих системы мониторинга и контроля элементов инфраструктуры ЦОДа и автоматизацию различных компонентов, обеспечивающих связность ЦОДа с внешним миром), а также организация и размещение элементов этих сетей.

Часть 2-5. Системы безопасности (EN 50600-2-5:2016, Information technology – Data centre facilities and infrastructures – Part 2-5: Security systems). Документ описывает системы физической безопасности, контроля и управления доступом на объект (СКУД), меры противопожарной защиты внутри здания и противодействия иным негативным воздействиям как внешней, так и внутренней природы.

Все части второго раздела стандарта многократно корректировались с момента своего появления в 2012 г., и работа над ними продолжается.

Часть 3. Информация об управлении и эксплуатации (EN 50600-3-1:2016, Information technology – Data centre facilities and infrastructures – Part 3-1: Management and operational information). Раздел посвящен организации процессов управления и эксплуатации ЦОДа. Основной фокус документа – эксплуатационные процессы, необходимые для обеспечения требуемого уровня устойчивости и готовности, управление рисками и их минимизация, управление мощностями ЦОДа и энергоэффективность. Особый акцент сделан на соответствии процессов управления ЦОДом текущим и будущим требованиям его пользователей.

Ключевые показатели эффективности

Часть 4 (EN 50600-4-X) состоит из группы документов, в которых рассматриваются ключевые показатели эффективности ЦОДа, служащие для анализа и повышения эффективности использования ресурсов. Изначально этот раздел не входил в стандарт EN 50600 и был разработан не CEN/CENELEC, а IEC. Эти документы были опубликованы в составе международного стандарта ISO/IEC 30134:2016 Information technology – Data centres – Key performance indicators и в рамках взаимодействия между CEN/CENELEC и ISO/IEC были включены в состав EN 50600 практически без изменений.

В раздел входят следующие документы.

Часть 4-1. Обзор и общие требования к ключевым показателям эффективности (EN 50600-4-1:2016, Information technology – Data centre facilities and infrastructures – Part 4-1: Overview of and general requirements for key performance indicators). Здесь приводятся общая структура раздела, определения и терминология, граничные условия применения KPI, их цели и пр.

Часть 4-2. Коэффициент энергоэффективности (EN 50600-4-2:2016/A1:2019, Information techno­logy – Data centre facilities and infra­structures – Part 4-2: Power Usage Effec­tive­ness). Документ характеризует коэффициент энергоэффективности (PUE) как ключевой показатель эффективности (KPI), позволяющий количественно оценить эффективность потребления электроэнергии; дает определение PUE ЦОДа и категории его измерения; раскрывает взаимосвязь PUE с инфраструктурой ЦОДа и ИТ-оборудованием; описывает измерение, вычисление и корректный учет PUE. 

Часть 4-3. Фактор использования возобновляемой энергии (EN 50600-4-3:2016/A1:2019, Infor­mation technology – Data centre facilities and infra­structures – Part 4-3: Renewable Energy Factor). В документе рассматривается применение в ЦОДе источников возобновляемой энергии (солнечной, ветряной и т.п.), описывается методология вычисления REF и его корректного учета.

Следующие две части раздела на момент написания статьи находились в разработке и не были опубликованы.

Часть 4-4. Энергоэффективность серверного оборудования (EN 50600-4-4:2019, Information technology – Data centre facilities and infrastructures – Part 4-4: IT Equipment Energy Efficiency for servers (ITEEsv));

Часть 4-5. Потребление электроэнергии серверным оборудованием (EN 50600-4-5:2019, Information technology – Data centre facilities and infrastructures – Part 4-5: IT Equipment Energy Utilization for servers (ITEUsv)).

Эти части, описывающие особенности использования размещенного в ЦОДе ИТ-оборудования, с точки зрения данного в части 1 стандарта определения ЦОДа, согласно которому это структура для размещения ИТ-систем, но не сами системы (серверы), несколько выбиваются из общей канвы («ЦОД – это структура или группа структур, предназначенных для централизованного размещения, организации взаимодействия и эксплуатации ИТ-систем, сетевого и телекоммуникационного оборудования, которые обеспечивают возможность оказания услуг в области хранения, обработки и передачи данных, а также все объекты и инфраструктуры, используемые для распределения электроэнергии и контроля среды в сочетании со средствами обеспечения требуемой устойчивости и безопасности для достижения желаемого уровня доступности оказываемых услуг». Определение цитируется по ГОСТ Р ИСО/МЭК 30134-1 – 2018.).

Часть 4-6. Фактор повторного использования энергии (EN 50600-4-6:2020, Information tech­no­logy – Data centre facilities and infrastructures – Part 4-6: Energy Reuse Factor). Документ определяет фактор повторного использования энергии (ERF) как KPI, который позволяет исчислять повторное использование энергии, потребленной ЦОДом, описывает методику его измерения, подсчета и учета, а также его применение и взаимосвязь с PUE. Отметим, что ERF не отражает эффективность процесса повторного использования как происходящего вне ЦОДа.

Часть 4-7. Коэффициент эффективности охлаждения (EN 50600-4-7:2020, Information technology – Data centre facilities and infra­structures – Part 4-7: Cooling Efficiency Ratio). Документ рассматривает коэффициент эффективности охлаждения (CER) как KPI, исчисляющий эффективность использования энергии для контроля температуры в машзалах ЦОДа. В документе дается определение CER; описываются взаимосвязи между CER, инфраструктурой ЦОДа и ИТ-оборудованием, а также методика измерения, подсчета и корректного учета CER. В приложениях анализируются соотношения между CER и другими KPI, предлагаются примеры применения CER и даются рекомендации по вторичным (производным от CER) KPI.

Учитывая продолжающееся сотрудничество между ISO/IEC и CEN/CENELEC, можно предположить, что в скором времени четвертый раздел EN 50600 будет дополнен двумя документами, входящими в стандарт ISO/IEC 30134. Это документы, рассматривающие эффективность утилизации углеродных соединений (ISO/IEC CD 30134-8 – Part 8: Carbon Usage Effectiveness (CUE)) и воды (ISO/IEC CD 30134-9 – Part 9: Water Usage Effectiveness (WUE)).

Дополнения

Помимо перечисленных выше документов, составляющих стандарт EN 50600, к нему примыкают несколько дополнений. Это справочные тексты, не являющиеся частью собственно стандарта, технические рекомендации, или «лучшие практики».

Часть 99-1. Рекомендуемые практики для управления потреблением энергии (CLC/TR 50600-99-1:2020, Information technology – Data centre facilities and infrastructures – Part 99-1: Recommended practices for energy management). Рассматриваются практики, направленные на снижение энергопотребления и/или повышение энергоэффективности ЦОДа. Отмечается, что данные практики не являются универсальными и могут быть применены не в любом ЦОДе.

Часть 99-2. Рекомендуемые практики влияния на окружающую среду (CLC/TR 50600-99-2:2019, Information technology – Data centre facilities and infrastructures – Part 99-2: Re­commended practices for environmental sustainability). Сборник лучших практик, направленных на снижение влияния на окружающую среду со стороны как новых, так и существующих ЦОДов. Учитывается воздействие, связанное не только с электричеством, но и с использованием воды и загрязняющих веществ. Эти практики также не являются универсальными и также могут быть применены не в любом ЦОДе.

Часть 99-3. Руководство по применению стандарта EN 50600 (CLC/TR 50600-99-3:2018, Information technology – Data centre facilities and infrastructures – Part 99-3: Guidance to the application of EN 50600 series). Это сборник дополнительной информации по положениям и требованиям стандарта EN 50600, а также руководство по его корректному применению и интерпретации.

Часть 99-4. Модель максимального развития ЦОДа (TR 50600-99-4 – Data Centre Maturity Model). Это один из самых новых документов серии 50600, находившийся на момент написания статьи в разработке, которую ведет ассоциация Green Grid. Сам документ, вероятно, будет рассматривать принципы развития ЦОДа на протяжении жизненного цикла и, судя по последним новостям, впоследствии может открыть собой новый (пятый) раздел стандарта (EN 50600-5-1: Data Center Maturity Model).

Сопоставление с другими стандартами

EN 50600 – вероятно, наиболее всеохватывающий стандарт для ЦОДов и потому весьма популярен. Помимо того, что он является единым для всех стран Европы (исключая СНГ и Украину), он стал основой для создания ряда аналогичных стандартов различного уровня применения. Так, стандарт ISO/IEC TS 22237:2018 Information technology – Data centre facilities and infrastructures представляет собой практически полную копию первых трех разделов EN 50600.

Кроме того, на основе EN 50600 многие организации разрабатывают свои стандарты. Из этих документов наиболее известен, пожалуй, TSI.STANDARD (Trusted Site Infrastructure), подготовленный европейской корпорацией TÜViT. Строго говоря, основные принципы и методология анализа инфраструктуры ЦОДа были разработаны TÜViT еще в 2002 г., до появления EN 50600, и основаны на германских национальных стандартах DIN, но сегодня этот стандарт приведен в соответствие с принципами EN 50600. TSI.STANDARD рассматривает ЦОД в девяти различных аспектах, включая окружающую среду, здание, пожарную безопасность, физическую безопасность, кабельную разводку, энергоснабжение, холодоснабжение, организационную структуру, документацию на объект и применение геораспределенной модели из нескольких ЦОДов (рис. 3).
Источник: TÜViT 
Рис. 3. Элементы TSI.STANDARD / 

EN 50600 также послужил основой для сборника рекомендаций по организации и построению ЦОДа, выпущенного британской компанией Data Center Alliance (DCA). Три ключевых критерия EN 50600 (готовность, безопасность, энергоэффективность) DCA дополнила эксплуатационным профессионализмом (рис. 4). Соответствие этим четырем критериям проверяется в ходе аудита ЦОДа, предлагаемого компанией.

Помимо названных, много производных от EN 50600 разработок, дополняющих стандарт в том или ином ключе, ведется как в Европе, так и в мире.
Источник: DCA
Рис. 4. Ключевые критерии оценки ЦОДа согласно стандарту DCA

Сертификация

Учитывая популярность EN 50600 в ряде регионов, многие владельцы ЦОДов хотели бы иметь возможность убедиться, что их объект соответствует стандарту. Подтвердить такое соответствие может сертификация.

Однако для стандарта EN 50600 общепризнанного, официального механизма сертификации нет. Разработчики стандарта не проводят сертификацию сами и не уполномочивают на это третьих лиц (как это недавно стало практиковаться в отношении стандарта ANSI/TIA-942B). Текст документа также не оговаривает каких-либо механизмов удостоверения соответствия ЦОДа стандарту. 

Между тем никто не вправе ограничить деятельность компаний, которые заявляют о возможности выполнения независимого аудита ЦОДа на предмет соответствия EN 50600 и подтверждения этого соответствия своим сертификатом. Причем проводить аудит может практически кто угодно: создатель ЦОДа или его компонентов; пользователь или оператор ЦОДа; независимый внешний аудитор. При любом сценарии оборотной стороной такого аудита и сертификации может быть некорректное применение положений стандарта к оцениваемому ЦОДу и, как следствие, искажение реального положения дел. Тем не менее сегодня многие и европейские компании, и организации из других частей света предлагают аудит ЦОДа для удостоверения соответствия как EN 50600, так и производным от него собственным версиям. Вот далеко не полный список таких организаций:
  • TÜViT (Германия), предлагает два вида аудитов, в соответствии с EN 50600 и своим стандартом TSI;
  • Certification & Information Security GmbH (CIS), Германия;
  • Future-Tech, Великобритания;
  • Upsite Technologies, США;
  • Capitoline, Великобритания;
  • Data Center Group GmbH, Германия;
  • BSI Group, Великобритания;
  • Data Center Alliance (DCA), Великобритания;
  • Enterprise Product Integration (EPI), Сингапур;
  • InnovIT AG, Австрия.
Во многих случаях предлагаемая сертификация заставляет вспомнить об Uptime Institute, поскольку состоит из двух этапов: анализа проекта и анализа объекта и DCCC (DC Conformity Certification), при этом сертификат зачастую имеет срок годности. Ряд компаний идет еще дальше и аккредитует другие организации на проведение аудита и сертификации по своей программе (DCA).

Что же касается «настоящей» сертификации, то ее механизм до сих пор не представлен. Первым шагом к упорядочению ситуации с сертификацией ЦОДов сторонними компаниями можно считать выпуск справочных дополнений CLC/TR 50600-99-X, призванных прояснить положения стандарта в отношении всех этапов построения ЦОДа – планирования, проектирования, закупки, инсталляции, интеграции, эксплуатации и обслуживания – для всех участников процесса, включая владельцев, операторов, команду эксплуатации, проектировщиков, строителей, поставщиков, агентов пусконаладочных работ и прочих действующих лиц.

Константин Королев, директор по развитию отраслевых инициатив, АНО КС ЦОД
Поделиться:
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!