Показ DataTank стоек на 500 кВт и 1.4 МВт контейнера

Перевод записи с официального блога Allied Control

Конференция SC14 подошла к концу, и я хотел бы рассказать о нескольких технических деталях, которыми мы занимаемся в настоящее время и которые, в конечном счете, приведут нас к истинной масштабируемой и эффективной иммерсионной платформе охлаждения уровня «exascale» для высокоэффективных вычислений (HPC).

500 кВт в одной 19″ стойке

Что, если я бы сказал Вам, что мы взяли одну 500 кВт-ую систему Immersion-2, все её 20 стоек и 60 резервуаров, уменьшили и упростили механическую структуру, а далее поместили всё это в единственную стойку на 500 кВт? Что, если бы я упомянул, что мы берем шесть из них и устанавливаем в 40″ контейнерный ЦОД, который мы можем отправить в любую точку мира? Это — то, чем мы сегодня занимаемся и не собираемся останавливаться на достигнутом.

Элегантность пассивного двухфазового погружения действительно поражает. В действительности наши системы несколько больше, чем просто охлаждение… (полностью интегрированная организация сети, распределение тока высокого напряжения и т.д.).

Единственная 19″ 500 кВт стойка рядом с 24 системами Immersion-2 (вертикальные стойки)

Не ожидайте, что в скором времени мы объявим о преодолении рубежа в большее количество Киловатт на 1 стойку, но, пожалуйста, примите во внимание, что мы свидетельствуем об отказе от парадигмы о старых физических ограничениях. Нет просто никакого другого метода охлаждения, который настолько же прост во внедрении, и мне даже сложно представить, что могло бы составить ему конкуренцию.

Не имеет значения, какие аппаратные средства Вы используете, иммерсионные баки — по существу это 19-дюймовые «ванны» (19″ стойки, положенные на бок), им всё равно, помещаете ли Вы 100 кВт, 250 кВт или 500 кВт аппаратных средств в них, или какой CPU, GPU или чип ASIC находится внутри серверов.

Когда 1.4 МВт становятся 2.8 МВт

Очень важная деталь нашей 2-фазовой иммерсионной технологии охлаждения часто пропускается. Без любых изменений наши системы могут охладить намного больше, чем «рекламируемые» 1.4 МВт. В настоящее время мы заполняем их блоками питания на 2-3 кВт и управляем охлаждающим контуром.

Наполните наш DataTank более компактными (плотными) аппаратными средствами или поместите его в более благоприятный климат (например 25°C), и Вы удвоите его вместимость. Ограничивающий фактор — физическое пространство и подача электроэнергии (в данный момент это 400-800A, три фазы). Конечно, мы пытаемся выйти за границы возможного, и это делает нашу работу в этой области столь интересной, не так ли?

От ASIC, CPU и GPUs к Exascale

Главным образом мы придерживаемся 19-дюймовых стандартов, но некоторое время мы работали и с открытыми стойками (OpenRacks). Погружение стандартного 19″ оборудования (без радиаторов и вентиляторов), конечно, возможно, но мы фактически идем вперёд с нашими, так называемыми, «иммерсионными местами» (immersion slots).

В типоразмере немногим меньше, чем 1U (немного больше чем 40 мм), они, в настоящее время, позволяют содержать 2 блока питания и до 8 иммерсионных лезвий с 550-1100 Вт ваттами на плату. Большинство клиентов сосредотачивается на форм-факторе больше обычного размера — обычно это 4 платы по 282.5×400 мм и приблизительно по 1100 Вт.

Фактически нет никаких ограничений по высоты, и некоторые платы могут торчат из жидкости. На картине ниже Вы можете увидеть платы с высотой 300 мм, это единственная фотография, которую я могу показать, не нарушая NDA.

Immersion Slots с блоками питания и прототипом иммерсионного лезвия

Для Immersion Slots не нужны винты или скобы, лезвия ездят по направляющим — с или без системы hotswap. Вы можете вытащить «slot» вместе с PSU и платой, или только одну плату. Все порты обычно располагаются сверху, но у нас есть альтернативный вариант с коннекторами снизу ванны. Любой ценой мы пытаемся избежать использования большого количества кабелей (от них один беспорядок), но не все клиенты готовы к этому.

В связи с возрастающей потребностью в HPC и облачных вычислениях, я бы чувствовал себя чрезвычайно «не производительным», если бы пытался достичь «экзаскейла» с чем то меньшим, чем 2-фазное погружное охлаждение. То, что Вы видите на картине ниже, является ванной, заполненной 100 шт. немного модифицированными PSU на 2 кВт от Supermicro, в них даже нет вентиляторов.

Ванна с 240 кВт блоками питания, готовая к ASIC оборудованию

Готовые контейнерные Дата-Центры

Для майнинга биткоинов мы устанавливаем 6 наших ванн в готовый 40″ ISO контейнер под названием DataTank, который, в свою очередь, расположен на нашем «full custom open frame dry cooler» контейнере — оба являются сертифицированными для международной доставки, и соответствуют международным стандартам, таким как UL, IEC и CE. Оба контейнера содержат интегрированный «busway» Amere 2500 (если нужно, то мы можем добавить второй) и нашу 2.5 МВт систему охлаждения.

Несмотря на то, что мы располагаемся в Гонконге, мы не манкируем с материалами и техническими экспертными знаниями: жизненно важные части, такие как электрические системы сделаны в Германии и США, и только наши контейнеры сделаны в Китае, где, вероятно, и сделано большинство контейнеров в мире. Наши контейнеры способны успешно функционировать в любом климате и при любых погодных условиях, нет никакого различия в качестве охлаждения.

DataTank: контейнер изготовлен в Китае, остальные внутренности в Германии и США

Для наших клиентов, занимающихся майнингом, ценность систем DataTank заключается в: чрезвычайно низкой стоимости (< 0.5$/Вт), существенном снижении расходов на строительство, упрощенном подходе к развертыванию, ультравысоком удельном весом, беспрецедентном охлаждении, электропитании, эффективности развертывания и возможности многократного использования всех частей.

Дополнительные выгоды контейнерного дизайна включают в себя: модульный и портативный подход с повторимыми, предварительно спроектированными, готовыми, и гарантированными в качестве стандартными блоками, которые вместе приносят точные аппаратные средства и инфраструктуру, необходимую для эффективного майнинга.

1.4-мегаватный нагреватель парника

Требования к обогреву одного парника на 6000 квадратных метров (размер приблизительно 1 футбольного поля) — примерно те же самые 1.4 МВт, которые «производят» наши контейнеры DataTank , и таким образом, понятно, что есть возможность снова использовать высокую температуру, чтобы выращивать растения.

Нагревание и электричество — одни из самых значительных затрат в процессе работы с парниками по всему миру, особенно в более холодном климате. Парники с низким тепловым сопротивлением требуют огромные суммы денег, чтобы постоянно замещать потерянное тепло. Большинство парников для нагревания использует газ, нефть или электроэнергию.

Один парник с размерами футбольного поля требует 1.4 МВт обогрева

В наше время ЦОД пытаются быть эффективными, а некоторые даже пытаются повторно использовать «переработанное» тепло. К сожалению, очень трудно возвратить высокую температуру ЦОД правильным способом, так как главным образом она прибывает в форме горячего воздуха. Google и Facebook, к примеру, гордятся наличием очень эффективного охлаждения для их дата-центров, но очень мало (если вообще что нибудь) из их 260 МВт (Google) и 78 МВт (Facebook) снова используются.

Наши контейнеры DataTank работают с горячей водой и закрытым водяным контуром. Представьте, что это большие нагреватели, которые могут быть связаны непосредственно с трубами центрального отопления парников, офисов или школ.

Некоторые «биткойнеры» идут еще дальше и начинают развертывать свои фермы для майнинга около мест с возобновляемым электричеством (гидро или ветряным). Когда электричество производится в избытке и не может быть перемещено через большие географические области, где это может требоваться, цифровая валюта, в свою очередь, свободно добывается и перемещается без физических границ, больших падений напряжения или стоимости строительства. Биткоины перемещаются свободно.

Кажется, что у биткоинов есть будущее, в конце концов — внутренние помощники Гонконга, которые недавно начали использовать его, чтобы отослать домой деньги вместо того, чтобы пересылать доллары, полностью согласятся со мной.

Приглашение увидеть DataTank в действии

Скоро мы будем показывать наши DataTank для HPC и DC индустрии. Если бы Вы хотели лично поучаствовать в данном мероприятии, пожалуйста, не стесняйтесь и свяжитесь со мной по почте. Также мы всегда ищем коллег — инженеров, чтобы объединить наши усилия для улучшения наших технологий.