Combox. Суперкомпьютер или криптобульон.

Современный мощный компьютер — это всегда много тепла, с которым нужно бороться. Чем мощнее процессор и видеокарта, тем более экзотических способов охлаждения требует такая система.

Сложные и громоздкие радиаторы, с объемными вентиляторами воздушного охлаждения зачастую сменяются охлаждением жидкостным с помощью специальных теплопроводных трубок, но все эти решения выглядят детскими и неуклюжими, по сравнению с тем, что использует в своих системах отечественная компания Combox. Отмечу сразу, что речь идет не о бытовом настольном компьютере или каком-нибудь файловом сервере. Решение Combox намного мощнее и круче.

Оно разрабатывалось для той индустрии где больше всего ценится вычислительная мощность большого количества GPU- технологий майнинга и блокчейн, но посмотрите, как же круто и красиво с инженерной точки зрения это построено.

Дело в том, что разработчики с самого начала сделали ставку на жидкостное охлаждение компонентов, только решили подводить охладитель не по трубкам в воздушной среде, а изначально поместить всю электронику в специальную ванну с жидкостью, которая и будет забирать излишки тепла. Такое двухфазное иммерсионное или погружное охлаждение использует конечно не воду, а специальную не электропроводную жидкость Novec, выпускаемую компанией 3M.

Она имеет очень сложный состав и специфичные свойства, совсем не токсична и одним из основных применений, по мнению производителей, стало ее использование в системах пожаротушения как раз для классических шкафов с электроникой. Дело в том, что, сбивая пламя, Novec 3M не повреждает саму электронику, и все что можно спасти после пожара может быть восстановлено.

В системах же Combox инженеры использовали главное свойство этой жидкости, то что она 100% диэлектрик. Это значит, что можно спроектировать плату с установленными в нее графическими картами таким образом, что огромные радиаторы и воздушные вентиляторы тут будут не нужны вовсе, если поместить эту плату в ванну с Novec 3M и обеспечить внутри циркуляцию этой жидкости.

Из-за выделения большого количества тепла, и благодаря тому, что точка кипения этого «супа» находится на отметке около 60 градусов целься, получается кипящий бульон, который смотрится очень эффектно.  Отсутствие же громоздких радиаторов существенно экономит пространство, и позволяет устанавливать видеокарты гораздо ближе друг к другу.

Такая возможность подтолкнула разработчиков к созданию собственных модулей с уникальной компоновкой самих GPU. В одном таком модуле удалось разместить 16 вычислительных плат по 6 видеокарт на каждой, что обеспечивает примерно в 15 раз более плотную компоновку, чем в системах, использующих воздушное охлаждение. Получается, что один модуль размерами не больше дорожного чемодана вмещает 96 видеокарт, погруженных в специальную ванну, обеспечивающую двухфазное иммерсионное охлаждение чипов.

Напомню, что все эти «танцы с бубном» изначально затеяны для майнинга криптовалют, там чем больше видеокарт, тем выше отдача. Так вот, Combox объединила такие модули, каждый из которых несет 96 видеокарт в кластер из 10 штук в каждом. Получился реальный суперкомпьютер, способный разместиться внутри обычного 20-ти футового контейнера, объединяющий 960 видеокарт, работающих параллельно над определенной задачей!

Чудо же заключается в том, что такой монстр работает практически бесшумно- требуется лишь эффективная система регенерации жидкости, почти полностью изолирован от внешней среды, может работать при температурах от -40 до +40 градусов и намного, намного безопаснее с точки зрения пожароопасности. Тут нам нужно лишь следить за уровнем жидкости с помощью хитрых вспомогательных систем, вроде конденсора насыщенного пара с водяным теплоносителем, и синхронизировать работу всех наших многочисленных GPU между собой.

Система спроектирована таким образом, что подразумевает дистанционный контроль всех параметров, включая отклонение температурных режимов или прогнозирование отказов, а отсутствие дисковых накопителей и использование Linux позволяет удаленно и практически мгновенно менять задачи, перегружать или останавливать как отдельные модули, так и компьютер в целом.  С точки зрения обслуживания, это снижает затраты на эксплуатацию, делает всю систему гораздо более стабильной и предсказуемой по части отказа, и позволяет почти мгновенно менять выполняемые задачи.

В этом смысле открываются дополнительные, довольно любопытные перспективы. Поскольку для работы используются обычные видеокарты широкого назначения, весь комплекс может не только майнить криптовалюту, но и заниматься общими вычислениями из любых отраслей, от физики и астрономии, до фармацевтики, машиностроения или нейросетей- нужно лишь правильно сконфигурировать задачу.

Мне в голову пришла любопытная аналогия. А знаете ли вы, что суперкомпьютер «Ломоносов», от IBM, установленный в МГУ несет на борту 94000 процессоров, имеет производительность около 674 Тфлоп/с, входя мировой в топ 20 самых мощных суперкомпьютеров, физически занимает огромный зал.

А вот инновационный контейнер от российской компании Combox из 960 видеокарт плавающих в специальном бульоне тянет примерно на 5000 Тфлоп/с, то есть в семь раз производительнее, а стоит на порядок дешевле, и ни в каких официальных рейтингах не засветился!  Это не мешает ему быть одним из самых необычных и эффективных решений в области промышленного майнинга и параллельных вычислений в мире)