Serwery, każdy w osobnej obudowie, zanurzone są w nieprzewodzącym płynie Novec. W efekcie cały serwer – procesory, zasilacze, karty GPU – chłodzone są cieczą. Komplementarną częścią prototypu jest układ chłodzenia, w całości zaprojektowany i zbudowany przez polską firmę. Połączenie nietypowego systemu chłodzenia oraz dedykowanego układu chłodzenia pozwoliło na 15-20 krotną redukcję kosztów chłodzenia serwerów i osiągnięcie PuE w granicach 1.02. Jest to pierwsza tego typu instalacja w Polsce (być może w Europie).
Konfiguracja składa się z 40 serwerów 2x Xeon E5 6 rdzeni, 2.0 GHz, 32/64 GB ram, siec 1Gb eth + InfiniBand QDR. Dodatkowo zainstalowanych jest 6 modułów GPU w każdym z nich znajdują się dwie karty AMD FirePro S9000. Połączenie pomiędzy serwerem a kartami GPU realizowane jest za pomocą PCI extendera (karty nie zmieściły się do obudowy serwera). Teoretyczna moc obliczeniowa procesorów to około 7,7 TFlops, dla kart to 12TFlops. Na razie w testach linpack udało uzyskać się niecałe 7 TFlops z procesorów, prace nad GPU trwają.
Całość rozwiązania można chłodzić wodą o temperaturze pomiędzy 15 a 45 stopni Celsjusza dzięki czemu możliwe jest zarówno odzyskiwanie energii jak i minimalizacja kosztów chłodzenia – nie ma potrzeby instalować kompresorów, co zdecydowanie zmniejsza koszty użytkowania całości infrastruktury, upraszcza układ chłodzący i zmniejsza koszt samej instalacji chłodzącej. Całość chłodzona jest przez 2 obiegi – wewnętrzny w szafie z serwerami i zewnętrzny odprowadzającym ciepło na zewnątrz serwerowni. Zamiast tego drugiego teoretycznie można by użyć np. wody z kranu ale nie jest to zbyt ekonomiczne rozwiązanie. Wewnętrznie każdy serwer zamknięty jest w module wypełnionym Noveciem, w ściance modułu znajduje się wężownica z wodą z wewnętrznego obiegu szafy, która odbiera ciepło i transferuje je do wymienników znajdujących się na dole szafy. Oczywiście serwery można wymieniać „w locie” – wkładając serwer do chassis automatycznie podłączane są obiegi wodne oraz zasilanie. Reszta złączy (Ethernet, InfiniBand znajdują się na froncie modułu).
Koncepcja obiegu zewnętrznego jest dość prosta – mamy główny obieg wody (z glikolem, aby nie zamarzała zimą) która jest tłoczona przez wymienniki w szafie skąd ciepło jest pobierane, a następnie transportowane do wymiennika na dachu. Układ automatyki steruje przepływem cieczy (za pomocą zaworów i nastaw pompy) tak, aby utrzymać żądaną temperaturę na wlocie i wylocie wymienników serwera. W przypadku problemów z uzyskaniem odpowiednich temperatur możliwe jest posiłkowanie się standardowym układem wody lodowej, ale okazało się, że nawet w gorące letnie dni nie było to konieczne. Dodatkowo w przypadku gorących dni automatycznie włącza się zraszanie wymiennika na dachu, co zwiększa wydajność oddawania ciepła.
Zapraszamy do śledzenia zmian zachodzących w systemie – http://brassica.man.poznan.pl.
