Główne założenia dotyczące KMD to zapewnienie skalowalności systemu w wielu wymiarach: pojemność, wydajność, liczba obsługiwanych użytkowników, liczba węzłów systemu oraz funkcjonalność, m.in. możliwość dostarczenia zróżnicowanych metod dostępu do systemu. Spełnienie tych założeń wymaga opracowania rozproszonej infrastruktury bez centralnego punktu awarii, potencjalnych wąskich gardeł wydajnościowych oraz zapewnienie replikacji danych i meta-danych, a także redundancji elementów infrastruktury. Rozszerzalność funkcjonalności wymaga określenia standardowych, otwartych interfejsów między warstwami i modułami systemu.

Projekt Krajowy Magazyn Danych ma na celu dostarczenie usługi wiarygodnego, bezpiecznego i trwałego przechowywania danych kopii zapasowych i archiwalnych oraz wydajnego dostępu do danych na potrzeby środowiska naukowego w Polsce oraz instytucji państwowych i samorządowych.

Rezultatem projektu jest pilotowa wersja usługi przechowywania danych oraz oprogramowanie, techniki i mechanizmy służące do zarządzania rozproszoną składnicą obiektów danych. Duża skala projektu – ośmiu partnerów z różnych miejsc w kraju – a także fakt wykorzystywania różnych klas urządzeń do masowego przechowywania danych – biblioteki taśmowe, macierze dyskowe i systemy HSM – pozwalają na optymalizację jednostkowych kosztów przechowywania danych, poprzez wykorzystanie efektu skali oraz możliwości dopasowania parametrów usługi – replikacja, wydajność, bezpieczeństwo – do potrzeb użytkowników.

Dla realizacji zakładanej funkcjonalności system KMD implementuje szereg zaawansowanych mechanizmów wewnętrznych. Wysoka dostępność systemu zapewniana jest poprzez mechanizm wewnętrznego monitoringu dla wysokiej dostępności (auto-diagnostyka) oraz obsługi błędów i awarii. Technika ta obejmuje zasoby takie jak: urządzenia do przechowywania danych, serwery metod dostępowych do systemu, a także elementy oprogramowania KMD i komponenty zewnętrzne, takie jak SZBD itd.

Zapewnienie wysokiej wydajności dostępu do danych wymaga z kolei realizacji mechanizmu monitorowania dla wydajności oraz analizy danych o stanie węzłów i komponentu systemu w celu przydzielania optymalnych zasobów do obsługi żądań użytkowników. Bezpieczeństwo (poufność) danych składowanych w systemie zapewniane jest poprzez odpowiednio silne mechanizmy kryptograficzne stosowane, zarówno na węzłach dostępowych (na poziomie logicznym), jak i na węzłach przechowywania danych (na poziomie fizycznym).

System KMD zapewnia automatyczną replikację danych użytkownika, gwarantując wysoką dostępność danych, usług systemu oraz trwałość zapisanych w systemie informacji – mogą one być odzyskane z systemu nawet w przypadku czasowej awarii lub trwałego uszkodzenia jednego z węzłów systemu (np. wskutek klęski żywiołowej). Replikacja pozwala także optymalizować wydajność operacji na danych – do dostępu do danych wykorzystywana jest najszybsza, np. najbliższa geograficznie replika.


System świadczy dwa podstawowe typy usług:

1. Usługa zdalnego systemu plików zapewnia nieprzerwany dostęp do zdalnego logicznego systemu plików za pomocą standardowych protokołów takich jak sFTP, HTTPs/WebDAV i GridFTP. Poprzez pojedynczy, logiczny punkt dostępu, użytkownik, w sposób przeźroczysty uzyskuje dostęp do fizycznie rozproszonej infrastruktury przechowywania danych, w której odbywają się procesy takie jak replikacja, szyfrowanie i kontrola integralności danych.

2. Usługa kopii zapasowych i archiwizacji (ang. Backup/Archive) realizowana jest w oparciu o specjalizowaną aplikację przygotowaną w ramach projektu KMD. Umożliwia ona realizację zaawansowanych usług składowania kopii zapasowych i archiwalnych danych w jednym lub wielu centrach danych KMD i ich odzyskiwanie z dowolnej repliki w razie awarii centrum podstawowego. Zaawansowane usługi wykonywania kopii obejmują mechanizm kopii przyrostowych oraz wysoki poziom zabezpieczenia danych użytkownika – odpowiednio silne techniki kryptograficzne stosowane są po stronie użytkownika, zanim dane opuszczą jego system komputerowy.

System KMD jest nowatorski w dwóch aspektach:

Po pierwsze, zastosowane w systemie rozwiązania do przechowywania danych w innowacyjny sposób łączą wysoką jakość usług i funkcjonalność zapewnianą przez system, tj.: wydajność, bezpieczeństwo, automatyczną replikację danych z prostotą dostępu do systemu: wykorzystanie standardowych protokołów takich jak sFTP, HTTP/WebDAV i GridFTP. Logika realizująca złożone funkcje, takie jak replikacja, obsługa awarii, kontrola integralności i szyfrowanie danych ukryta jest przed użytkownikiem za warstwą dostępową systemu.

Po drugie, w systemie wykorzystywane są najnowocześniejsze systemy przechowywania danych, takie jak technologie taśmowe LTO4, technologie dyskowe FC, SATA i SAS, systemy HSM (ang. Hierachical Storage Management) oraz nowoczesna, szerokopasmowa sieć PIONIER.

Połączenie, z jednej strony nowatorskich metod i technik zarządzania systemem i danymi oraz nowoczesnej infrastruktury pozwala na świadczenie innowacyjnych usług przechowywania danych.