WT5.1 – Laboratorium analizy sieci złożonych i danych masowych

Jednym z celów projektu ENGINE jest stworzenie nowego laboratorium sieci złożonych i analiz dużych zbiorów danych, które będzie wspierało zespół projektowy dzięki wydajnej platformie obliczeniowej. Miło nam zakomunikować, że laboratorium powstało i jest już wykorzystywane w pracach badawczych zespołów projektu ENGINE. Składa się ono z trzech głównych komponentów: serwerów usługowych, serwerów obliczeniowych i pamięci masowej.

Serwery usługowe to serwery blade ogólnego zastosowania, które mogą być dowolnie konfigurowane przez naukowców (system operacyjny i oprogramowanie). W ramach laboratorium zainstalowano dziesięć takich serwerów, gdzie każdy z nich posiada co najmniej 144 GB pamięci RAM i 12 rdzeni procesora. Serwery obliczeniowe (53 sztuki) są przeznaczone do wysoce wydajnych obliczeń (np. w językach R lub Python). Każdy z nich posiada 64 lub 128 GB pamięci RAM, dwa procesory 12-rdzeniowe i działają one pod kontrolą systemu operacyjnego Linux. W celu wykorzystania mocy w sposób najbardziej efektywny, zostały one częścią klastra obliczeniowego Bem we Wrocławskim Centrum Sieciowo-Superkomputerowym. Klaster ten wymieniony jest wśród 500 najbardziej wydajnych centrów obliczeniowych świata na 137 miejscu (lista TOP 500 czerwiec 2015), a serwery ENGINE stanowią około 7,3% jego mocy. Finalnie, przestrzeń dyskowa to 118 TB składające się z dysków SAS i NL-SAS dla składowania i przetwarzania dużych zbiorów danych.

Podsumowując, cele laboratorium są następujące:

  • zapewnienie wydajnego i skalowalnego środowiska dla analiz dużych danych, w tym modelowania i wizualizacji, np. do analiz sieci złożonych (w tym społecznych), analizy tekstu, uczenia maszynowego czy przetwarzania strumieni sygnałów,
  • udostępnienie dużej i szybkiej pamięci masowej do przechowywania zbiorów danych i wykonywania złożonych obliczeń nie mieszczących się tylko w pamięci,
  • wparcie innych laboratoriów projektu ENGINE mocą obliczeniową w przypadku zaistnienia takiej potrzeby.

Obecnie większość prac badawczych realizowanych w ramach laboratorium dotyczy dyfuzji informacji, analizy sentymentu i analiz sieci społecznych. Ponadto laboratorium wspomaga prace badawcze z zakresu uczenia maszynowego.

W przypadku jakichkolwiek pytań dotyczących laboratorium, proszę kontaktować się z dr. inż. Radosławem Michalskim – osobą odpowiedzialną za jego budowę i utrzymanie (radoslaw.michalski@pwr.edu.pl).

 

DSC_0008 DSC_0007