„NIIF szuperszámítógépek használata” változatai közötti eltérés

Innen: KIFÜ Wiki
1. sor: 1. sor:
−
Az NIIF Intézet jelenleg négy, adathálózaton keresztül összekötött szuperszámítógéppel rendelkezik. Ezek egyike, egy HP cluster található az NIIF központban. Egy SGI Ultra Violet erőforrást a Pécsi Tudományegyetemen, egy SGI ICE clustert a Debreceni Egyetemen, illetve egy HP clustert a Szegedi Tudományegyetemen helyeztünk el. Az erőforrásokhoz való hozzáférés kulcsos azonosítást használó SSH parancssori felület, valamint grid köztesréteg segítségével lehetséges.
+
== Hozzáférés a szuperszámítógépekhez ==
 +
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni.
  
−
Általános hozzáférési szabály az, hogy a számítást végző csomópontokhoz (compute node) a felhasználók nem férhetnek közvetlenül hozzá. Minden helyszínen üzembe helyeztünk egy ún. előtét szervert (frontend), amelyre a felhasználók belépnek, azon fordítanak, és amelyről feladják a feladataikat a számítási csomópont(ok) felé. Az eredményeket is e szerveren kapjuk meg, illetve ezt a szervert használhatjuk a számítások eredményéül előállt adathalmaz grafikus megjelenítésére is.
+
=== Hozzáférés a Shell Framework használatával ===
 +
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.
  
−
A számítógépeket kötegelt módban tudjuk használni, amely azt jelenti, hogy egy számítási feladatot egy erre szolgáló leírónyelv segítségével fogalmazunk meg: többek között meg kell mondanunk, hogy mi az a bináris állomány, amelyet futtatni kívánunk, hány processzoron, milyen futtatói környezetben, melyek az input paraméterei, állományai, és melyik állományba irányítjuk át az eredményeket. Az így megfogalmazott számítási feladatot várakozósorba helyezzük, majd az egyes helyszíneken telepített ütemezők azokat elindítják, és futtatják.
+
==== Telepítés ====
 +
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:
  
−
== Hozzáférés a szuperszámítógépekhez ==
+
 
 +
    cd $HOME
 +
    git clone git://github.com/hornos/shf3.git
 +
    echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile
 +
    source .profile
 +
 
 +
==== Firssítés ====
 +
 
 +
    shfmgr -u
 +
 
 +
==== SSH elérés beállítása ====
 +
Az SSH modul független a `$HOME/.ssh` könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei `kulcs=érték` formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a `source` paranccsal tudunk beolvasni.  Új SSH MID-et a következő paranccsal tudunk létrehozni:     
 +
    sshmgr -n <MID>
 +
 
 +
A következő beállításokat kell beleírni a MID fájlba:
 +
 
 +
    # a távoli gép IP címe vagy DNS neve
 +
    mid_ssh_fqdn="skynet.cyberdy.ne"
 +
    # távoli felhasználói név
 +
    mid_ssh_user="$USER"
 +
    # SSH port
 +
    mid_ssh_port=22
 +
    # explicit ellenőrzés
 +
    mid_ssh_port_check="ping"
 +
 
 +
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a `$HOME/shf3/key/ssh` könyvtár alatt találjuk: privát kulcs: `<MID>.sec`, publikus kulcs: `<MID>.pub`. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a `$HOME/shf3/mid/ssh` könyvtár alatt vannak a `<MID>` nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.
 +
 
 +
Belépés:
 +
 
 +
    sshto -m <MID>
 +
 
 +
A budapesti gép példáján bemutatom hogyan kell beállítani a keretrendszert a saját gépünkön.
  
 
[[Category: HPC]]
 
[[Category: HPC]]
 
[[Category: HOWTO]]
 
[[Category: HOWTO]]

A lap 2013. április 3., 10:30-kori változata

Hozzáférés a szuperszámítógépekhez

A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni.

Hozzáférés a Shell Framework használatával

A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.

Telepítés

A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban: 


   cd $HOME
   git clone git://github.com/hornos/shf3.git
   echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile
   source .profile

Firssítés

   shfmgr -u

SSH elérés beállítása

Az SSH modul független a `$HOME/.ssh` könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei `kulcs=érték` formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a `source` paranccsal tudunk beolvasni. Új SSH MID-et a következő paranccsal tudunk létrehozni: 

   sshmgr -n <MID>

A következő beállításokat kell beleírni a MID fájlba: 

   # a távoli gép IP címe vagy DNS neve
   mid_ssh_fqdn="skynet.cyberdy.ne"
   # távoli felhasználói név
   mid_ssh_user="$USER"
   # SSH port
   mid_ssh_port=22
   # explicit ellenőrzés
   mid_ssh_port_check="ping"

Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a `$HOME/shf3/key/ssh` könyvtár alatt találjuk: privát kulcs: `<MID>.sec`, publikus kulcs: `<MID>.pub`. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a `$HOME/shf3/mid/ssh` könyvtár alatt vannak a `<MID>` nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.

Belépés: 

   sshto -m <MID>

A budapesti gép példáján bemutatom hogyan kell beállítani a keretrendszert a saját gépünkön.

A lap eredeti címe: „https://wiki.niif.hu/index.php?title=NIIF_szuperszámítógépek_használata&oldid=2460”