Springe direkt zu Inhalt

Datentransfer

SSHFS

SSHFS bietet die Möglichkeit an, Dateien, die auf einem entfernten Rechner liegen, auf Ihrem eigenen Rechner so einzubinden, dass sie als lokale Dateien erscheinen. Damit das funktionieren kann, müssen die gleichen Voraussetzungen wie für das Einloggen über Secure Shell (SSH) erfüllt sein, also z.B. Zugriff über das FU-Netz.  Darüber hinaus müssen auf Ihrem Rechner, bestimmte Software-Pakete installiert sein. Der Zugriff via SSHFS oder ähnliche Mechanismen ist nur gestattet, so fern dadurch der Betrieb des Clusters nicht beeinträchtig wird.

Linux und MacOS

Wenn SSHFS noch nicht vorhanden ist, installieren Sie das Paket wie gewohnt. Bei MacOS und vielen Linux-Varianten heißt das Paket einfach sshfs, bei RedHat-basierten Distribution, wie Fedora oder CentOS, heißt das Paket fuse-sshfs.

Legen Sie auf Ihrem Rechner ein Verzeichnis an, unterhalb dessen Sie die Dateien einbinden möchten, etwa hpc_home. In einem Terminal-Fenster, ebenfalls auf Ihrem Rechner, binden Sie Ihr home-Verzeichnis auf dem HPC-System mit folgendem Befehl ein:

  sshfs IHR_FU-ACCOUNTNAME@curta.zedat.fu-berlin.de:/home/IHR_FU-ACCOUNTNAME hpc_home

Bitte nutzen sie statt IHR_FU-ACCOUNTNAME Ihren FU-Account-Namen, den Sie auch für ssh Verbindungen verwenden.  Analog können Sie für das Dateisystem /scratch ein weiteres Verzeichnis, etwa hpc_scratch anlegen und das entspreche Verzeichnis auf dem HPC-System mit  

  sshfs IHR_FU-ACCOUNTNAME@curta.zedat.fu-berlin.de:/scratch/IHR_FU-ACCOUNTNAME hpc_scratch

Windows

Folgen Sie der Anleitung für SSHFS-Win und installieren Sie die Pakete winfsp und sshfs-win. Vorraussetzung ist, dass sich Ihr Client im FU-Netz befindet, ggf. unter Nutzung der FU VPN Software. Über den Dateibrowser können Sie nun unter "Dieser PC" und "Netzlaufwerk verbinden" mit Adresse

  \\sshfs\IHR_FU-ACCOUNTNAME@curta.zedat.fu-berlin.de

und unter Auswahl eines freien Laufwerksbuchstaben das Verzeichnis lokal einhängen. Bitte nutzen sie statt IHR_FU-ACCOUNTNAME Ihren FU-Account-Namen, den Sie auch für SSH-Verbindungen verwenden. In der Windows-Shell geht auch z.B.

  net use U: \\sshfs\IHR_FU-ACCOUNTNAME@curta.zedat.fu-berlin.de

wenn Sie "U" als Laufwerksbuchstaben verwenden wollen.

In manchen Fällen scheitert aber die Einbindung mit "Systemfehler 67".  Für dies Problem gib es aktuell keine Lösung.

SCP

Daten können via Secure Copy Protocol (SCP) zu und von dem HPC-System kopiert werden.

Im Allgemeinen lässt man scp in einem Terminal auf dem eigenen Rechner laufen. Um von dort auf das HPC-System zu kopierten, gibt man Folgendes ein:

scp <source file/directory> <username@curta.zedat.fu.berlin.de>:<target directory>

z.B.

scp submit.sh xyz123@curta.zedat.fu.berlin.de:~/scripts

Analog kann man in die andere Richtung, also vom HPC-System zum eigenen Rechner, kopieren, z.B.

scp xzy123@curta.zedat.fu.berlin.de:/scratch/xyz123/results/out.txt ./results

Obigen befehl setzt man ebenfalls auf dem eigenen Rechner ab.

Schlagwörter