OneFS verteiltes Dateisystem - OneFS distributed file system

OneFS

Entwickler	Isilon-Systeme
Vollständiger Name	OneFS
Eingeführt	2003 ; Vor 18 Jahren mit OneFS 1.0 -- basierend auf FreeBSD ( 2003 )
Strukturen
Verzeichnisinhalt	B+ Bäume
Dateizuordnung	B+ Bäume
Grenzen
max. Volumengröße	66 PB+ (144+ Knoten mit jeweils 470 TB+); 65535 Knoten theoretische Grenze
max. Dateigröße	16 TB
max. Anzahl der Dateien	Clustergröße abhängig
max. Dateinamenlänge	255 Byte
max. Verzeichnistiefe	509 (empfohlen, um in PATH_MAX von 1023) zu passen
Erlaubte Zeichen in Dateinamen	Viele (UTF-8, EUC-JP, CP932, CP1252, ISO-8859-*, EUC-KR, CP949). Die Codierung erfolgt pro Verzeichniseintrag, nicht pro Dateisystem. So können mehrere Codierungen in einem einzigen Volume verwendet werden. UTF-8 wird als normativ empfohlen. NULund /sind in einzelnen Verzeichniseinträgen in keiner Codierung erlaubt.
Merkmale
Daten aufgezeichnet	Zeit erstellen, Zeit umbenennen, mtime, ctime, atime
Datumsbereich	1970 bis 2038
Datumsauflösung	Nanosekunde
Gabeln	Ja (erweiterte Attribute und alternative Datenströme )
Dateisystemberechtigungen	Ja ( POSIX- Berechtigungen und NTFS- ACLs )
Transparente Kompression	Jawohl
Transparente Verschlüsselung	Integriert in selbstverschlüsselnde Laufwerke zur Verschlüsselung von " Daten im Ruhezustand "
Datendeduplizierung	Nur offline
Kopieren beim Schreiben	Ja (für Schnappschüsse)
Sonstiges
Unterstützte Betriebssysteme	OneFS

Das OneFS File System ist ein parallel verteiltes vernetztes Dateisystem, das von Isilon Systems entwickelt wurde und die Grundlage für die Isilon Scale-out Storage Platform bildet . Das OneFS-Dateisystem wird vom OneFS-Betriebssystem , einer FreeBSD- Variante, gesteuert und verwaltet .

Struktur auf der Festplatte

Alle Datenstrukturen im OneFS-Dateisystem behalten ihre eigenen Schutzinformationen. Dies bedeutet, dass im selben Dateisystem eine Datei mit +1 (grundlegender Paritätsschutz) geschützt werden kann, während eine andere mit +4 (widerstandsfähig gegen vier Fehler) geschützt werden kann, während eine weitere Datei mit 2x geschützt werden kann ( Spiegelung ); diese Funktion wird als FlexProtect bezeichnet. FlexProtect ist auch für die automatische Wiederherstellung der Daten im Fehlerfall verantwortlich. Die verfügbaren Schutzstufen basieren auf der Anzahl der Knoten im Cluster und folgen dem Reed-Solomon-Algorithmus . Blöcke für eine einzelne Datei werden über die Knoten verteilt. Dadurch können ganze Knoten ausfallen, ohne den Zugriff auf Daten zu verlieren. Datei - Metadaten , Verzeichnisse, Snapshot - Strukturen, Quoten - Strukturen und eine logische Inode - Mapping Struktur basieren alle auf gespiegelten B + Bäumen . Blockadressen sind verallgemeinerte 64-Bit- Zeiger , die auf Tupel (Knoten, Laufwerk, Blknum) verweisen . Die native Blockgröße beträgt 8192 Byte; Inodes sind 512 Byte auf der Festplatte (für Festplatten mit 512 Byte Sektoren) oder 8 KB (für Festplatten mit 4 KB Sektoren).

Eine Besonderheit von OneFS besteht darin, dass Metadaten auf homogene Weise über die Knoten verteilt werden. Es gibt keine dedizierten Metadatenserver. Das einzige Stück Metadaten, das auf jedem Knoten repliziert wird, ist die Adressliste der Wurzel-Btree-Blöcke der Inode-Mapping-Struktur. Alles andere kann von diesem Ausgangspunkt aus gefunden werden, indem man den verallgemeinerten 64-Bit-Zeigern folgt.

Clustering

Die Ansammlung von Computerhosts, aus denen ein OneFS-System besteht, wird als „ Cluster “ bezeichnet. Ein Computerhost, der Mitglied eines OneFS-Clusters ist, wird als „ Knoten “ (Plural „ Knoten “) bezeichnet.

Die Knoten, aus denen ein OneFS-System besteht, müssen für eine optimale Leistung über ein leistungsstarkes Back-End-Netzwerk mit geringer Latenz verbunden sein. OneFS 1.0-3.0 verwendet Gigabit Ethernet als Back-End-Netzwerk. Ab OneFS 3.5 bot Isilon InfiniBand- Modelle an. Von etwa 2007 bis Mitte 2018 nutzten alle verkauften Knoten ein InfiniBand-Backend. Ab den Modellen OneFS 8.1.0 und Gen6 bietet Isilon wieder ein Ethernet-Back-End-Netzwerk (10, 25, 40 oder 100 Gigabit).

Daten, Metadaten, Sperren, Transaktionen, Gruppenverwaltung, Zuweisung und Ereignisverkehr werden mithilfe eines RPC- Mechanismus über das Back-End-Netzwerk des OneFS-Clusters kommuniziert. Alle Daten- und Metadatentransfers sind Zero-Copy . Alle Änderungsvorgänge an Festplattenstrukturen sind transaktional und werden im Journal aufgezeichnet .

Protokolle

OneFS unterstützt den Zugriff auf gespeicherte Dateien über gängige Computernetzwerkprotokolle, einschließlich NFS , CIFS/SMB , FTP , HTTP und HDFS . Es kann nicht-lokale Authentifizierung wie Active Directory , LDAP und NIS verwenden . Es kann mit externen Backup-Geräten und Anwendungen verbunden werden, die das NDMP-Protokoll verwenden .

OneFS-Betriebssystem

Das OneFS-Dateisystem ist ein proprietäres Dateisystem, das nur durch das von FreeBSD abgeleitete OneFS-Betriebssystem verwaltet und kontrolliert werden kann .

zsh ist die Standard-Anmelde-Shell des OneFS-Betriebssystems. OneFS bietet einen speziellen Befehlssatz zur Verwaltung des OneFS-Dateisystems. Die meisten spezialisierten Shell-Programme beginnen mit den Buchstaben isi . Bemerkenswerte Ausnahmen sind die Isilon-Erweiterungen von FreeBSD lsund chmodProgrammen.

Versionen

Siehe auch

• Liste der Dateisysteme
• Geclustertes Dateisystem

Verweise

Externe Links

• Offizielle Website