Both sides previous revision
Previous revision
Next revision
|
Previous revision
|
ru:jobs:lustrefs [2013/01/12 10:25] admin [Развертывание Lustre] |
ru:jobs:lustrefs [2015/03/12 17:11] admin [Послесловие] |
Lustre - распределенная файловая система с раздельным хранением данных и метаданных. | Lustre - распределенная файловая система с раздельным хранением данных и метаданных. |
Непосредственно для хранения данных и метаданных на узлах используется файловая система **ext3**. | Непосредственно для хранения данных и метаданных на узлах используется файловая система **ext3**. |
Существует проект: [[http://zfsonlinux.org/lustre.html|ZFS based Lustre solution]], использующий ZFS со всеми плюсами этой файловой системы (в данной работе мы не будем его касаться). | Описание установки over ZFS : [[http://myitnotes.info/doku.php?id=ru:jobs:lustrefszfs|тут]] (в данной работе мы не будем его касаться). |
| |
**Lustre состоит из следующих компонентов:**\\ | **Lustre состоит из следующих компонентов:**\\ |
| |
{{:ru:jobs:lustrecomp.jpg?600|300}} | {{:ru:jobs:lustrecomp.jpg?600|300}} |
| |
==== Выбор аппаратного обеспечения узлов*. ==== | ==== Выбор аппаратного обеспечения узлов*. ==== |
*** Все дальнейшие рассуждения и расчеты приведены для связок | *** Все дальнейшие рассуждения и расчеты приведены для связок |
остановимся только на двух задачах: | остановимся только на двух задачах: |
| |
1. Добавление нового узла и как следствие дисбаланс сохраненных данных на OST\\ | 1. Добавление нового узла и как следствие дисбаланс сохраненных данных на OST |
**Пример:** | **Пример:** |
| |
//FS-MDT0000_UUID 83.8G 2.2G 76.1G 3% /FS[MDT:0]\\ | FS-MDT0000_UUID 83.8G 2.2G 76.1G 3% /FS[MDT:0] |
FS-OST0000_UUID 30.0T 28.6T 1.4T 95% /FS[OST:0]\\ | FS-OST0000_UUID 30.0T 28.6T 1.4T 95% /FS[OST:0] |
FS-OST0001_UUID 30.0T 28.7T 1.3T 96% /FS[OST:1]\\ | FS-OST0001_UUID 30.0T 28.7T 1.3T 96% /FS[OST:1] |
FS-OST0002_UUID 30.0T 28.6T 1.3T 96% /FS[OST:2]\\ | FS-OST0002_UUID 30.0T 28.6T 1.3T 96% /FS[OST:2] |
FS-OST0003_UUID 30.0T 28.7T 1.3T 96% /FS[OST:3]\\ | FS-OST0003_UUID 30.0T 28.7T 1.3T 96% /FS[OST:3] |
FS-OST0004_UUID 30.0T 28.3T 1.7T 94% /FS[OST:4]\\ | FS-OST0004_UUID 30.0T 28.3T 1.7T 94% /FS[OST:4] |
FS-OST0005_UUID 30.0T 28.2T 1.8T 94% /FS[OST:5]\\ | FS-OST0005_UUID 30.0T 28.2T 1.8T 94% /FS[OST:5] |
FS-OST0006_UUID 30.0T 28.3T 1.7T 94% /FS[OST:6]\\ | FS-OST0006_UUID 30.0T 28.3T 1.7T 94% /FS[OST:6] |
FS-OST0007_UUID 30.0T 28.2T 1.7T 94% /FS[OST:7]\\ | FS-OST0007_UUID 30.0T 28.2T 1.7T 94% /FS[OST:7] |
FS-OST0008_UUID 30.0T 28.3T 1.7T 94% /FS[OST:8]\\ | FS-OST0008_UUID 30.0T 28.3T 1.7T 94% /FS[OST:8] |
FS-OST0009_UUID 30.0T 28.2T 1.8T 94% /FS[OST:9]\\ | FS-OST0009_UUID 30.0T 28.2T 1.8T 94% /FS[OST:9] |
FS-OST000a_UUID 30.0T 2.1T 27.9T 7% /FS[OST:10]\\ | FS-OST000a_UUID 30.0T 2.1T 27.9T 7% /FS[OST:10] |
FS-OST000b_UUID 30.0T 2.2T 27.8T 7% /FS[OST:11]//\\ | FS-OST000b_UUID 30.0T 2.2T 27.8T 7% /FS[OST:11] |
| |
При добавлении дополнительного узла как правило могут возникнуть две ситуации:\\ | При добавлении дополнительного узла как правило могут возникают две ситуации:\\ |
1.1 Невозможность записи файла в связи с отсутствием свободного места на одном из OST (при этом на файловой системе места может быть предостаточно)\\ | 1.1 Невозможность записи файла в связи с отсутствием свободного места на одном из OST (при этом на файловой системе места может быть предостаточно)\\ |
1.2 Увеличение нагрузки ввода/вывода на новый добавленный узел.\\ | 1.2 Увеличение нагрузки ввода/вывода на новый добавленный узел.\\ |
* Обратная активация OST | * Обратная активация OST |
| |
Пример:\\ | Пример: |
//lctl --device N deactivate\\ | |
lfs find --ost {OST_UUID} -size +1G | lfs_migrate -y\\ | lctl --device N deactivate |
lctl --device N activate// | lfs find --ost {OST_UUID} -size +1G | lfs_migrate -y |
| lctl --device N activate |
| |
2.Резервное копирование | 2.Резервное копирование |
| |
| |
| ==== Об авторе ==== |
| [[https://www.linkedin.com/pub/alexey-vyrodov/59/976/16b|Profile]] автора |