Bug 45730

Summary: Невозможно создать виртуальную машину в хранилище GlusterFS
Product: Альт Сервер Виртуализации Reporter: Константин <shevtsovk>
Component: Ошибки работыAssignee: Alexey Shabalin <shaba>
Status: NEW --- QA Contact: Alexey Shabalin <shaba>
Severity: normal    
Priority: P5 CC: amakeenk, andy, cas, shevtsov.anton, shevtsovk
Version: 10.1   
Hardware: x86_64   
OS: Linux   
See Also: https://bugzilla.altlinux.org/show_bug.cgi?id=45768
Attachments:
Description Flags
Текст ошибки none

Description Константин 2023-04-01 19:44:56 MSK 
Created attachment 12876 [details]
Текст ошибки

Новая установка Альт сервер виртуализации 10.1 (PVE), создан кластер из 3-х идентичных нод (vc1, vc2, vc3). Средствами GlusterFS создан replicate пул (repl_ssd_2tb_1) состоящий из 3-х nvme накопителей по 2Тб каждый, один накопитель на каждом сервере, пул добавлен в оснастку PVE. 
При попытке создать новую виртуальную машину указываю создать новый диск с размещением его в пуле GlusterFS, после завершения работы мастера создания виртуальной машины, ВМ не создается, в логе ошибка (см. вложение). 
В системе установлен glusterfs9, все последние обновления установлены.

[root@vc1 ~]# rpm -qa | grep gluster
glusterfs9-9.3-alt1.x86_64
libglusterd9-9.3-alt1.x86_64
libglusterfs9-9.3-alt1.x86_64
glusterfs9-cli-9.3-alt1.x86_64
libglusterfs8-api-8.4-alt1.x86_64
libglusterfs8-8.4-alt1.x86_64
glusterfs9-client-9.3-alt1.x86_64
glusterfs9-server-9.3-alt1.x86_64
libglusterfs9-api-9.3-alt1.x86_64

При попытке удалить libglusterfs8 грозит удалением PVE.
[root@vc1 ~]# apt-get remove libglusterfs8-api
Reading Package Lists... Done
Building Dependency Tree... Done
The following packages will be REMOVED:
  libglusterfs8-api pve-manager pve-qemu-common pve-qemu-img pve-qemu-server pve-qemu-system
0 upgraded, 0 newly installed, 6 removed and 0 not upgraded.

[root@vc1 ~]# ls /usr/lib64/glusterfs/8.4
xlator
[root@vc1 ~]# ls /usr/lib64/glusterfs/9.3/rpc-transport/
socket.so
Comment 1 Константин 2023-04-01 19:48:54 MSK 
При этом сам GlusterFS работает как положено, загруженный образ ISO и снятая резервная копия с ВМ (из интерфейса PVE) все выполняет, файлы распространяет на соответствующие носители на правильные серверы. 
Файлы созданные в консоли также реплицируются как положено.
Comment 2 Andrew Vasilyev 2023-04-02 00:12:23 MSK 
(Ответ для Константин на комментарий #0)
> Создано вложение 12876 [details] [подробности]
> Текст ошибки
> 
> Новая установка Альт сервер виртуализации 10.1 (PVE), создан кластер из 3-х
> идентичных нод (vc1, vc2, vc3). Средствами GlusterFS создан replicate пул
> (repl_ssd_2tb_1) состоящий из 3-х nvme накопителей по 2Тб каждый, один
> накопитель на каждом сервере, пул добавлен в оснастку PVE. 
> При попытке создать новую виртуальную машину указываю создать новый диск с
> размещением его в пуле GlusterFS, после завершения работы мастера создания
> виртуальной машины, ВМ не создается, в логе ошибка (см. вложение). 
> В системе установлен glusterfs9, все последние обновления установлены.
> 
> [root@vc1 ~]# rpm -qa | grep gluster
> glusterfs9-9.3-alt1.x86_64
> libglusterd9-9.3-alt1.x86_64
> libglusterfs9-9.3-alt1.x86_64
> glusterfs9-cli-9.3-alt1.x86_64
> libglusterfs8-api-8.4-alt1.x86_64
> libglusterfs8-8.4-alt1.x86_64
> glusterfs9-client-9.3-alt1.x86_64
> glusterfs9-server-9.3-alt1.x86_64
> libglusterfs9-api-9.3-alt1.x86_64
> 
> При попытке удалить libglusterfs8 грозит удалением PVE.
> [root@vc1 ~]# apt-get remove libglusterfs8-api
> Reading Package Lists... Done
> Building Dependency Tree... Done
> The following packages will be REMOVED:
>   libglusterfs8-api pve-manager pve-qemu-common pve-qemu-img pve-qemu-server
> pve-qemu-system
> 0 upgraded, 0 newly installed, 6 removed and 0 not upgraded.
> 
> [root@vc1 ~]# ls /usr/lib64/glusterfs/8.4
> xlator
> [root@vc1 ~]# ls /usr/lib64/glusterfs/9.3/rpc-transport/
> socket.so

  Нужно установить пакет glusterfs8. А glusterfs9, скорее всего, удалить.
Comment 3 Anton Shevtsov 2023-04-02 17:49:46 MSK 
(Ответ для Andrew Vasilyev на комментарий #2)
> (Ответ для Константин на комментарий #0)
> > Создано вложение 12876 [details] [подробности]
> > Текст ошибки
> > 
> > Новая установка Альт сервер виртуализации 10.1 (PVE), создан кластер из 3-х
> > идентичных нод (vc1, vc2, vc3). Средствами GlusterFS создан replicate пул
> > (repl_ssd_2tb_1) состоящий из 3-х nvme накопителей по 2Тб каждый, один
> > накопитель на каждом сервере, пул добавлен в оснастку PVE. 
> > При попытке создать новую виртуальную машину указываю создать новый диск с
> > размещением его в пуле GlusterFS, после завершения работы мастера создания
> > виртуальной машины, ВМ не создается, в логе ошибка (см. вложение). 
> > В системе установлен glusterfs9, все последние обновления установлены.
> > 
> > [root@vc1 ~]# rpm -qa | grep gluster
> > glusterfs9-9.3-alt1.x86_64
> > libglusterd9-9.3-alt1.x86_64
> > libglusterfs9-9.3-alt1.x86_64
> > glusterfs9-cli-9.3-alt1.x86_64
> > libglusterfs8-api-8.4-alt1.x86_64
> > libglusterfs8-8.4-alt1.x86_64
> > glusterfs9-client-9.3-alt1.x86_64
> > glusterfs9-server-9.3-alt1.x86_64
> > libglusterfs9-api-9.3-alt1.x86_64
> > 
> > При попытке удалить libglusterfs8 грозит удалением PVE.
> > [root@vc1 ~]# apt-get remove libglusterfs8-api
> > Reading Package Lists... Done
> > Building Dependency Tree... Done
> > The following packages will be REMOVED:
> >   libglusterfs8-api pve-manager pve-qemu-common pve-qemu-img pve-qemu-server
> > pve-qemu-system
> > 0 upgraded, 0 newly installed, 6 removed and 0 not upgraded.
> > 
> > [root@vc1 ~]# ls /usr/lib64/glusterfs/8.4
> > xlator
> > [root@vc1 ~]# ls /usr/lib64/glusterfs/9.3/rpc-transport/
> > socket.so
> 
>   Нужно установить пакет glusterfs8. А glusterfs9, скорее всего, удалить.

Если я правильно понял, у него кластер на 9ом glusterе, pve из 10.1 не хочет с ним работать. Что изменит удаление glusterfs9? Особенно, учитывая, что по спецификации АСВ - https://www.basealt.ru/alt-server-virtualizacii/specification - указан glusterfs 9.3
Comment 4 Andrew Vasilyev 2023-04-02 22:21:22 MSK 
(Ответ для Anton Shevtsov на комментарий #3)
> >   Нужно установить пакет glusterfs8. А glusterfs9, скорее всего, удалить.
> 
> Если я правильно понял, у него кластер на 9ом glusterе, pve из 10.1 не хочет
> с ним работать. Что изменит удаление glusterfs9? Особенно, учитывая, что по
> спецификации АСВ -

  Не просто удаление (возможно, не трогать его), а **добавление** glusterfs8, в котором есть
/usr/lib64/glusterfs/8.4/rpc-transport/socket.so (кстати, как оно попало в не-lib пакет?)
  которого не хватает PVE (см. сообщение об ошибке у ТС).

> https://www.basealt.ru/alt-server-virtualizacii/specification - указан
> glusterfs 9.3

  При этом там ещё есть:

/ALTLinux/RPMS.main/libglusterfs8-8.4-alt1.x86_64.rpm
/ALTLinux/RPMS.main/libglusterfs8-api-8.4-alt1.x86_64.rpm

  А pve-storage зависит от glusterfs-client без версии, а его провайдят
  обе версии glusterfs-ов. И PVE пытается использовать api от 8-й версии.
Comment 5 Константин 2023-04-03 08:31:11 MSK 
Невозможно установить glusterfs8

[root@vc1 ~]# apt-get update
Получено: 1 http://ftp.altlinux.org p10/branch/x86_64 release [4223B]
Получено: 2 http://ftp.altlinux.org p10/branch/x86_64-i586 release [1665B]
Получено: 3 http://ftp.altlinux.org p10/branch/noarch release [2844B]
Получено 8732B за 0s (26,1kB/s).
Получено: 1 http://ftp.altlinux.org p10/branch/x86_64/classic pkglist [23,1MB]
Получено: 2 http://ftp.altlinux.org p10/branch/x86_64/classic release [137B]
Получено: 3 http://ftp.altlinux.org p10/branch/x86_64-i586/classic pkglist [17,0MB]
Получено: 4 http://ftp.altlinux.org p10/branch/x86_64-i586/classic release [142B]                                                                  
Найдено http://ftp.altlinux.org p10/branch/noarch/classic pkglist                                                                                  
Найдено http://ftp.altlinux.org p10/branch/noarch/classic release                                                                                  
Получено 40,0MB за 13s (2968kB/s).                                                                                                                 
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено

[root@vc1 ~]# apt-get install glusterfs8
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Некоторые пакеты установить невозможно. Это может означать, что Вы
потребовали невозможного, либо пользуетесь нестабильным репозиторием.
Часть необходимых пакетов либо ещё не создана, либо была удалена
из каталога 'Входящие'.

Так как для выполнения Вашего запроса достаточно одной операции, то
скорее всего этот пакет просто невозможно установить. Сообщите, пожалуйста,
об этом как о найденной ошибке в пакете.
Эти сведения могут помочь найти выход из ситуации:

Следующие пакеты имеют неудовлетворенные зависимости:
  glusterfs8: Требует: glusterfs8-client (= 8.4-alt1:sisyphus+277390.300.3.1)
E: Извините, `битые' пакеты

[root@vc1 ~]# apt-repo 
rpm [p10] http://ftp.altlinux.org/pub/distributions/ALTLinux p10/branch/x86_64 classic
rpm [p10] http://ftp.altlinux.org/pub/distributions/ALTLinux p10/branch/x86_64-i586 classic
rpm [p10] http://ftp.altlinux.org/pub/distributions/ALTLinux p10/branch/noarch classic
Comment 6 Andrey Cherepanov 2023-04-05 13:41:01 MSK 
(Ответ для Константин на комментарий #5)
> Невозможно установить glusterfs8
> 
> [root@vc1 ~]# apt-get update
> Получено: 1 http://ftp.altlinux.org p10/branch/x86_64 release [4223B]
> Получено: 2 http://ftp.altlinux.org p10/branch/x86_64-i586 release [1665B]
> Получено: 3 http://ftp.altlinux.org p10/branch/noarch release [2844B]
> Получено 8732B за 0s (26,1kB/s).
> Получено: 1 http://ftp.altlinux.org p10/branch/x86_64/classic pkglist
> [23,1MB]
> Получено: 2 http://ftp.altlinux.org p10/branch/x86_64/classic release [137B]
> Получено: 3 http://ftp.altlinux.org p10/branch/x86_64-i586/classic pkglist
> [17,0MB]
> Получено: 4 http://ftp.altlinux.org p10/branch/x86_64-i586/classic release
> [142B]                                                                  
> Найдено http://ftp.altlinux.org p10/branch/noarch/classic pkglist           
> 
> Найдено http://ftp.altlinux.org p10/branch/noarch/classic release           
> 
> Получено 40,0MB за 13s (2968kB/s).                                          
> 
> Чтение списков пакетов... Завершено
> Построение дерева зависимостей... Завершено
> 
> [root@vc1 ~]# apt-get install glusterfs8
> Чтение списков пакетов... Завершено
> Построение дерева зависимостей... Завершено
> Некоторые пакеты установить невозможно. Это может означать, что Вы
> потребовали невозможного, либо пользуетесь нестабильным репозиторием.
> Часть необходимых пакетов либо ещё не создана, либо была удалена
> из каталога 'Входящие'.
> 
> Так как для выполнения Вашего запроса достаточно одной операции, то
> скорее всего этот пакет просто невозможно установить. Сообщите, пожалуйста,
> об этом как о найденной ошибке в пакете.
> Эти сведения могут помочь найти выход из ситуации:
> 
> Следующие пакеты имеют неудовлетворенные зависимости:
>   glusterfs8: Требует: glusterfs8-client (= 8.4-alt1:sisyphus+277390.300.3.1)
> E: Извините, `битые' пакеты
> 
> [root@vc1 ~]# apt-repo 
> rpm [p10] http://ftp.altlinux.org/pub/distributions/ALTLinux
> p10/branch/x86_64 classic
> rpm [p10] http://ftp.altlinux.org/pub/distributions/ALTLinux
> p10/branch/x86_64-i586 classic
> rpm [p10] http://ftp.altlinux.org/pub/distributions/ALTLinux
> p10/branch/noarch classic

[root@host-217 ~]# apt-get install glusterfs8 --dry-run
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Следующие дополнительные пакеты будут установлены:
  glusterfs8-client libglusterd8 libglusterfs8 libglusterfs8-api python3-module-pyxattr
Следующие НОВЫЕ пакеты будут установлены:
  glusterfs8 glusterfs8-client libglusterd8 libglusterfs8 libglusterfs8-api python3-module-pyxattr
0 будет обновлено, 6 новых установлено, 0 пакетов будет удалено и 8 не будет обновлено.
Inst python3-module-pyxattr (0.7.2-alt1:sisyphus+279114.100.1.1@1626379600 p10:1680628752/ALT Linux p10)
Inst libglusterfs8 (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10)
Inst libglusterd8 (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10)
Inst glusterfs8-client (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10) []
Inst libglusterfs8-api (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10) []
Inst glusterfs8 (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10)
Conf python3-module-pyxattr (0.7.2-alt1:sisyphus+279114.100.1.1@1626379600 p10:1680628752/ALT Linux p10)
Conf libglusterfs8 (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10)
Conf libglusterd8 (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10)
Conf libglusterfs8-api (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10)
Conf glusterfs8 (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10)
Conf glusterfs8-client (8.4-alt1:sisyphus+277390.300.3.1@1625536517 p10:1680628752/ALT Linux p10)
Comment 7 Andrey Cherepanov 2023-04-05 13:42:13 MSK 
Попробуйте установить 
apt-get update
​​​​​​​apt-get install glusterfs8 glusterfs8-client libglusterd8 libglusterfs8 libglusterfs8-api python3-module-pyxattr
Comment 8 Константин 2023-04-06 08:52:22 MSK 
[root@vc3 ~]# apt-get update && apt-get install glusterfs8 glusterfs8-client libglusterd8 libglusterfs8 libglusterfs8-api python3-module-pyxattr
Получено: 1 http://ftp.altlinux.org p10/branch/x86_64 release [4223B]
Получено: 2 http://ftp.altlinux.org p10/branch/x86_64-i586 release [1665B]
Получено: 3 http://ftp.altlinux.org p10/branch/noarch release [2844B]
Получено 8732B за 0s (84,0kB/s).                    
Получено: 1 http://ftp.altlinux.org p10/branch/x86_64/classic pkglist [23,1MB]
Получено: 2 http://ftp.altlinux.org p10/branch/x86_64/classic release [137B]
Получено: 3 http://ftp.altlinux.org p10/branch/x86_64-i586/classic pkglist [17,0MB]
Получено: 4 http://ftp.altlinux.org p10/branch/x86_64-i586/classic release [142B]                                                                                                                               
Получено: 5 http://ftp.altlinux.org p10/branch/noarch/classic pkglist [6437kB]                                                                                                                                  
Получено: 6 http://ftp.altlinux.org p10/branch/noarch/classic release [137B]                                                                                                                                    
Получено 46,4MB за 12s (3818kB/s).                                                                                                                                                                              
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Последняя версия libglusterfs8 уже установлена.
Последняя версия libglusterfs8-api уже установлена.
Последняя версия python3-module-pyxattr уже установлена.
Следующие пакеты будут УДАЛЕНЫ:
  glusterfs9 glusterfs9-client glusterfs9-server
Следующие НОВЫЕ пакеты будут установлены:
  glusterfs8 glusterfs8-client libglusterd8
0 будет обновлено, 3 новых установлено, 3 пакетов будет удалено и 3 не будет обновлено.
Необходимо получить 2582kB архивов.
После распаковки потребуется дополнительно 235kB дискового пространства.
Продолжить? [Y/n]  
Получено: 1 http://ftp.altlinux.org p10/branch/x86_64/classic libglusterd8 8.4-alt1:sisyphus+277390.300.3.1@1625536517 [6484B]
Получено: 2 http://ftp.altlinux.org p10/branch/x86_64/classic glusterfs8-client 8.4-alt1:sisyphus+277390.300.3.1@1625536517 [130kB]
Получено: 3 http://ftp.altlinux.org p10/branch/x86_64/classic glusterfs8 8.4-alt1:sisyphus+277390.300.3.1@1625536517 [2445kB]
Получено 2582kB за 0s (3034kB/s).    
Совершаем изменения...
Подготовка...                            # [100%]
Обновление / установка...
1: libglusterd8-8.4-alt1          17%]
2: glusterfs8-client-8.4-alt1 [ 33%]
3: glusterfs8-8.4-alt1            [ 50%]
Очистка / удаление...
4: glusterfs9-server-9.3-alt1 [ 67%]
5: glusterfs9-9.3-alt1              [ 83%]
6: glusterfs9-client-9.3-alt1  [100%]
Завершено.

После этого, естественно, glusterFS умер совсем, попытка установить gluster8-server к положительным результатам не привела.

[root@vc3 ~]# apt-get install glusterfs8-server
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Следующие дополнительные пакеты будут установлены:
  glusterfs8-cli
Следующие пакеты будут УДАЛЕНЫ:
  glusterfs9-cli
Следующие НОВЫЕ пакеты будут установлены:
  glusterfs8-cli glusterfs8-server
0 будет обновлено, 2 новых установлено, 1 пакетов будет удалено и 3 не будет обновлено.
Необходимо получить 213kB архивов.
После распаковки потребуется дополнительно 127kB дискового пространства.
Продолжить? [Y/n]
Получено: 1 http://ftp.altlinux.org p10/branch/x86_64/classic glusterfs8-cli 8.4-alt1:sisyphus+277390.300.3.1@1625536517 [166kB]
Получено: 2 http://ftp.altlinux.org p10/branch/x86_64/classic glusterfs8-server 8.4-alt1:sisyphus+277390.300.3.1@1625536517 [47,1kB]
Получено 213kB за 5s (41,0kB/s).        
Совершаем изменения...
Подготовка...                            [100%]
Обновление / установка...
1: glusterfs8-cli-8.4-alt1         [ 33%]
2: glusterfs8-server-8.4-alt1 [ 67%]
Очистка / удаление...
3: glusterfs9-cli-9.3-alt1          [100%]
Завершено.

Сервер gluster8 не запускается, падает с ошибкой:

Начат процесс запуска юнита glusterd.service.
апр 06 10:18:30 vc1 systemd[1]: glusterd.service: Control process exited, code=exited, status=1/FAILURE
░░ Subject: Unit process exited
░░ Defined-By: systemd
░░ Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
░░
░░ An ExecStart= process belonging to unit glusterd.service has exited.
░░
░░ The process' exit code is 'exited' and its exit status is 1.
апр 06 10:18:30 vc1 systemd[1]: glusterd.service: Failed with result 'exit-code'.
░░ Subject: Unit failed
░░ Defined-By: systemd
░░ Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
░░
░░ The unit glusterd.service has entered the 'failed' state with result 'exit-code'.
апр 06 10:18:30 vc1 systemd[1]: glusterd.service: Unit process 4609 (glusterd) remains running after unit stopped.
апр 06 10:18:30 vc1 systemd[1]: Failed to start GlusterFS, a clustered file-system server.
░░ Subject: Ошибка юнита glusterd.service
░░ Defined-By: systemd
░░ Support: https://lists.freedesktop.org/mailman/listinfo/systemd-devel
░░
░░ Произошел сбой юнита glusterd.service.
░░
░░ Результат: failed.

Пришлось вернуться на gluster9

[root@vc3 ~]# apt-get install glusterfs9 glusterfs9-client libglusterd9 libglusterfs9 libglusterfs9-api python3-module-pyxattr glusterfs9-server
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено
Последняя версия libglusterd9 уже установлена.
Последняя версия libglusterfs9 уже установлена.
Последняя версия libglusterfs9-api уже установлена.
Последняя версия python3-module-pyxattr уже установлена.
Следующие дополнительные пакеты будут установлены:
  glusterfs9-cli
Следующие пакеты будут УДАЛЕНЫ:
  glusterfs8 glusterfs8-cli glusterfs8-client glusterfs8-server
Следующие НОВЫЕ пакеты будут установлены:
  glusterfs9 glusterfs9-cli glusterfs9-client glusterfs9-server
0 будет обновлено, 4 новых установлено, 4 пакетов будет удалено и 3 не будет обновлено.
Необходимо получить 2855kB архивов.
После распаковки будет освобождено 348kB дискового пространства.
Продолжить? [Y/n]
Получено: 1 http://ftp.altlinux.org p10/branch/x86_64/classic glusterfs9-client 9.3-alt1:sisyphus+277813.40.2.1@1625828070 [131kB]
Получено: 2 http://ftp.altlinux.org p10/branch/x86_64/classic glusterfs9 9.3-alt1:sisyphus+277813.40.2.1@1625828070 [2507kB]
Получено: 3 http://ftp.altlinux.org p10/branch/x86_64/classic glusterfs9-cli 9.3-alt1:sisyphus+277813.40.2.1@1625828070 [170kB]
Получено: 4 http://ftp.altlinux.org p10/branch/x86_64/classic glusterfs9-server 9.3-alt1:sisyphus+277813.40.2.1@1625828070 [47,8kB]
Получено 2855kB за 5s (504kB/s).        
Совершаем изменения...
Подготовка...                           [100%]
Обновление / установка...
1: glusterfs9-9.3-alt1              [ 13%]
2: glusterfs9-client-9.3-alt1  [ 25%]
3: glusterfs9-cli-9.3-alt1        [ 38%]
4: glusterfs9-server-9.3-alt1[ 50%]
Очистка / удаление...
5: glusterfs8-server-8.4-alt1[ 63%]
6: glusterfs8-8.4-alt1             [ 75%]
7: glusterfs8-client-8.4-alt1 [ 88%]
8: glusterfs8-cli-8.4-alt1        [100%]
Завершено.

Сам гластер заработал, но ВМ создать все еще не может.
Comment 9 Константин 2023-04-12 12:57:36 MSK 
Все? Больше никаких вариантов решения нет? GlusterFS по прежнему не работает в связке с PVE.
Comment 10 Константин 2023-08-22 16:47:17 MSK 
Прошло 4 месяца, обновлений с древней версии так и не предвидится? Уже 11ая версия в феврале этого года вышла.
Comment 11 Andrew Vasilyev 2023-08-22 20:10:15 MSK 
  В p10 ждёт тестирования задание:

#325766 EPERM #3 p10/cas glusterfs8.git=8.6-alt1 glusterfs9.git=9.6-alt3 glusterfs10.git=10.4-alt2 glusterfs11.git=11.0-alt1 glusterfs-coreutils.git=0.3.2-alt1

  После прохождения можно будет пересобирать pve-storage и pve-qemu
  с новой версией glusterfs.
Comment 12 Alexander Makeenkov 2023-08-22 21:24:02 MSK 
(Ответ для Andrew Vasilyev на комментарий #11)
>   В p10 ждёт тестирования задание:
> 
> #325766 EPERM #3 p10/cas glusterfs8.git=8.6-alt1 glusterfs9.git=9.6-alt3
> glusterfs10.git=10.4-alt2 glusterfs11.git=11.0-alt1
> glusterfs-coreutils.git=0.3.2-alt1

Уже давно протестировано и не пропущено в репозиторий из-за https://bugzilla.altlinux.org/47130