Bug 35095

Summary: требует адаптации к openldap >= 2.4.45-alt3
Product: Sisyphus Reporter: Michael Shigorin <mike>
Component: ldap-user-toolsAssignee: Anton V. Boyarshinov <boyarsh>
Status: CLOSED FIXED QA Contact: qa-sisyphus
Severity: critical    
Priority: P3 CC: aen, boyarsh, cas, inger, klark.devel, rider, sotor
Version: unstable   
Hardware: all   
OS: Linux   
Bug Depends on:    
Bug Blocks: 34231    

Description Michael Shigorin 2018-06-27 21:41:43 MSK
На сейчас alterator-net-domain не умеет работать с изменённой в openldap
схемой конфигов -- настоятельная просьба адаптировать (или откатить openldap).
Comment 1 AEN 2018-06-27 21:57:35 MSK
2klark: это нужно срочно.
Comment 2 Leonid Krivoshein 2018-06-29 01:30:59 MSK
Странно, с багзиллы письмо в этот раз не пришло!

Полагаю, с новыми инсталляциями Альт-домена должен исправить ситуацию Task #209222. Завтра после тестов на виртуалке это станет понятней. Ещё обязательно Task #209223, но с ним пока воюю -- мелкое, но важное исправление. Случайно под раздачу попал alterator-openldap (Task #209221) -- видимо он к делу не относится и изменения в нём косметические (необязательные).

(В ответ на комментарий №0)
> На сейчас alterator-net-domain не умеет работать с изменённой в openldap
> схемой конфигов -- настоятельная просьба адаптировать (или откатить openldap).

Схема конфигов (OLC) была добавлена в openldap как опция, которую ещё надо уметь активировать. К счастью по дефолту она отключена, поэтому ничего не ломает. Альт-домен на управление через OLC-конфигурацию не рассчитан абсолютно. Его надо переписывать для этого практически полностью. К слову, другой известный ALD, равно как и управлялки LDAP'ом в некоторых других дистрибутивах, заточены под OLC "из коробки". Однако я теперь согласен с Антоном Бояршиновым на предмет того, что наш старый ALD можно закопать^W продолжить поддерживать без глобальных изменений. Так что в документации стоит отразить, что если люди активируют OLC, они лишаются возможности управления ALT-доменом через Альтератор и ldap-user-tools.

Для масштабных внедрений и улучшения ситуации с большой нагрузкой на openldap мы внесли другое важное изменение, к которому не был готов Альт-домен: как рекомендовал апстрим много лет назад, по умолчанию вместо HDB-базы стали использовать бэкэнд LMDB (MDB). Конфиги openldap'а Альт-домен выкидывает и генерирует свои, но ориентируется при этом на HDB-бэкэнд. Самое простое -- вернуть поддержку HDB, убрав один символ в главном конфиге. Но это плохо отразится на большой нагрузке. Поэтому решил до-выкидывать HDB ото всюду и сделать поддержку MDB в Альт-домене. Но с оглядкой на прошлое.

Вопрос с миграцией существующих BDB/HDB баз на MDB оказался не так прост. Необходимо сначала выяснить, есть ли в Сизифе хоть кто-то, кому это действительно надо. Потому что там всё очень не просто и в любом случае с риском для данных.
Comment 3 AEN 2018-06-29 01:44:28 MSK
Совместимость критически важна в продуктах, нынешних и будущих. Потому прошу завтра обсудить с Михаилом, можно ли ее обеспечить в c7_e2k , не откатывая пакеты Сизифа.
Если нельзя, то придется безусловно откатить.
Comment 4 AEN 2018-06-29 01:45:45 MSK
(В ответ на комментарий №3)
> Совместимость критически важна в продуктах, нынешних и будущих. Потому прошу
> завтра обсудить с Михаилом, можно ли ее обеспечить в c7_e2k 
c8_e2k, конечно.
Comment 5 Leonid Krivoshein 2018-06-29 01:52:20 MSK
(В ответ на комментарий №3)
> Совместимость критически важна в продуктах, нынешних и будущих.

Можно, однозначно! Откатывать не придётся.

В последнем абзаце я был не совсем прав (но это не касается e2k): если мы планируем бэкпортировать улучшения в c7/p8/c8, придётся проблему с миграцией решать всё равно. Но я лишь хочу сказать, что это можно сделать отдельно, поскольку нынешние изменения улучшат ситуацию с новыми инсталляциями в Сизифе.
Comment 6 AEN 2018-06-29 01:56:00 MSK
У нас должен быть совместимый вариант завтра для передачи тестерам.
Comment 7 Leonid Krivoshein 2018-06-29 02:19:16 MSK
(В ответ на комментарий №6)
> У нас должен быть совместимый вариант завтра для передачи тестерам.

Будет! Помог бы кто с Task #209223... бьюсь с волшебными зависимостями в Сизифе. Грешу на commit 8072b6ff из alt-domain-server, как забороть -- пока не знаю.
Comment 8 Leonid Krivoshein 2018-06-29 02:27:02 MSK
(В ответ на комментарий №7)
Грешу на commit 8072b6ff из alt-domain-server, как забороть...

Зависимость победил. Дело действительно в этом комите.
Очевидно, так было задумано. Решение:

apt-repo add 209223
apt-get install samba alt-domain-server

Тогда нет "битых" пакетов. И вообще apt на сизифе какой-то странный. Завтра будем выяснять, как это правильно обходить...
Comment 9 Leonid Krivoshein 2018-06-29 04:16:50 MSK
(В ответ на комментарий №0)
> На сейчас alterator-net-domain не умеет работать с изменённой в openldap
> схемой конфигов -- настоятельная просьба адаптировать (или откатить openldap).

Адаптировал. Последний #task 209225, как я понимаю, требует сборки тестовой регулярки, заодно в неё стоит прихватить #209222 и (возможно) #209221. Сделаешь завтра? Попросил rider@ завтра это всё потестить в срочном порядке...
Comment 10 Anton Farygin 2018-06-29 07:43:42 MSK
просить надо не rider а sotor.
И нужно сразу говорить какой образ собирать.
Comment 11 Leonid Krivoshein 2018-06-29 10:05:46 MSK
(В ответ на комментарий №10)
> просить надо не rider а sotor.

Принято!

> И нужно сразу говорить какой образ собирать.

Тут mike@ видней. Может вообще не надо, а достаточно проверить на просто на Сизифной виртуалке.
Comment 12 Leonid Krivoshein 2018-07-04 02:34:53 MSK
Перевёл на ldap-user-tools, поскольку основная проблема в нём.

Предварительная информация: task #209455 проблему решил, у меня сборка тестового установочного образа x86_64 на Сизифе с этим заданием проблем не выявила, домен поднялся сходу "из-коробки". ISO-образ и задание переданы в Redmine (#1847).

Однако всё это хорошо для Сизифа и новых инсталляций. Проблему миграции базы openldap на существующих инсталляциях в c7/p8/c8 надо решать либо отдельно, либо писать инструкцию (что ИМХО надёжнее).
Comment 13 AEN 2018-07-04 02:47:03 MSK
2klark: решена ли проблема соответствия alterator-net-domain новой схеме конфигов openldap?
Именно так была поставлена задача изначально.
Comment 14 Leonid Krivoshein 2018-07-04 02:59:01 MSK
(В ответ на комментарий №13)
> 2klark: решена ли проблема соответствия alterator-net-domain новой схеме
> конфигов openldap?
> Именно так была поставлена задача изначально.

Видимо да, в том виде, что имел ввиду mike@, но назвал это иначе -- я подробнее это прокомментировал в #2. Суть проблемы заключалась в том, что на e2k_c8 и в Сизифе с новым openldap старый ALT-domain "из-коробки" не заводился, требовалась ручная правка многих конфигов (это не имеет никакого отношения к новой схеме OLC-config, которая не активна и сейчас). Из-за перехода на новый бэкэнд mdb не заводилось. Теперь заводится. И это утроит mike@, как понятно из сегодняшнего с ним общения. Не устроит в таком виде клиентов, которые сидят на c7/p8 и используют АЛЬТ-домен уже -- после обновления работать не будет. Но и в 2016 их много чего не устраивало, баг #3172 к примеру и сейчас некоторые багом не считают. Хотя и его можно закрыть.
Comment 15 Leonid Krivoshein 2018-07-04 03:01:33 MSK
Одна цифра не пропечаталась. Этот баг имел ввиду:
https://bugzilla.altlinux.org/show_bug.cgi?id=31712
Comment 16 AEN 2018-07-04 03:03:24 MSK
У меня очень простой вопрос: работает ли сейчас alterator-net-domain в Сизифе? Задача была поставлена именно так. 
А кого что устроит -- вопрос не для bugzilla.
Comment 17 Leonid Krivoshein 2018-07-04 03:14:46 MSK
(В ответ на комментарий №16)
> У меня очень простой вопрос: работает ли сейчас alterator-net-domain в Сизифе?

Думаю, ДА! Но точнее стоит дождаться ответа от Обнинска -- я провёл достаточно поверхностное тестирование только на одной архитектуре и только на предмет проверки тех разломов, которые были сходу видны именно в alterator-net-domain.
Comment 18 Michael Shigorin 2018-07-04 14:00:40 MSK
(В ответ на комментарий №14)
> > 2klark: решена ли проблема соответствия alterator-net-domain новой схеме
> > конфигов openldap? Именно так была поставлена задача изначально.
> Видимо да, в том виде, что имел ввиду mike@, но назвал это иначе
Да.

> И это утроит mike@, как понятно из сегодняшнего с ним общения.
Боюсь, даже не удвоит, а было бы здорово :-]

> Не устроит в таком виде клиентов, которые сидят на c7/p8 и используют
> АЛЬТ-домен уже -- после обновления работать не будет.
В смысле "после обновления до p9", так понимаю -- вряд ли такие изменения возьмут и попадут в c7/p8.
Comment 19 Repository Robot 2018-07-11 19:24:57 MSK
ldap-user-tools-0.9.4-alt1 -> sisyphus:

Sun Jul 08 2018 Leonid Krivoshein <klark@altlinux> 0.9.4-alt1
- deprecated backend template renamed to slapd-hdb-template.conf
- added new MDB template for work with openldap >= 2.4.45-alt3
- new MDB backend template now used by default (ALT #35095)
- added support both database backends: deprecated HDB and new MDB
- before create DN may set key SLAPD_BACKEND in /etc/sysconfig/ldap
- for create HDB-based DN's also may run: 'ldap_dn create <DN> --hdb'