Bug 30103 - [4.3] 32-bit xz compression fails
Summary: [4.3] 32-bit xz compression fails
Status: CLOSED FIXED
Alias: None
Product: Sisyphus
Classification: Development
Component: squashfs-tools (show other bugs)
Version: unstable
Hardware: all Linux
: P3 major
Assignee: Anton Farygin
QA Contact: qa-sisyphus
URL: https://github.com/plougher/squashfs-...
Keywords: regression
Depends on:
Blocks:
 
Reported: 2014-06-03 13:05 MSK by Michael Shigorin
Modified: 2014-06-19 12:08 MSK (History)
4 users (show)

See Also:


Attachments

Note You need to log in before you can comment on or make changes to this bug.
Description Michael Shigorin 2014-06-03 13:05:17 MSK
Сегодняшние сборки regular-{cinnamon,gnome3,kde4,mate,tde} (только i586) повзрывались при сборке на 64-битном хосте следующим образом:

+ mksquashfs /.image/ /.our/live -no-recovery -processors 16 -e .in .host .fakedata
Parallel mksquashfs: Using 16 processors
Creating 4.0 filesystem on /.our/live, block size 131072.
^M[-                                                           ]   100/75236   0%^M[========|                                                   ] 10800/75236  14%^M[===========\                                                ] 14400/75236  19%^M[===========/                                                ] 14800/75236  19%^M[=============|                                              ] 17300/75236  22%
FATAL ERROR:mangle2:: xz compress failed with error code 5
make[3]: *** [pack-image] Error 1
make[2]: *** [live/] Error 2

Сбой воспроизводим, но место плавает; другие образы из комплекта (e18, gnustep, icewm, lxde, lxqt, rescue, wmaker, xfce) собрались успешно, как и все сборки для x86_64.  Размер всех собравшихся -- до 531 Мб, взрывающиеся неделю назад получались от 561 Мб.

Потребление памяти mksquashfs дошло примерно до 2,5 Гб virt / 1,2 Гб res и плавало в том районе; на хосте 24 Гб (и 16 логических CPU).

В качестве объезда на скорую руку применил -mem 3G прямо в mki-pack-squashfs;
в апстрим повесил.
Comment 1 Anton Farygin 2014-06-03 13:55:42 MSK
cat /proc/meminfo приведи
Comment 2 Michael Shigorin 2014-06-03 15:53:56 MSK
Сейчас так (ничего не собирается):

n01:~> cat /proc/meminfo 
MemTotal:       24678476 kB
MemFree:         2340684 kB
Buffers:           87324 kB
Cached:         21011808 kB
SwapCached:         3928 kB
MemCommitted:    1048576 kB
VirtualSwap:           0 kB
Active:          8105420 kB
Inactive:       13182708 kB
Active(anon):    5179088 kB
Inactive(anon):  4236016 kB
Active(file):    2926332 kB
Inactive(file):  8946692 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:      16777208 kB
SwapFree:       16179344 kB
Dirty:                40 kB
Writeback:             0 kB
AnonPages:        188028 kB
Mapped:            12252 kB
Shmem:           9226096 kB
Slab:             894280 kB
SReclaimable:     658332 kB
SUnreclaim:       235948 kB
KernelStack:        4272 kB
PageTables:         9888 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    29116444 kB
Committed_AS:   10145992 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      371224 kB
VmallocChunk:   34346358432 kB
HardwareCorrupted:     0 kB
AnonHugePages:         0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:        7744 kB
DirectMap2M:    25149440 kB
Comment 3 Anton Farygin 2014-06-03 15:56:12 MSK
а, понятно. проблема видимо с адресацией. пусть апстрим чинит.
объезд понятен, критичного ничего нет.
Comment 4 Michael Shigorin 2014-06-03 22:40:41 MSK
(В ответ на комментарий №3)
> объезд понятен, критичного ничего нет.
TWIMC: объезд ломает сборку на бранче, т.к. тогда -mem не было.
Comment 5 Anton Farygin 2014-06-03 22:50:50 MSK
бэкпорт squashfs-tools поможет.
Comment 6 Michael Shigorin 2014-06-03 23:52:25 MSK
(В ответ на комментарий №5)
> бэкпорт squashfs-tools поможет.
После исправления этой баги -- вполне может быть.  Только надо будет пособирать всякое барахлишко на бранче с подключенным бэкпортом несколько недель, а то мало ли ещё что недосмотрели.

А для ситуации, когда на одном хосте делаются сборки и на сизифе, и на бранче, сейчас имеем изрядное неудобство.  О чём и решил на всякий предупредить RM, напоровшись.
Comment 7 Repository Robot 2014-06-19 12:08:14 MSK
squashfs-tools-4.3-alt2 -> sisyphus:

* Tue Jun 17 2014 Anton Farygin <rider@altlinux> 4.3-alt2
- upstream fix for 32bit memory calculation on 64bit (or pae) kernel (closes: #30103)
- upstream fix for working without -mem options and/or /proc
- cleanup spec