Lmst

#Gzip 1.14 has been released (#GNU / #GNUZip / #Gz / #TarGz / #FileArchiver / #DataCompression / #DEFLATE / #LempelZiv / #LZ77 / #LempelZiv77 / #HuffmanCode) https://gnu.org/software/gzip/

It is remarkable how little the internet knows about parallel #deflate #compression The best guide on how to do it can be found in a massive comment in the pigz source code.

It's not really that hard once you realise that you can concatenate streams as long as they're flushed (synced to byte boundaries): https://github.com/any1/neatvnc/blob/master/src/parallel-deflate.c

I didn't set the dictionary for each chunk, but it doesn't seem to make a big difference.

[Перевод] Разбираем самый маленький PNG в мире

Самый миниатюрный PNG в мире весит 67 байт и представляет собой один чёрный пиксель. Выше вы видите его в 200-кратном увеличении. Красота, не так ли? Состоит этот файл из четырёх частей: Сигнатура PNG, одинаковая во всех файлах этого формата: 8 байт. Метаданные изображения, включая его размеры: 25 байт. Данные пикселя: 22 байта. Маркер «конец изображения»: 12 байт. Далее я опишу этот файл подробнее и постараюсь объяснить принцип работы формата PNG. В качестве небольшой затравки скажу, что в конце предстоит неожиданный поворот. Хотя, надеюсь, вам и без того интересно побольше узнать о PNG.

https://habr.com/ru/companies/ruvds/articles/787302/

#ruvds_перевод #png #сжатие_изображений #обработка_изображений #deflate #структура_png

@alcinnz
The reference I would look to for #DEFLATE (#PNG) compression would be #opticl ; while it's lovely #lisp native, I think the implementation of #DEFLATE includes non-portable (in some sense) hardware acceleration to speed up de/compression. https://github.com/slyrus/opticl

I believe #opticl is used by #mcclim ansi #clim2 implementation, for example. #commonLisp. Even if you're not working in lisp, lisp is natural to absorb ideas from.
@vertigo

[Перевод] Распаковываем архив gzip вручную. Часть 2

В этой части мы, как и в первой , разархивируем файл gzip вручную, но теперь ещё и декодируем коды Хаффмана. Для начала запишем данные на диск: $ echo "hector the frantic father on an anchor or a rare fat cat sat on the ranch" > test-huff.txt
$ xxd test-huff.txt
00000000: 6865 6374 6f72 2074 6865 2066 7261 6e74 hector the frant
00000010: 6963 2066 6174 6865 7220 6f6e 2061 6e20 ic father on an
00000020: 616e 6368 6f72 206f 7220 6120 7261 7265 anchor or a rare
00000030: 2066 6174 2063 6174 2073 6174 206f 6e20 fat cat sat on
00000040: 7468 6520 7261 6e63 680a the ranch. На этот раз файл получился размером 74 байта и содержит 13 символов: a, c, e, f, h, i, n, o, r, s, t; пробел (0x20) и перевод каретки (0x0a). В этой строке есть много повторений. Надеюсь, gzip это учтёт. Поскольку я работаю под Windows, то для распаковки использовал 7zip-zstd . $ 7z a -mx9 test-huff.txt.gz .\test-huff.txt
$ xxd test-huff.txt.gz
00000000: 1f8b 0808 d76f 6565 0200 7465 7374 2d68 .....oee..test-h
00000010: 7566 662e 7478 7400 158b 410a 0031 0c02 uff.txt...A..1..
00000020: effb 0abf 2621 257b 69c1 e6ff d480 1e64 ....&!%{i......d
00000030: c6ca e823 7425 96b8 fb0f 2c7a 0967 8393 ...#t%....,z.g..
00000040: 2873 8710 9543 11ee 75ad cc51 237d 0fc7 (s...C..u..Q#}..
00000050: 9797 d64a 0000 00 ...J... Чтобы вы лучше поняли, как будет выглядеть декодирование, покажу первую строку декодированного потока gzip: 0101 1001 0001 1101 00111 010 000 1101 0101 1001 000
h e c t o r ' ' t h e ' ' Ну а подробности читайте далее.

https://habr.com/ru/companies/ruvds/articles/783210/

#ruvds_перевод #gzip #архивирование_данных #clojure #deflate #коды_хаффмана

[Перевод] Распаковываем архив gzip вручную

В этой небольшой статье мы создадим архив gzip, после чего разберём его внутренние составляющие и просмотрим начинку. Избегая лишней сложности, в качестве содержимого для сжатия мы просто запишем в изначальный файл 8 символов a . $ echo "aaaaaaaa" > test.out
$ xxd test.out
00000000: 6161 6161 6161 6161 0a aaaaaaaa. Файл получился размером 9 байт — 8 символов a плюс перевод каретки в конце. Теперь архивируем его. Сделаем это командой gzip -1 , поскольку так мы задействуем самый быстрый метод сжатия, который позволит нам лучше разобрать процесс. $ gzip -1 test.out
$ xxd test.out.gz
00000000: 1f8b 0808 bf35 6a61 0403 7465 7374 2e6f .....5ja..test.o
00000010: 7574 004b 4c84 002e 00b6 66d7 ad09 0000 ut.KL.....f.....
00000020: 00 Дисклеймер : эту статью я писал в целях обучения, так что мог допустить некоторые ошибки. Мне нравится заниматься низкоуровневым программированием, но моя основная деятельность сосредоточена на веб-разработке для Microsoft Teams.

https://habr.com/ru/companies/ruvds/articles/781862/

#ruvds_перевод #gzip #архивирование_данных #clojure #deflate #коды_хаффмана

zlib、gzip 與 zip 的關係 (Mark Adler 的回覆)

Hacker News 上看到「How are zlib, gzip and zip related? (stackoverflow.com)」這個討論，原文是 StackOverflow 上 2013 年時的問題與回答：「How are zlib, gzip and zip related? What do they have in common and how are they different?」。

https://blog.gslin.org/archives/2023/11/28/11487/zlib%e3%80%81gzip-%e8%88%87-zip-%e7%9a%84%e9%97%9c%e4%bf%82-mark-adler-%e7%9a%84%e5%9b%9e%e8%a6%86/

#Computer #Murmuring #adler #adler32 #deflate #gz #gzip #mark #png #zip #zlib

🌘 「最小空間體中的最大圖像：最小空間中的最大圖像」
➤ PNG圖像的極限壓縮和其他相關技術
✤ https://www.bamsoftware.com/hacks/deflate.html
本文介紹了一個在最小的字節數中具有最大像素大小的PNG圖像，並探討了DEFLATE和gzip等壓縮技術的應用。作者通過使用1位色彩空間和bzip2壓縮，將圖像的大小壓縮到了極限。此外，還提到了使用Content-Encoding: gzip和嵌入到ODF或OOXML文檔中的方法來進一步壓縮圖像。文章還提到了一些其他有關圖像壓縮和最大編碼的技術。
+ 這篇文章很有趣，我從中學到了很多關於圖像壓縮的知識。
+ 這些壓縮技術真的很厲害，讓我對圖像壓縮有了更深入的瞭解。
#圖像壓縮 #PNG #DEFLATE #gzip