Выпуск языка программирования Python 3.11

Одновременно началось альфа-тестирование ветки Python 3.12 (в соответствии с новым графиком разработки работа над новой веткой начинается за пять месяцев до релиза предыдущей ветки и к моменту очередного релиза достигает стадии альфа-тестирования). Ветка Python 3.12 будет находиться на стадии альфа-выпусков в течение семи месяцев, во время которых будут добавляться новые возможности и производиться исправление ошибок. После этого в течение трёх месяцев будет проводиться тестирование бета-версий, во время которого добавление новых возможностей будет запрещено и всё внимание будет уделяться исправлению ошибок. Последние два месяца перед релизом ветка будет находиться на стадии кандидата в релизы, на которой будет выполнена финальная стабилизация.

Среди добавленных в Python 3.11 новшеств:

• Проведена значительная работа по оптимизации производительности. В новую ветку включены изменения, связанные с ускорением и inline-развёртыванием вызова функций, применением быстрых интерпретаторов типовых операций (x+x, x*x, x-x, a[i], a[i] = z, f(arg) C(arg), o.method(), o.attr = z, *seq), а также оптимизациями, подготовленными проектами Cinder и HotPy. В зависимости от вида нагрузки отмечается прирост скорости выполнения кода на 10-60%. В среднем производительность при прохождении тестового набора pyperformance увеличилась на 25%.

  Переработан механизм кэширования байткода, что позволило сократить время запуска интерпретатора на 10-15%. Объекты с кодом и байткод теперь статически разамещаются интерпретатором, что дало возможность исключить стадии демаршалинга извлечённого из кэша байткода и преобразования объектов с кодом для размещения в динамической памяти.

• При отображении трассировки вызовов в диагностических сообщениях обеспечен вывод информации о выражении, из-за которого возникла ошибка (ранее подсвечивалась лишь строка без детализации, какая именно часть строки стала причиной ошибки). Расширенную информацию о трассировке также можно получить через API и использовать для сопоставления отдельных инструкций байткода с конкретной позицией в исходном коде, используя метод codeobject.co_positions() или функцию C API PyCode_Addr2Location(). Изменение существенно упрощает отладку проблем, связанных с вложенными объектами словарей, множественными вызовами функций и сложными арифметическими выражениями.

     Traceback (most recent call last):
       File "calculation.py", line 54, in 
         result = (x / y / z) * (a / b / c)
                   ~~~~~~^~~
     ZeroDivisionError: division by zero
  

• Добавлена поддержка групп исключений, дающих программе возможность генерировать и обрабатывать сразу несколько разных исключений одновременно. Для группировки нескольких исключений и их совместного вызова предложены новые типы исключений ExceptionGroup и BaseExceptionGroup, а для выделения отдельных исключений из группы добавлено выражение "except*".
• В класс BaseException добавлен метод add_note(), позволяющий прикрепить текстовое примечание к исключению, например, добавить контекстную информацию, недоступную во время генерации исключения.
• Добавлен специальный тип Self, представляющий текущий закрытый класс. Self может применяться для аннотирования методов, возвращающих экземпляр своего класса, более простым путём, чем при использовании TypeVar.

     class MyLock:
         def __enter__(self) -> Self:
             self.lock()
             return self
  

• Добавлен специальный тип LiteralString, который может включать только строковые литералы, совместимые с типом LiteralString (т.е. голые строки и строки с типом LiteralString, но не произвольные и не комбинированные строки с типом str). Тип LiteralString можно использовать для ограничения передачи функциям строковых аргументов, произвольная подстановка частей строк в которых может привести к уязвимостям, например, при формировании строк для SQL-запросов или shell-команд.

     def run_query(sql: LiteralString) -> ...
         ...
  
     def caller(
         arbitrary_string: str,
         query_string: LiteralString,
         table_name: LiteralString,
     ) -> None:
         run_query("SELECT * FROM students")  # ok
         run_query(literal_string)  # ok
         run_query("SELECT * FROM " + literal_string)  # ok
         run_query(arbitrary_string)  # Ошибка
         run_query(  # Ошибка
             f"SELECT * FROM students WHERE name = {arbitrary_string}"
         )
  

• Добавлен тип TypeVarTuple, позволяющий использовать вариативные дженерики, в отличие от TypeVar охватывающие не один тип, а произвольное число типов.
• В стандартную библиотеку включён модуль tomllib с функциями для разбора формата TOML.
• Предоставлена возможность пометки отдельных элементов типизованных словарей (TypedDict) метками Required и NotRequired для определения обязательных и не обязательных полей (по умолчанию все объявленные поля обязательны для заполнения, если параметр total не выставлен в значение False).

     class Movie(TypedDict):
        title: str
        year: NotRequired[int]
  
     m1: Movie = {"title": "Black Panther", "year": 2018}  # OK
     m2: Movie = {"title": "Star Wars"}  # OK (поле year необязательное)
     m3: Movie = {"year": 2022}  # Ошибка, не заполнено обязательное поле title)
  

• В модуль asyncio добавлен класс TaskGroup с реализацией асинхронного контекстного менеджера, ожидающего завершения группы задач. Добавление задач в группу осуществляется при помощи метода create_task().

     async def main():
         async with asyncio.TaskGroup() as tg:
             task1 = tg.create_task(some_coro(...))
             task2 = tg.create_task(another_coro(...))
         print("Both tasks have completed now.")
  

• Добавлен декоратор классов, методов и функций @dataclass_transform, при указании которого система проверки статических типов трактует объект, как при использовании декоратора @dataclasses.dataclass. В примере ниже класс CustomerModel при проверке типов будет обработан по аналогии с классом с декоратором @dataclasses.dataclass, т.е. как имеющий метод __init__, допускающий переменные id и name.

     @dataclass_transform()
     class ModelBase: ...
  
     class CustomerModel(ModelBase):
         id: int
         name: str
  

• В регулярных выражениях добавлена возможность использования атомарной группировки ((?›…)) и ревнивых (possessive) квантификаторов (*+, ++, ?+, {m,n}+).
• Добавлена опция командной строки "-P" и переменная окружения PYTHONSAFEPATH для отключения автоматического прикрепления к sys.path потенциально небезопасных файловых путей.
• Значительно улучшена утилита py.exe для платформы Windows, в которой реализована поддержка синтаксиса "-V:‹company›/‹tag›" в дополнение к "-‹major›.‹minor›".
• Многие макросы в C API преобразованы в обычные или статические inline-функции.
• Объявлены устаревшими и будут удалены в выпуске Python 3.13 модули uu, cgi, pipes, crypt, aifc, chunk, msilib, telnetlib, audioop, nis, sndhdr, imghdr, nntplib, spwd, xdrlib, cgitb, mailcap, ossaudiodev и sunau. Удалены функции PyUnicode_Encode*.

@opennet

Для тех, у кого не получится присоединиться к эфиру, открыта запись июньского доклада Павла “PostgreSQL 15: MERGE и не только” на PGConf.Russia.

👍

Релиз СУБД PostgreSQL 15

Основные новшества:

• Добавлена поддержка SQL-команды "MERGE", напоминающей выражение "INSERT ... ON CONFLICT". MERGE позволяет создавать условные SQL-выражения, объединяющие в одном выражении операции INSERT, UPDATE и DELETE. Например, при помощи MERGE можно организовать слияние двух таблиц, вставляя недостающие записи и обновляя существующие.

     MERGE INTO customer_account ca
     USING recent_transactions t
     ON t.customer_id = ca.customer_id
     WHEN MATCHED THEN
       UPDATE SET balance = balance + transaction_value
     WHEN NOT MATCHED THEN
       INSERT (customer_id, balance)
       VALUES (t.customer_id, t.transaction_value);
  

• Значительно улучшены алгоритмы сортировки данных в памяти и на диске. В зависимости от типа данных в тестах наблюдается повышение скорости сотрировки от 25% до 400%.
• Ускорена работа оконных функций с использованием row_number(), rank(), dense_rank() и count().
• Реализована возможность параллельного выполнения запросов c выражением "SELECT DISTINCT".
• В механизме подключения внешних таблиц Foreign Data Wrapper (postgres_fdw) реализована поддержка асинхронных коммитов в дополнение к добавленной ранее возможности асинхронной обработки запросов к внешним серверам.
• Добавлена возможность применения алгоритмов LZ4 и Zstandard (zstd) для сжатия WAL-логов транзакций, что при некоторых нагрузках позволяет одновременно повысить производительность и сэкономить дисковое пространство. Для сокращения времени восстановления после сбоя добавлена поддержка упреждающего извлечения страниц, фигурирующих в WAL-логе.
• В утилиту pg_basebackup добавлена поддержка сжатия файлов с резервными копиями на стороне сервера, используя методы gzip, LZ4 или zstd. Предоставлена возможность использования собственных модулей для архивирования, позволяющий обойтись без необходимости запуска shell-команд.
• Добавлена серия новых функций для обработки строк с использованием регулярных выражений: regexp_count(), regexp_instr(), regexp_like() и regexp_substr().
• В функцию range_agg() добавлена возможность агрегирования многодиапазоных типов ("multirange").
• Добавлен режим security_invoker, позволяющий создавать представления, выполняемые с правами вызывающего пользователя, а не создателя представления.
• Для логической репликацией реализована поддержка фильтрации строк и задания списков столбцов, позволяющих на стороне отправителя выделить из таблицы подмножество данных для репликации. Кроме того, в новой версии упрощено управление конфликтами, например, появилась возможность пропуска конфликтующих транзакций и автоматического отключения подписки при выявлении ошибки. При логической репликации разрешено использование двухфазных коммитов (2PC).
• Добавлен новый формат логов - jsonlog, сохраняющий информацию в структурированнов виде, используя формат JSON.
• Администратору предоставлена возможность делегирования пользователям отдельных полномочий для изменения определённых параметров конфигурации сервера PostgreSQL.
• В утилиту psql добавлена поддержка поиска информации о настройках при помощи команды "\dconfig".
• Обеспечено использование разделяемой памяти для накопления статистики о работе сервера, что позволило избавиться от отдельного процесса сбора статистики и периодического сброса состояния на диск.
• Предоставлена возможность использования по умолчанию свойства локали "ICU Collation", позволяющего задавать правила сортировки и методы сопоставления с учётом смысла символов.
• Предложено встроенное расширение pg_walinspect, позволяющее инспектировать содержимое файлов с WAL-логами при помощи SQL-запросов.
• Для схемы public у всех пользователей, за исключением владельца БД, осуществлён отзыв полномочий на выполнение команды CREATE.
• В PL/Python удалена поддержка Python 2. Удалён устаревший эксклюзивный режим резервного копирования ("exclusive backup").

Дополнение: С 19:00 до 20:00 (MSK) состоится вебинар-обсуждение изменений новой версии с Павлом Лузановым (Postgres Professional). Для тех, у кого не получится присоединиться к эфиру, открыта запись июньского доклада Павла "PostgreSQL 15: MERGE и не только" на PGConf.Russia.

Источник: https://www.opennet.ru/opennews/art.shtml?num=57914

@iron_bug

Да, весомый аргумент

Дружеское напоминание: если у вас в проекте уже используется #PostgreSQL, то у вас есть кроссплатформенный механизм межпроцесного взаимодействия - NOTIFY.

#psql #ipc

Любопытная ситуация с библиотекой tarfile в #python: В Python повторно нашли не закрытую 15 лет назад уязвимость.

У библиотеки есть методы TarFile.extractall и TarFile.extract с аргументом path='.'. Но сам по себе tar может содержать файлы, имена которых будут либо абсолютными (начинаются с "/"), либо ссылаться на родительские директории (содержать ".."). В результате файлы могут быть созданы или перезаписаны вне указанной в аргументе path директории.

Если пойти в тикет на github, то там можно найти и более изощренные способы эксплуатации с помощью tar.

Если рассматривать со стороны авторов tarfile - нет. Библиотека делает ровно то, что в нее вложили авторы.

Если рассматривать со стороны большинства пользователей популярного языка программирования с низким порогом вхождения - да. Как минимум это опасная функция в стандартной библиотеке. О чем крупным по красному написано в официальной документации. Но вы же знаете как бывает? Один человек внимательно прочитал доку, сделал проверки достоверности входных данных и заюзал функцию, точно зная, что в его конкретном случае проблемы нет. А его коллега увидел этот код и вызвал его же для файла, который получен из недостоверного источника. И вот она дыра в безопасности на ровном месте. Кто тут виноват: конечно тот, кто скопировал код и не выяснил детали. Пользователю такого продукта будет глубоко фиолетово кто тут виноват: проблема всё равно есть. А если спросите мое субъективное мнение, то я считаю, что таких опасных функций в стандартной библиотеке пайтона быть не должно. Лучше пожертвовать совместимостью и выкинуть проблемные функции.

#OpenBSD в качестве BIOS’а по умолчанию для #vmm использует бинарник /etc/firmware/vmm-bios.

Судя по всему это собранный SeaBIOS:

SeaBIOS is an open source implementation of a 16bit X86 BIOS.

Со включенным внутрь sgabios модулем:

The Google Serial Graphics Adapter BIOS or SGABIOS provides a means for legacy x86 software to communicate with an attached serial console as if a video card were attached.

#seabios #sgabios

Набросал для себя скрипт, который показывает “большое и красное” i3-уведомление о низком заряде батареи: https://tildegit.org/continue/openbsd_i3_battery/src/branch/main/openbsd_i3_battery.sh

Вдохновлялся скриптом i3-battery-popup, но написал свой упрощенный для OpenBSD, забрав от изначального проекта звуковой файл для уведомления.

Запускать примерно так:

./openbsd_i3_battery.sh -l 20 -t 300 -s ./openbsd_i3_battery.wav

Где:

• -l 20 - порог срабатывания в процентах оставшегося заряда батареи (менее этого значения генерируются уведомления)
• -t 300 - частота проверки (и частота отображения уведомлений)
• -s ./openbsd_i3_battery.wav - путь к аудио-файлу, который воспроизводится при низком заряде батареи (если параметр не указывать, то уведомление будет показываться без звука)

#openbsd #i3 #i3wm

A brainf*ck (esoteric programming language) interpreter written in sed + m4 macros :flan_think:

https://github.com/faithanalog/sedfuck

Запись символов “ок” подменой целевого файла символической ссылкой:

“Cargo writes “ok” to the .cargo-ok file at the root of the extracted source code once it extracted all the files.

It was discovered that Cargo allowed packages to contain a .cargo-ok symbolic link, which Cargo would extract.”

Как-то не ладится у разработчиков Rust’а с символическими ссылками.

Тут нет проверки против классической “zip bomb”.

#rust #security

Google Online Security Blog: Use-after-freedom: MiraclePtr

Ох, не люблю брюзжать, но… статью можно сократить до:

“It’s hard, if not impossible, to avoid use-after-frees in a non-trivial codebase” “мы не можем писать без UAF…”

–

“When the application calls free/delete and the reference count is greater than 0, PartitionAlloc quarantines that memory region instead of immediately releasing it.” “… поэтому в очередной раз изобретём карантин для освобожденной памяти”.

Читаем дальше:

“We successfully rewrote more than 15,000 raw pointers in the Chrome codebase into raw_ptr<T>, then enabled BackupRefPtr for the browser process on Windows and Android (both 64 bit and 32 bit) in Chrome 102 Stable.”

Серьезно? У вас в коде было 15 тысяч сырых указателей, а вы изобретаете карантин для освобожденной памяти? Может стоит разобраться со схемой владения каждого объекта и обернуть его в умный указатель нужного типа?

А кто за это будет платить: правильно, конечный потребитель, который просто докупит еще железа:

“So we were able to spend some of those savings on security: MiraclePtr increased the memory usage of the browser process 4.5-6.5% on Windows and 3.5-5% on Android”

“On Windows, no statistically significant performance regressions were observed on most of our top-level performance metrics like Largest Contentful Paint, First Input Delay, etc. The only adverse change there1 is an increase of the main thread contention (~7%). On Android1, in addition to a similar increase in the main thread contention (~6%), there were small regressions in First Input Delay (~1%), Input Delay (~3%) and First Contentful Paint (~0.5%).”

И гуглу на это просто плевать:

“We don’t anticipate these regressions to have a noticeable impact on user experience, and are confident that they are strongly outweighed by the additional safety for our users.”

#security #cpp #uaf

@acedia

Опёнок будет под большим вопросом, если Тео отменят (ну или он сам отменится от проекта).

В #OpenBSD Theo de Raadt (deraadt@) внес на рассмотрение возможность создания неизменяемого memory mapping’а пользовательского режима:

mimmutable(void *addr, size_t len)

Такие memory mapping’и не могут быть размаппированы, нельзя выполнить mmap “поверх”, разрешения страниц в них не могут быть изменены.

"Guess I won't sleep tonight."

submitted by supervernacular
https://reddit.com/r/ProgrammerHumor/comments/x1a7o6/guess_i_wont_sleep_tonight/

Я как-то пропустил, что @codeberg запустил возможность хостить статические страницы: Codeberg Pages.

Выглядит как отличное место для лонгридов. #codeberg

Забавные времена настали: современные ОС портируют на 32-х битные платформы.

I have ported @redox_os to 32-bit x86, specifically to i686. In the process, the ease of porting Redox OS to other architectures has been greatly enhanced, and the aarch64 port has been improved (more details at a later time!).

#redox источник: @jeremy_soller