The reason I made a sample dataset was that I thought it was a bit sluggish querying the GeoPackage file from DuckDB. The query in the image took 2.56 s on the GeoPackage file. I now tried to save the entire dataset into a Parquet file (sorted on county and municipality) and compressed with ZSTD. The same query takes 0.0140s.
Also the Parquet file is 141 MiB compared to 1.18 GiB for the GeoPackage file. The Parquet file is smaller than the original zip file with the GeoPackage file.
👨💻 DataTUI - інструмент командного рядка для перегляду та аналізу файлів даних різних форматів через зручний текстовий інтерфейс.
Основні можливості:
• Підтримка #CSV, #JSON, #Excel, #SQLite, #Parquet
• Швидка навігація та фільтрація даних
• Інтуїтивний текстовий інтерфейс
Платформа: Windows/macOS/Linux
House with land - Guaira Paraguay 💓
#Itati is a beautiful spot with a bathing #lake and natural swimming #pool. The area around the #Piramides 🔺 Naturales is considered one of the most #beautiful areas of Paraguay.
open #living/dining area
#guest toilet/shower
#HWR
#parquet flooring
#Melgarejo 20 min
#Planta Urbana 30 min
199.000 €
Rooms: 5
Living space: 155m²
Plot: 2.000m²
#Guaira #Paraguay 🇵🇾
https://www.bluehomes.com/PPY0057/en/House-with-land/expose.html
- el executor nf-nomad de #nextflow empieza a ganar popularidad con casi 1000 descargas y (creo) es el más usado de los executors "no oficiales"
- el plugin #parquet de #nextflow ya está por las 500 descargas. Espero que el año que viene sea el del plugin de #aspera , creado este Q4
y no sólo de proyectos desplegados vive el hombre:
2/3
We've created a way to display interactive maps in the browser, completely client-side! #gis #gischat
Drop your data in as #csv or #apache #parquet file, and your vector shapefile as a #geojson, and your map is ready to go!
It's hosted on #GitHub pages (so it's free!) but can be embedded anywhere
Tutorial:
https://odissei-soda.nl/tutorials/map-explorer/
Example:
https://sodascience.github.io/map-explorer/
(we tried out @penpot in the design process!)
Nicolás Madrid S.L. es una empresa especializada en trabajos con madera, ubicada en España. Ofrecemos reformas de viviendas y diseñamos y fabricamos cocinas, muebles y elementos de decoración. Con más de 2000 m2 de exposición, nuestro equipo se dedica a transformar espacios en lugares cómodos y funcionales, utilizando los mejores materiales del mercado. #Carpintero #Construcciónyreformas #Panelesdemadera #Parquet/Suelosdemadera
Sometime between Boxing Day and New year last year I decided to look at these datasets again and wanted to have the data available as Parquet files for easier consumption. I started as usual to write a script to unzip and use a SAX parser to read the XML data and then populate an in-memory database with the values.
I could have been satisfied to have processed 30 years’ worth of speeches in two minutes but instead I had the gnawing thought that most of the CPU sat unused while I read the file through one core. So, I decided to parallelize the XML parsing bit and now we were looking at under 30 seconds instead of two minutes.
Как мы строили хранилище на 70 ПБ данных и не планируем останавливаться
Привет, сегодня я расскажу о том, как наша команда строила платформу обработки и хранения данных для обучения GenAI-моделей в Сбере, и как мы выросли до 70 ПБ сырых данных. Меня зовут Александр, я работаю в Сбере и два года занимался развитием этой платформы.
Votre parquet est posé, mais il manque LA touche finale ? Les PLINTHES ! 😱 La coupe des angles vous terrorise ?
Pas de panique ! On a créé LE guide du débutant pour des finitions dignes d'un pro.
#poserdesplinthes #bricolage #diy #renovation #travauxmaison #finition #parquet #astucebricolage #decorationinterieur #outillage #menuiserie
https://lemagdesastuces.fr/comment-poser-des-plinthes-guide-facile/
Casser votre vieux carrelage ? LA GALÈRE ! 😩 Et si on vous disait que vous pouviez le recouvrir directement avec un magnifique parquet flottant ?
Oui, c'est possible ! Mais ATTENTION, il y a 3 règles d'or à respecter pour éviter la catastrophe. On a créé LE guide pour un chantier sans poussière et sans regret.
#parquet #renovation #bricolage #travaux #diy #decorationinterieur #carrelage #astucebricolage #maison #avantapres #parquetflottant
https://lemagdesastuces.fr/poser-un-parquet-flottant-sur-du-carrelage/
La pose du parquet, ça allait... jusqu'à l'arrivée du premier mur ! 😱 La découpe, c'est votre cauchemar ?
On a créé LE guide pour transformer cette étape stressante en un jeu de précision.
#parquet #bricolage #diy #renovation #travauxmaison #parquetflottant #sciesauteuse #astucebricolage #outillage #decorationinterieur #tutoriel
https://lemagdesastuces.fr/comment-decouper-un-parquet-flottant-proprement/
Exploring #PostgreSQL to #Parquet archival for #JSON data with #S3 range reads https://www.shayon.dev/post/2025/276/exploring-postgresql-to-parquet-archival-for-json-data-with-s3-range-reads/
Three new CLI tools to inspect #Parquet files:
- DataFusion CLI: https://datafusion.apache.org/user-guide/cli/overview.html
- Datanomy: https://github.com/raulcd/datanomy
- parqeye: https://github.com/kaushiksrini/parqeye
---
Do you know other tools or resources around parquet? Contribute to https://github.com/severo/awesome-parquet.
🌖 透過終端機直觀檢視 Parquet 檔案：parqeye 工具介紹
➤ 直接在終端機中，深入探索你的 Parquet 檔案
✤ https://github.com/kaushiksrini/parqeye
parqeye 是一個強大的終端機應用程式，讓使用者能夠直接在終端機介面中，輕鬆檢視 Parquet 檔案的內容、結構和元數據。它提供了互動式數據視覺化、結構檢視器、檔案和列羣組的元數據資訊，以及分頁介面，方便使用者快速切換不同檢視模式。安裝簡單，可透過直接下載或從原始碼建置。
+ 這個工具太棒了！再也不用為了看 Parquet 檔案的內容而開啟複雜的 GUI 工具了，直接在終端機就能完成，效率提升不少。
+ 對於處理大量數據的開發者來說，parqeye 絕對是必備工具。能夠快速檢查 schema 和 row group 資訊，對於除錯和優化非常有幫助。
#資料檢視 #Parquet #終端機工具 #Rust
Parqeye – A CLI tool to visualize and inspect Parquet files
https://github.com/kaushiksrini/parqeye
#HackerNews #Parqeye #Parquet #CLI #DataVisualization #DataTools #OpenSource
I discover DuckLake !
"DuckLake delivers advanced data lake features without traditional lakehouse complexity by using Parquet files and your SQL database. It's an open, standalone format from the DuckDB team."
Online GeoParquet Visualizer: For day 7 of the #30DayMapChallenge on the topic of #accessibility, @DomeGIS released the #GeoParquet Visualizer. The GeoParquet Visualizer is a free and open-source web tool built with #MapLibre and #parquet-#wasm that lets users view, style, and share GeoParquet and Parquet datasets directly in the browser. https://spatialists.ch/posts/2025/11/11-online-geoparquet-visualizer/ #GIS #GISchat #geospatial #SwissGIS
Оптимизация производительности запросов: мощный тандем StarRocks и Apache Iceberg
Apache Iceberg — табличный формат для озёр данных с поддержкой ACID, Schema Evolution, Hidden Partition и версионирования, но при больших метаданных и работе через S3 страдает планирование запросов и латентность. В связке со StarRocks мы показываем, как распределённый Job Plan, Manifest Cache, CBO с гистограммами, Data Cache и материализованные представления выводят lakehouse‑аналитику на уровень DWH: снижают накладные расходы на метаданные, ускоряют планы и выполнение, а запись обратно в Iceberg сохраняет единый источник истины. Разбираем архитектуру Iceberg, типовые узкие места и практики оптимизации на StarRocks 3.2–3.3, включая кейс WeChat/Tencent.
https://habr.com/ru/articles/963410/
#apache_iceberg #starrocks #lakehouse #data_analysis #data_lake #parquet #manifest #materialized_views
