Методы расширения атрибутивного состава таблиц БД

Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.

https://habr.com/ru/companies/T1Holding/articles/903546/

#hadoop #spark #airflow #hive #HDFS #Apache_Parquet #ddl #sql #eav #json

Max severity RCE flaw discovered in widely used Apache Parquet
https://www.bleepingcomputer.com/news/security/max-severity-rce-flaw-discovered-in-widely-used-apache-parquet/
#ycombinator #computers #windows #linux #mac #support #tech_support #spyware #malware #virus #security #Apache #Apache_Parquet #Big_Data #RCE #Remote_Code_Execution #Vulnerability #virus_removal #malware_removal #computer_help #technical_support

DatabricksのUnity Catalogを利用してS3にDelta Lakeを構築する
https://dev.classmethod.jp/articles/databricks-unity-catalog-s3-delta-lake/

#dev_classmethod #Databricks #Amazon_S3 #Apache_Parquet #PySpark #AWS

DatabricksのUnity Catalogを利用してS3のデータを外部テーブルとして読み込んでみた
https://dev.classmethod.jp/articles/databricks-unity-catalog-s3/

#dev_classmethod #Databricks #Amazon_S3 #Apache_Parquet #Hive #AWS

firehoseを使ってs3にparquet形式でデータを保存する
https://dev.classmethod.jp/articles/firehose-s3-parquet/

#dev_classmethod #AWS #Amazon_Data_Firehose #Apache_Parquet #AWS_CDK #TypeScript #AWS_Glue

Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/

#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python

BigQuery で Parquet と CSV を比較してみる
https://dev.classmethod.jp/articles/bigquery-parquet-csv/

#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Apache_Parquet #CSV

ZIP-бомба в формате Apache Parquet

Давние хаброжители помнят, как в 2015 году ZIP-бомба в формате PNG ненадолго вывела из строя Habrastorage. С тех пор появились новые разновидности этого «оружия»: например, разработаны нерекурсивные и компиляторные бомбы (29 байт кода → 16 ГБ .exe). Подобного рода экспоиты можно встроить не только в формат ZIP или PNG, но и в других форматы файлов, которые поддерживают сжатие. Например, в формате Apache Parquet .

https://habr.com/ru/companies/globalsign/articles/864886/

#ZIPбомба #Apache_Parquet #DoSатака #Thrift

S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する
https://dev.classmethod.jp/articles/s3-parquet-get-schema-data/

#dev_classmethod #Python #Amazon_S3 #Apache_Parquet #Boto3

[Перевод] Выборочное удаление столбцов для повышения эффективности хранения в озерах данных

По мере роста Uber объем обрабатываемых данных и количество обращений к ним многократно возросли. Такое быстрое увеличение объема привело к росту затрат на хранение и вычислительные ресурсы. В результате мы столкнулись с различными проблемами, такими как повышенные требования к железу, увеличившееся потребление ресурсов, а также проблемами с производительностью из-за ошибок наподобие OOM (out-of-memory) и длительных пауз на сборку мусора. Для решения проблем было реализовано несколько инициатив, такие как: внедрение TTL (Time to Live) политик для партиций, внедрение многослойного хранилища с стратегиями для перераспределения данных из “hot”/”warm” до “cold” уровней хранения, а также оптимизации форматов хранения данных. В данной статье фокус будет на последней оптимизации - как сократить размер данных в рамках формата Apache Parquet™ за счет удаления не использующихся колонок большого размера.

https://habr.com/ru/articles/784372/

#apache_parquet #data_lake #data_processing #storage