Смотрим под капот объектному хранилищу VK Cloud: что скрывает архитектура Object Storage

Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища. Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней.

https://habr.com/ru/companies/vktech/articles/917190/

#vk_cloud #s3 #объектное_хранилище #vk_tech #object_storage #хранилище_данных #tarantool

Приоткрываем завесу: о принципах работы дисковых хранилищ VK Cloud

Инфраструктурный слой большинства облачных платформ — та часть айсберга, которая остается глубоко под водой и никогда не видна простым обывателям. Вместе с тем именно IaaS-сервисы в целом и дисковые хранилища в частности являются основой для построения пользователями своих инфраструктур в облаке. Привет, Хабр. Меня зовут Василий Степанов. Я руководитель команды разработки Storage в VK Cloud. В этой статье я расскажу о том, как устроено наше дисковое хранилище: какие диски используются в VK Cloud и как мы с ними работаем.

https://habr.com/ru/companies/vk/articles/916036/

#vk_cloud #SDS #дисковые_хранилища #vk_tech #HighIOPS #softwaredefined_storage #виртуальная_машина #виртуализация #ceph

Как перестать беспокоиться и начать внедрять интеграционные тесты

Автотесты — это важная часть нашей работы, именно они помогают в ее ускорении и снимают рутинную работу с наших тестировщиков. Быстрее проверки, меньше зависимости от человеческого фактора, меньше риск ошибок. А еще (хоть это и не доказано), думаю, автотесты положительно влияют на наш сон. Спится спокойнее, когда покрыты все важные сценарии. Для всех этих плюсов необходимо не только наличие автотестов, но и возможность добавлять новые, обновлять их и регулярно запускать. Привет! Меня зовут Александра Смирнова, я старший фронтенд-разработчик в команде Календаря, VK WorkSpace. На момент начала работы нашей команды в B2B-Календаре для нашего окружения не было отдельных тестов. Мы прошли непростой путь, перед тем как начать писать тесты для B2B-окружения. Хотим рассказать, как встроили наши тесты в существующую инфраструктуру и наладили процессы для их стабильного прохождения. Для краткости я буду называть их «автотесты» или просто «тесты», имея в виду именно интеграционный вид тестирования. Про автотесты

https://habr.com/ru/companies/vk/articles/914906/

#vk_cloud #автотесты #тестирование #интеграционные_тесты #vk_workspace #vk_tech

От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами

Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют особого подхода — например, из-за необходимости подстраивать формат отображения данных под специфику работы с информацией на стороне партнера. Более специфической такая задача становится, если готовых решений под такие запросы нет. С подобной ситуацией сталкивались и мы в VK. Меня зовут Елена Климанова. Я ведущий дата-аналитик в компании VK. В этой статье расскажу, как и почему мы прошли путь от использования excel-файлов при работе с внешними партнерами-вендорами до создания собственного продукта.

https://habr.com/ru/companies/vk/articles/911960/

#vk_cloud #анализ_данных #хранение_данных #BI #clickhouse #airflow #mytracker #redash

От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами

Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют особого подхода — например, из-за необходимости подстраивать формат отображения данных под специфику работы с информацией на стороне партнера. Более специфической такая задача становится, если готовых решений под такие запросы нет. С подобной ситуацией сталкивались и мы в VK. Меня зовут Елена Климанова. Я ведущий дата-аналитик в компании VK. В этой статье расскажу, как и почему мы прошли путь от использования excel-файлов при работе с внешними партнерами-вендорами до создания собственного продукта.

https://habr.com/ru/companies/vk/articles/911960/

#vk_cloud #анализ_данных #хранение_данных #BI #clickhouse #airflow #mytracker #redash

[Перевод] Пару слов о «ломаном» универсальном ИИ: o3, Gemini 2.5 и туманное будущее

Сегодня в мире ИИ-бум. Но мы до сих пор не знаем, как измерять интеллект, креативность или эмпатию этих систем. Тесты, которыми мы пользуемся, далеки от идеала. Но самое главное — они изначально создавались не для ИИ, а для человека. Команда VK Tech перевела статью о том, что такое универсальный ИИ, как вообще тестировать и «измерять» искусственный интеллект и как на самом деле неравномерно распределяются его возможности и способности.

https://habr.com/ru/companies/vktech/articles/909958/

#vk_cloud #ии #o3 #Gemini_25_OpenAI #gpt #vk_tech

Do as I do: алгоритм размещения сервисов внешних поставщиков в Маркетплейсе VK Cloud

Закономерный этап развития Cloud Native — стремление компаний иметь возможность получения быстрого и простого доступа к инструментам и технологиям под разные кейсы и бизнес-сценарии. Поэтому большинство современных облачных платформ строится на концепции предоставления пользователям всех нужных ресурсов и инструментов в формате «единого окна». И основной способ реализации этой концепции — построение каталогов приложений.

https://habr.com/ru/companies/vk/articles/909660/

#vk_cloud #маркетплейс #cloud_native #облачные_технологии #saas #saas_сервисы #vk_tech #микросервисы #terraform

[Перевод] Тестируем особенности искусственного интеллекта: o3, GPT-4.1 и o4-mini

Искусственный интеллект в последнее время постоянно радует нас разными новостями и новыми моделями. Команда VK Tech перевела статью со сравнением трех новых моделей — это поможет понять, какую же использовать для каких задач и чем модели по-настоящему отличаются друг от друга. Дальше передаем слово авторам оригинальной статьи.

https://habr.com/ru/companies/vktech/articles/909326/

#vk_cloud #ии #o3 #gpt41 #o4mini #openai #gpt

Миф о дешевом железе: полный расчет стоимости КХД для облака и локальных решений

Корпоративное хранилище данных (КХД) — один из ключевых компонентов любой ИТ-системы, который необходим для безопасного хранения и использования всех данных компании. Но построение КХД нередко превращается в «задачу со звездочкой» еще на этапе выбора платформы для развертывания: многим компаниям сложно определить, какой из вариантов будет не только надежнее, но и дешевле. В этой статье попробуем в деталях и на примерах разобрать, какой вариант развертывания экономически рентабельнее и что стоит учитывать при выборе платформы для построения КХД. Материал подготовлен директором центра бизнес-решений VK Tech Константином Дудниковым и директором по развитию облачного бизнеса Группы Arenadata Антоном Близгаревым @beton55.

https://habr.com/ru/companies/vk/articles/899562/

#vk_cloud #arenadata #хранение_данных #кхд #vk_tech

Не только React: сравнительный анализ React и Jmix для написания UI бизнес-приложений

Раньше, когда трава была зеленей, а доллар стоил 30, в мире enterprise-разработки преимущественно использовались десктопные приложения. Если вспомнить, как выглядели пользовательские интерфейсы в то время, то перед глазами возникает грустная и серая картина из кучи таблиц, кнопок, форм и бесконечно открывающихся экранов поверх других экранов. Также не забудем про тот факт, что бизнес довольно сдержанно относится к любым изменениям, особенно если они требуют дополнительных трат. Из всего этого можно сделать вывод, что красивого UI бизнес-приложений не могло существовать в то время. Однако современные фреймворки, такие как React, позволяют довольно быстро построить красивый и функциональный интерфейс. Но React'ом ли единым? Есть ли другие инструменты для эффективного написания бизнес-приложений? VK Cloud — облачная платформа, объединяющая современные технологии для разработчиков и бизнеса, нацеленных на эффективное внедрение инновационных решений. В сотрудничестве с партнерами, такими как JMIX, мы стремимся делиться практическим опытом, который помогает компаниям ускорять процесс разработки и оптимизировать затраты на сопровождение приложений. В этой статье мы представляем материал, подготовленный экспертами JMIX и посвященный подходам и лучшим практикам разработки приложений.

https://habr.com/ru/companies/vktech/articles/897474/

#react #vk_cloud #jmix #ui

Объектное хранилище S3: практическое руководство без лишних слов

Объектное хранилище S3 стало стандартом для работы с большими объемами данных в облаке. Оно позволяет хранить файлы любого типа, легко управлять доступом и интегрироваться с другими сервисами. Но давайте без маркетинговых лозунгов: зачем это действительно нужно? Меня зовут Станислав Погоржельский, я технологический евангелист VK Cloud, и в том числе в рамках своей работы рассказываю про наши облачные и on-prem решения. В этой статье мне захотелось поделиться, как именно объектное хранилище S3 помогает решать реальные задачи.

https://habr.com/ru/companies/vktech/articles/892234/

#vk_cloud #s3 #cloud_storage #объектное_хранилище

Оптимизация промышленных видеокарт для машинного обучения и нюансы тюнинга на примере A30, A100, L4 и L40s

Чтобы эффективно осваивать вложенные в покупку или аренду GPU ресурсы, важно использовать весь потенциал видеокарт. Первые сложности возникают при настройке оборудования в контексте его потенциальных возможностей. С одной стороны — недостаточная утилизация ресурсов, с другой — бесконечное горизонтальное масштабирование и кратное удорожание ИТ-инфраструктуры. В этой статье мы разберем базовые принципы и настройки оптимизации проверенных моделей GPU, чтобы эффективнее справляться с задачами машинного обучения. Посмотрим, как настраивать драйверы и библиотеки, управлять памятью, активировать Tensor Cores для ускорения вычислений, использовать технологию MIG для распределения задач и проводить разгон GPU для получения максимальной производительности. Следуя этим рекомендациям, вы сможете ускорить вычислительные процессы и сократить затраты на оборудование, увеличив эффективность работы с большими данными. Разбираться будем на примерах популярных моделей NVIDIA: A30, A100, L40s и L4. Хочу больше знать

https://habr.com/ru/companies/vk/articles/885620/

#gpu #llm #ai #vktech #vk #vk_cloud #видеокарты #оптимизация #облачные_вычисления #nvidia

Каталог каталогов

Каĸ часто Вы просматриваете содержимое ĸаталога в Linux, BSD*, MacOS? Возможно ĸаждый день, или даже час. А задумывались ли вы над тем, ĸаĸ появились ĸаталоги . и .. ? Каĸово происхождение их названий? В один из вечеров за написанием ĸода я этим заинтересовался и стал исĸать.

https://habr.com/ru/companies/vk/articles/879456/

#vk_cloud #ITистория #nix

Быстрее некуда: собираем удобный поиск по коду из нескольких CLI-утилит

Мы никогда не читаем код как книгу — мы выбираем только конкретные интересующие места. Такие места обычно запоминаются ассоциативно, например по имени функции, строковому литералу, импорту библиотеки, комментарию и т. д. Перейти от ассоциации к файлу, а тем более к конкретной строчке кода не всегда легко. Особенно если оперируешь большим количеством проектов с активно меняющейся кодовой базой. В таких случаях выручает удобный инструмент текстового поиска. Эффективность такого инструмента определяется как скоростью работы, так и удобством использования. В частности, кастомизация под себя позволяет разгрузить мышление и включить «мышечную память» — когда руки сами нажимают кнопки, а все внимание сосредоточено на обработке результатов поиска. Не все инструменты позволяют провести такую тонкую настройку. В этой статье мы с вами поищем серебряную пулю, попробуем достичь сочетания скорости и удобства в виде собранного из кросс-платформенного опенсорса поисковика.

https://habr.com/ru/companies/vk/articles/858284/

#vk_cloud #cli #go

Создание кастомного балансировщика нагрузки на Go для gRPC с приоритизацией адресов

В процессе разработки микросервисных приложений часто необходимо наладить эффективную и быструю коммуникацию между сервисами. Разработанный Google gRPC предоставляет высокопроизводительный фреймворк для организации такого взаимодействия. Однако стандартные балансировщики нагрузки в gRPC не всегда удовлетворяют специфическим требованиям, особенно когда требуется приоритизация адресов для минимизации сетевых задержек и обеспечения отказоустойчивости. В этой статье я поделюсь опытом создания кастомного балансировщика нагрузки на Go для gRPC, который использует приоритеты адресов для выбора наилучшего соединения. Это решение позволяет гибко управлять распределением клиентских запросов между серверами с разными уровнями доступности и обеспечивает подключение к оптимальному ЦОД с минимальными задержками.

https://habr.com/ru/companies/vk/articles/858290/

#vk_cloud #go #grpc #микросервисы #балансировщики

Data catalog: от истории до сравнения решений

Прийти и по запросу быстро найти нужные данные — идеальный сценарий. Но он практически невозможен при условии использования множества баз данных и хранилищ. В реальных условиях без «надстройки» над всеми БД и «единой точки входа» команды вынуждены тратить время на исследование разных хранилищ, их каталогов и подкаталогов в поиске нужных файлов без какой-либо гарантии успешного результата. Такой «надстройкой» являются каталоги данных. Меня зовут Юрий Орлов, я тимлид команды ML Platform. В этой статье я подробно разберу, что такое каталоги данных и какие они бывают, а также расскажу о нашем выборе инструмента для построения каталога под запросы аналитиков данных.

https://habr.com/ru/companies/vk/articles/857894/

#vk_cloud #каталоги_данных #data_catalog #big_data

[Перевод] Чего на самом деле стоит ждать от ИИ и почему он начнет приносить прибыль раньше, чем кажется

Команда VK Cloud перевела интервью с Эйданом Гомесом, генеральным директором и соучредителем компании Cohere. Cohere — один из самых обсуждаемых стартапов в сфере ИИ на данный момент, но его ориентир чуть отличается от многих других. В отличии, например, от OpenAI, он вовсе не производит потребительские продукты. Вместо этого Cohere сосредотачивается на корпоративном рынке и создает ИИ-продукты для крупных компаний. Из интервью вы узнаете, в чем особенности такого подхода, что ИИ может, а чего не может, и что происходит на корпоративном рынке искусственного интеллекта.

https://habr.com/ru/companies/vk/articles/854260/

#vk_cloud #ml #ии #openai

Когда существующих решений недостаточно: сложности построения собственных СУБД

Нередко оказывается, что даже в большом «зоопарке» общедоступных решений нет инструмента, отвечающего всем требованиям. В таком случае команды вынуждены двигаться в сторону разработки своего продукта. Меня зовут Александр Кленов. Я тимлид разработки Tarantool DB в команде Tarantool. В этой статье я расскажу, почему мы решили добавить в свой продуктовый портфель Tarantool DB и что реализовали в инструменте, а также покажу на примере словарей, почему строить свою СУБД сложно.

https://habr.com/ru/companies/vk/articles/844884/

#tarantool #vk_cloud #mysql #СУБД

[Перевод] Шестая платформа данных: новое слово в хранении и обработке данных

Скорее всего, в ближайшие 3–5 лет появятся новые интеллектуальные приложения для работы с данными, и для них понадобится новый тип современной платформы. Мы называем ее «шестая платформа данных». Раньше описывали эту концепцию при помощи метафоры « Uber для всех ». Так мы называли системы программного обеспечения для цифрового представления бизнеса. Разные данные, например о людях, местах и объектах, поступают в эту модель и объединяются в ней в связное целое. Исходя из этой информации, компании принимают решения и действуют в реальном времени. Мы утверждали, что это будет коммерческая готовая к использованию программа — в каждом конкретном случае не понадобится нанимать тысячи разработчиков, которые будут создавать кастомное решение. Команда VK Cloud перевела статью об этой самой «шестой платформе данных». Это переработка подкаста Breaking Analysis с гостем Райаном Блю — одним из создателей и председателем комитета по управлению проектами Apache Iceberg. Он соучредитель и генеральный директор компании Tabular Technologies Inc. , основанной создателями Iceberg и разработавшей универсальное открытое табличное хранилище, которое подключается к любому уровню вычислительных ресурсов.

https://habr.com/ru/companies/vk/articles/834964/

#платформа #платформа_данных #vk_cloud #базы_данных

Тестирование VDS-серверов

Привет, Хабр! Недавно я писал статью с обзором хостинг‑провайдеров VDS‑серверов, где поделился своими общими впечатлениями о самих провайдерах, их тарифах, дополнительных услугах и т. д. Сегодня в статье я хотел бы поговорить именно о самих серверах, оценить их производительность по таким критериям, как процессор, оперативная память, диск и скорость интернета.

https://habr.com/ru/articles/831502/

#хостинг #выбор_хостинга #VDS #FirstVDS #RUVDS #Timeweb #VDSina #VK_Cloud