[GGML·llama.cpp, Hugging Face 합류

Hugging Face가 llama.cpp와 GGML 엔진의 핵심 개발자 Georgi Gerganov을 인수하며, 오픈소스 로컬 AI 생태계의 두 축이 통합되었습니다. 이는 로컬 LLM 실행의 표준 엔진인 llama.cpp와 GGML 기반 기술을 통해 중앙 서버 의존 없이 고품질 LLM을 로컬에서 실행할 수 있는 인프라를 강화하는 방향성을 의미합니다.

https://news.hada.io/topic?id=26954

#huggingface #llama.cpp #ggml #openai #llm

GGML·llama.cpp, Hugging Face 합류, 로컬 추론 오픈소스 단일화

https://aisparkup.com/posts/9490

https://winbuzzer.com/2026/02/21/ggmlai-joins-hugging-face-long-term-open-source-local-ai-xcxwbn/

Open-Source llama.cpp Finds Long-Term Home at Hugging Face

#AI #HuggingFace #AIInference #OpenSourceAI #OnDeviceAI #GGML #LlamaCpp #LocalAI #GeorgiGerganov

Simon Willison (@simonw)

ggml.ai가 Hugging Face에 합류했다는 소식을 공유. Hugging Face는 Transformers 오픈소스 라이브러리의 주요 관리자로, 이번 합류는 로컬 모델 생태계 발전에 긍정적인 기대를 모음. ggml.ai는 3월부터 로컬 모델 혁신을 이끌어 온 조직으로, 오픈소스 기반 AI 모델 개발의 새로운 전환점을 의미함.

https://x.com/simonw/status/2024895405146997002

#huggingface #ggml #opensource #transformers #localai

Ettore Di Giacinto (@mudler_it)

ggml-org의 오픈소스 프로젝트 'llama.cpp' 관련 GitHub PR(및 코멘트)을 링크하며 중요한 변경이나 논의가 있음을 시사합니다. llama.cpp는 LLaMA 계열 모델 실행을 위한 경량 C++/ggml 기반 라이브러리로, PR 업데이트나 토론은 오픈소스 추론·호환성 향상과 관련된 중요한 이슈일 가능성이 큽니다.

https://x.com/mudler_it/status/2021505757284614607

#llama.cpp #ggml #opensource #inference

Aivan Monceller (@aivandroid)

llama.cpp(ggml_org)가 Anthropic API를 네이티브로 지원하기 시작했다는 개발자 도구 업데이트입니다. 이를 통해 GLM-4.7-Flash( Zai_org )를 Claude Code 내에서 프록시 없이 사용 가능해졌고, UnslothAI의 4비트 양자화 설정을 3090 GPU에서 테스트 중이라는 내용입니다.

https://x.com/aivandroid/status/2014216608462630924

#llama.cpp #anthropic #glm4.7 #quantization #ggml

Deli (@deligong)

Claude Code와 GLM-4.7-Flash(Q8_K_XL)를 이용해 llama.cpp 기반으로 Flappy Bird를 재구현했다고 보고합니다. 64GB MacBook Pro(M4)에서 로컬 모델로 실행했으며 속도는 빠르지 않지만 로컬 모델 치고 코드 품질이 매우 뛰어나다고 평가합니다. 로컬 LLM 실용성 및 코드 품질 시연 사례입니다.

https://x.com/deligong/status/2014019829968281996

#localllm #claude #glm4.7flash #llama.cpp #ggml

🆕 Học GGML ở đâu? 📚
Muốn xây dựng các mô hình lớn với thư viện GGML cho sử dụng tại chỗ. Đã xem qua phần giới thiệu nhưng vẫn chưa rõ tiếp theo phải làm gì. Các ví dụ từ các triển khai như whisper.cpp, llama.cpp vẫn còn rất khó hiểu. Do thư viện đang trong quá trình phát triển nên chưa có tài liệu hướng dẫn chi tiết. Mục tiêu là chuyển đổi các mô hình được tạo ra từ các thư viện như Tensorflow, PyTorch hoặc VLLM sang GGML.

Tags: #MachineLearning #GGML #LocalModels #HọcGGML #TensorFlow #PyTor

"Llm-swap bị hserw khi kết nối với modelo llama.cpp và gpt-oss-20b-GGUF. Backend chạy ổn định nhưng llama-swap всегда dừng ở 'starting'. Thử sửa chat template không hiệu quả. Ai có trải nghiệm hoặc lời khuyên? #LLaMA #llama-swap #ggml #hộp-giving-model #Chống-xa-XAY #trí-xử #môoura nguồn #llama-cpp #gpt-oss-20b-GGUF"

https://www.reddit.com/r/LocalLLaMA/comments/1oa4uev/using_llamaswap_with_llamacpp_and_gptoss20bgguf/

Live Captions for Linux with GGML

https://peertube.futo.org/videos/watch/7f164655-b893-4704-a585-eb1d741d5312

Георгий Герганов, автор llama.cpp и звукового кейлогера

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.

https://habr.com/ru/companies/ruvds/articles/923304/

#llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра

Георгий Герганов, автор llama.cpp и звукового кейлогера

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.

https://habr.com/ru/companies/ruvds/articles/923304/

#llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра

Trying LiveStream on #ggml AI/ML Tensor library. Join me.
https://youtube.com/live/jl9fFY0JNuY?feature=share

Just discovered ggml, a new machine learning library focused on Transformer inference! Minimal, easy to compile, and lightweight - perfect for on-device LLM. Excited to see how it evolves! #ggml #MachineLearning

https://huggingface.co/blog/introduction-to-ggml

If anyone is interested in converting PyTorch models to GGML, I have a new blog post on the subject, complete with example code.

https://balisujohn.github.io/converting-pytorch-to-ggml/

#PyTorch #ggml #opensource

用 llama.cpp 玩 Mistral 7B Instruct，補一下 llama.cpp 的發展

看到「Workers AI Update: Hello Mistral 7B」這篇想到的，先前有提到「號稱目前最強的 Mistral 7B」，加上

https://blog.gslin.org/archives/2023/11/23/11476/%e7%94%a8-llama-cpp-%e7%8e%a9-mistral-7b-instruct%ef%bc%8c%e8%a3%9c%e4%b8%80%e4%b8%8b-llama-cpp-%e7%9a%84%e7%99%bc%e5%b1%95/

#Computer #Murmuring #Software #7b #ai #deep #dnn #embedding #ggml #gguf #gpu #instruct #learning #llama #llamacpp #machine #mistral #model #network #neural #nn #opencl

I made a first test of Llama 2 13B, in a 6-bits quantized version (thanks, #ggml )

It's good-to-excellent in various tasks: summarization, translation (I tried EN, IT, FR), NER with semantic filters.

AND it runs on a CPU-only installation on an Intel, at decent speed. 👏

https://huggingface.co/localmodels/Llama-2-13B-Chat-ggml

#llm #webui

🌗 GitHub - Maknee/minigpt4.cpp: C++中的MiniGPT4端口（使用GGML進行4位、5位、6位、8位、16位CPU推理）
➤ 這是一個關於在C++中運行MiniGPT4的端口，使用GGML進行4位、5位、6位、8位和16位CPU推理的庫。
✤ https://github.com/Maknee/minigpt4.cpp
這是一個關於在C++中運行MiniGPT4的端口，使用GGML進行4位、5位、6位、8位和16位CPU推理的庫。
+ 這個庫看起來很有用，我想試試看在我的C++項目中使用MiniGPT4模型。
#C++ #機器學習 #深度學習 #cpp #量化 #多模態 #ggml #minigpt4

Currently trying out locally this #GGML with my #llamacpp + Python wrapper API server :

https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML

#huggingface #llama #llama2 #gpt #transformers