I was going crazy trying to track my runaway costs while using #Openclaw. I use #openrouter, but it doesnt make it easy to generate reports. the best data is not over api, but only downloadable from the web interface.
So i finally installed and wrestled with a #litellm proxy, then using a management api could get all the data for a key, and get this emailed to me at the end of the day.

#ai

LM Studio and Claude Code

Which means you can use with gguf (and mlx) locally.

https://lmstudio.ai/blog/claudecode

I have #litellm setup which also sets the Anthropic-compatible /v1/messages endpoint, with any model.

Use #OpenCode Zen (supports BYOK now) or #Ollama Cloud if you need other models and don’t have the hardware to run them locally. Current favorite GLM 4.7, and for lighter tasks the fantastic lomo-3 on a local Ollama.

I tried #LiteLLM as a proxy to collect data from multiple inference providers, with the goal of building a dataset to retrain smaller models.

But the UI is basically unusable for me (can’t add providers).
I'm currently trying to install an alternative, Bifrost, which I discovered in a post on dev.to.

👉 What do you use to proxy + log + store #LLM requests/responses cleanly?

#AI #ArtificialIntelligence

🎯 Zero accuracy loss - preserves what matters: errors, anomalies, high-scoring items & query-relevant content using BM25/embedding similarity

✅ Full provider support: #OpenAI, #Anthropic, #Google, #Cohere, #Mistral & #LiteLLM with exact token counting

📈 Performance: Search results (1000 items) 45K→4.5K tokens (90%), Log analysis 22K→3.3K tokens (85%), API responses 15K→2.25K tokens (85%)

🚀 Ứng dụng mã nguồn mở chuyển giọng nói thành văn bản, chạy trên Linux & Windows! Dùng sherpa‑onnx + liteLLM, hỗ trợ từ vựng tùy chỉnh, xử lý thông minh qua LLM (loại bỏ "um", sửa ngữ pháp) và chạy mô hình Whisper hoặc Nvidia Parakeet. Mã nguồn và bản phát hành có trên GitHub. #OpenSource #VoiceToText #Linux #Windows #AI #LLM #sherpa #liteLLM

https://www.reddit.com/r/LocalLLaMA/comments/1ql5cba/i_built_an_open_source_voicetotext_app_using/

Or Hiltch (@_orcaman)

OpenWork AI 팀이 여러 통합을 발표했습니다. AWS가 기여한 Amazon Bedrock 통합, DeepSeek AI에 대한 네이티브 통합, OpenRouterAI 및 LiteLLM과의 통합이 추가되어 다양한 LLM 백엔드, 라우팅 솔루션 및 경량 LLM과의 연동을 지원합니다. 개발자들이 여러 서비스와 손쉽게 연결해 활용할 수 있는 업데이트입니다.

https://x.com/_orcaman/status/2013664951173300683

#amazonbedrock #aws #openrouter #litellm #deepseek

New Relic と LiteLLM Proxy と OpenTelemetry
https://qiita.com/shohei_yamamoto/items/411fb286dfe017fc8960?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #NewRelic #opentelemetry #NRQL #LLM #litellm

AI 코딩 도구, 개발 생산성 76% 높였다: 2025 현황 보고서

https://aisparkup.com/posts/7504

**LiteLLM có thực sự ổn định?** Người dùng chia sẻ trải nghiệm về những hiện tượng ngừng hoạt động bất thường khi kết nối các mô hình cục bộ qua LiteLLM. Một số vấn đề được phản hồi: có lệnh hoạt động, có lệnh thì mô hình lại không hiển thị. Cộng đồng đang tranh luận đây là lỗi cá nhân hay vấn đề chung của công cụ này so với Haproxy. #LiteLLM #LocalLLM #AI #CôngNghệ #StabilityAI #MôHìnhLậpDung #LocalLLaMA

(Trích từ thảo luận trên Reddit r/LocalLLaMA)

https://www.reddit.com/r/LocalLLaMA/comme

Используем несколько нейронок безопасно и через единый интерфейс. Инструкция по внедрению LiteLLM

Есть несколько очевидных проблем с LLM: утечка конфиденциальных данных и кода, компрометация токенов, зависимость от внешних провайдеров. О них знают все, но это никого не останавливает. Даже если руководитель решит перестраховаться и не выделит деньги на LLM, сотрудники купят подписку сами и продолжат ими пользоваться, потому что это удобно. Есть и менее очевидные сложности: например, одна команда может потратить все токены, и их придется докупать. Привет, я Павел Мохляков. Вообще я Data Science-инженер в Cloud.ru , но сегодня решил, почему бы не рассказать как с помощью LLM-шлюза можно использовать несколько LLM через один API и при этом снизить риск утечки данных, контролировать расходы и соблюдать требования №152-ФЗ. Кроме того, покажу пример тестового подключения и объясню, что делать на каждом этапе. Сразу оговорюсь, что статья будет полезна, скорее всего, инженерам, архитекторам, да и просто человекам-оркестрам из средних и малых компаний, которым нужно относительно быстро и безопасно внедрить у себя LLM. А вот для крупного бизнеса или, например, КИИ явно нужно что-то другое — посерьезнее и понадежнее.

https://habr.com/ru/companies/cloud_ru/articles/972148/

#litellm

Cộng đồng đang tìm kiếm công cụ benchmark tốt nhất cho các cổng AI LiteLLM và mô hình. Các tiêu chí quan trọng bao gồm TTFT, tốc độ xuất token, độ chính xác, và kiểm tra dưới áp lực. Bạn có biết công cụ "plug and play" nào không?

#AI #Benchmarking #LiteLLM #LLM #Tools #ArtificialIntelligence #ĐánhGiáAI #CôngCụAI #HọcMáy

https://www.reddit.com/r/LocalLLaMA/comments/1pduptm/best_current_benchmarking_tool/

Voláte AI LLM API napřímo? Zkuste knihovnu nebo proxy přístup — #LiteLLM (Python) či #Prism (Laravel).
Jednotné API pro různé AI providery, méně boilerplate, víc přehlednosti + LiteLLM zvládne běžet i jako proxy server jen s config souborem 😎

Bifrost, một LLM gateway hiệu suất cao, vừa công bố benchmark vượt trội so với LiteLLM. Bifrost nhanh hơn tới 54 lần về độ trễ p99, xử lý nhiều hơn 9.4 lần yêu cầu/giây và tiêu thụ bộ nhớ nhẹ hơn 3 lần. Nó còn có các tính năng như tự động chuyển đổi nhà cung cấp, caching ngữ nghĩa và cân bằng tải thích ứng. Chuyển đổi từ LiteLLM sang Bifrost chỉ cần một dòng code, lý tưởng cho đội ngũ cần hạ tầng LLM nhanh, ổn định.
#Bifrost #LiteLLM #LLMGateway #Benchmarks #AI #Performance
#CổngLLM #HiệuSuất #T

🚀 #InfinitoNexus erreicht volle AI-Souveränität!
Mit Open WebUI & Flowise lassen sich Unternehmensdaten aus Cloud, Kalender, Wikis, E-Mail & Co. automatisch in eigene KI-Workflows einbinden – sicher, #DSGVO-konform & ohne die Infrastruktur zu verlassen.

👉 Mehr erfahren: https://s.infinito.nexus/aisouveraenitaet

#AISouveränität #DigitaleSouveränität #Datensouveränität #AI #KI #OpenSource #SelfHosting #OnPremises #CloudAct #Privacy #DataSovereignty #OpenWebUI #Flowise #Ollama #LiteLLM #Qdrant #LLM #SovereignCloud

Volle AI-Souveränität mit Infinito.Nexus

https://blog.infinito.nexus/blog/2025/09/23/volle-ai-souveraenitaet-mit-infinito-nexus/

https://gist.github.com/robbiemu/8ca2bc910f953fda890fcc354bb9dbe7

litesearch

a wrapper for langchain of the various search tools, including respecting rate limits, inspired by #litellm

🚀 Take control of your AI usage! With LiteLLM + OpenWebUI you can unify cloud & local models, set real budgets, and never get surprise bills. Perfect for home labs and small teams. 🧑‍💻💡

#LiteLLM #OpenWebUI #Docker #AItools #HomeLab #LocalLLMs #APIGateway #AIbudget #TechBlog #SmallBusinessAI

https://victornava.dev/2025/09/02/litellm-at-home-one-endpoint-real-budgets-zero-surprises/

Fully hosted Ollama ✅
Low-cost unlimited LLM usage ✅
RAG codebase and database✅
Learning how to fine-tine 🫠
#ollama #qlora #llm #litellm #ai

Где живут LLM: разбираем инференс-кластер YADRO и тестируем его производительность

Привет, Хабр! В этой статье я расскажу про наш LLM инференс-кластер

https://habr.com/ru/companies/yadro/articles/930304/

#llm #vllm #litellm #inference_platform #инференс_моделей #большие_языковые_модели

Георгий Герганов, автор llama.cpp и звукового кейлогера

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.

https://habr.com/ru/companies/ruvds/articles/923304/

#llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра