Морфемы против BPE: как лингвистика ускоряет обучение языковых моделей

GPT-5.x разбивает слово "paratrooper" на par , atro , oper — три бессмысленных слога. Ваш мозг видит para- (около), troop (отряд), -er (деятель). Токенизатор не видит ничего. BPE, золотой стандарт токенизации с 2016 года, режет текст по частоте, а не по смыслу. И все крупные модели — GPT, Claude, Gemini, LLaMA — используют именно его. Несколько исследовательских групп проверили: что будет, если резать слова по морфемам — корням, приставкам, суффиксам? Результаты: +25% на LAMBADA, вдвое быстрее сходимость, а модель с 200k шагов обучения догоняет GPT-2 Large, которая в 6 раз больше. В статье — разбор трёх подходов (MorphBPE, MorphPiece, Unigram + морфология), конкретные цифры, ограничения (которые авторы предпочитают не выносить в заголовки) и ссылки, чтобы попробовать самому.

https://habr.com/ru/articles/993768/

#BPE #токенизация #морфемы #языковые_модели #NLP #лингвистика #GPT #LLaMA #трансформеры

OK friends. I put llama on my desktop.
😮

#linux #ai #llama

yzma 1.7 is out! With support for the very latest llama.cpp features and models, hardware acceleration, and all from Go without needing CGo.

You should go get it right now!

https://github.com/hybridgroup/yzma

#golang #llama #ml #vlm #inference #cuda #vulkan

Is there something I'm missing with llama being the GOAT coding assistant? For me it consistently performs terribly.

Me: Hey, Llama, just add a register button underneath the login.

Llama: I will ignore that request and instead turn this page into a yaml/json mismash-formatted pinball game. Done! Just like a pro! Is there anything else I can assist you with?

#ai #llm #llama #ollama #programming

¿Cómo se llama la película? #pelicula #movie #adivina #crazymaddoctor #cinefantastico #juego #quiz
https://www.youtube.com/watch?v=GT3oonbJovw

#llama #pelicula #movie

金のニワトリ (@gosrum)

Qwen3-Coder-Next 벤치마크 중 Claude Code와 상성이 맞지 않아 진행이 전혀 되지 않음. opencode와 조합하면 초반에는 괜찮지만, 중간에서 갑자기 llama.cpp 쪽에서 크래시가 발생하여 테스트가 중단되는 문제를 보고함.

https://x.com/gosrum/status/2018906324931838287

#qwen3 #claude #llama.cpp #opencode #benchmark

¿Cómo se llama la película? #cine #terror #quiz #responde #adivina #cenobita #crazymaddoctor
https://www.youtube.com/watch?v=VwA583oiEKo

#llama #pelicula #cine

Some of y’all missed out on this cultural phenomenon and it shows

#winamp #sound #llama

Now my main man @goinggodotnet speaking at the AI Plumbers #fosdem unconf about Kronk/yzma

#golang #ml #llama

QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать

NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода.

https://habr.com/ru/articles/991586/

#LLM #Квантизация #NVIDIA #QAD #QAT #FP4 #Blackwell #Machine_Learning #Llama #Distillation

Phát triển hệ thống tự động tuân thủ bằng AI cho môi trường phân loại, hoạt động ngoại tuyến hoàn toàn với Llama. Ứng dụng tập trung vào đánh giá STIG và tuân thủ CMMC, loại bỏ thao tác thủ công. Người dùng tương tác với công cụ, không trực tiếp với mô hình, đảm bảo an ninh. Thách thức: chọn mô hình nhẹ, hiệu suất cao và không phụ thuộc API bên ngoài. Bạn cũng đang xây dựng cho môi trường offline/riêng tư? #AI #LocalLLaMA #Cybersecurity #AnNinhMang #TuânThủ #AIAnToàn #OfflineAI #Llama

https://w

Nhà phát triển tạo ra mô hình Llama 1GB tuân theo các quy tắc Rust nghiêm ngặt bằng cách sử dụng đồ thị bộ nhớ sinh học. Mô hình này có thể nhớ và áp dụng các quy tắc một cách hiệu quả. #AI #Llama #Rust #TríTuệNhânTạo #HọcMáy #BộNhớSinhHọc #RustRules #LocalFirst

https://www.reddit.com/r/LocalLLaMA/comments/1qquytb/i_forced_a_1gb_llama_model_to_follow_strict_rust/

AI is a tool, and its output is a reflection of its user.

Used well, it sharpens human thinking and expands potential.

Used poorly, it automates confusion and risk at scale.

And, all LLMs are vulnerable to prompt-injection.

#AI #LLM #PromptInjection #CyberSecurity #ArtificialIntelligence #MachineLearning #GPT #OpenAI #DataSecurity #ChatGPT #Privacy #Security #Claude #Gemini #Llama #Copilot #Anthropic #GoogleAI #MetaAI #Microsoft #MistralAI #xAI #Cohere #AISafety #AISecurity #Tech #Technology

So sánh hiệu năng của GPT-4.1 Nano, Gemini 2.5 Pro và Llama 4 (17B) trên tác vụ RAG pháp lý. Kết quả từ bài kiểm tra của /u/OldBlackandRich trên Reddit. #AI #RAG #Llama #Gemini #GPT4 #CôngNghệ #AIVietnamese #RAGVietnamese

https://www.reddit.com/r/SaaS/comments/1qqk8mg/i_ran_gpt41_nano_vs_gemini_25_pro_vs_llama_4_17b/

Run your own "ChatGPT" on your laptop:
https://makertube.net/w/mY3dNPrgfKCVSZfx1vhRiV

#AI #selfhosting #LLM #linux #mistral #chatgpt #llama #grok #deepseek

Phiên bản chưa giới hạn 7B (như Manticore) đang cũ, cập nhật mới nhất là gì? Hiện chưa rõ mô hình 7B hàng đầu chưa qua kiểm duyệt nào mới nhất. #AI #LLaMA #MôHìnhNgônNgữ #CôngNghệ #Technology #7B #UncensoredAI #Manticore

https://www.reddit.com/r/LocalLLaMA/comments/1qqczkn/whats_the_current_uncensored_7b/

Một tính năng mới đã được thêm vào dự án llama.cpp để hỗ trợ phân tích mô hình Solar-Open-100B (mô hình AI lớn). Tùy chọn "reasoning_effort" cho phép điều chỉnh mức độ suy luận (từ thấp đến cao). Tham khảo chi tiết tại Reddit và GitHub.

#AI #LLaMA #SolarOpen100B #MáyHọc #CôngNghệAI #MôHìnhĐại #PhátTriểnMôHình

https://www.reddit.com/r/LocalLLaMA/comments/1qqcze7/chat_add_parsing_for_solaropen100b_by_aldehir/

Metas KI-Ambitionen: 115 bis 135 Milliarden US-Dollar Investitionen im Jahr 2026 https://www.computerbase.de/news/wirtschaft/metas-ki-ambitionen-115-bis-135-milliarden-us-dollar-investitionen-im-jahr-2026.95961/ #meta #ai #llama

#Arcee AI, a 30-person #startup, released #Trinity, a 400B-parameter #opensource #LLM. The company aims to compete with #Meta’s #Llama and other large models, particularly appealing to developers and academics. Arcee emphasises its commitment to open source, using the Apache licence, and offers Trinity in various versions for different use cases. https://techcrunch.com/2026/01/28/tiny-startup-arcee-ai-built-a-400b-open-source-llm-from-scratch-to-best-metas-llama/?eicker.news #tech #media #news

Awni Hannun (@awnihannun)

MLX Distributed에서 텐서 병렬성(tensor parallelism)이 어떻게 동작하는지 저수준 연산부터 텐서 병렬 Llama 추론(full tensor-parallel Llama inference)까지 설명한 블로그 포스트를 소개하는 글입니다. 분산·병렬화 설계와 추론 최적화 관점에서 유용한 기술자료입니다.

https://x.com/awnihannun/status/2016595555569586442

#tensorparallelism #mlxdistributed #llama #modelparallel