TokenDagger – A tokenizer 2-4x faster than OpenAI's Tiktoken

https://github.com/M4THYOU/TokenDagger

#HackerNews #TokenDagger #Tokenization #OpenAI #Tiktoken #FastTech #GitHub

BotHub, GPTunnel, Chad AI — считаем где ChatGPT дешевле в России

Сейчас на фоне стремительной популяризации нейросетей, в России появилось достаточно много сервисов и агрегаторов, обеспечивающих удобный доступ к популярным языковым моделям без использования VPN. Однако при выборе подходящего решения мы зачастую сталкиваемся с проблемой разношерстной тарификация: у одних внутренняя валюта, у других стоимость за слова, третьи считают символы или количество токенов в запросе. Подобное разнообразие систем оплаты затрудняет объективное сравнение экономической эффективности различных платформ. И дабы решить эту проблему, мы провели свое небольшое исследование, унифицировав все расценки к единому показателю — стоимости в рублях за миллион токенов. Для обеспечения точности сравнения мы использовали официальный токенизатор OpenAI — tiktoken. Приятного прочтения!

https://habr.com/ru/companies/bothub/articles/887772/

#chatgpt #gpt4o #bothub #gptunnel #ChadAI #языковые_модели #llm #tiktoken #Агрегаторы_нейросетей

Считаем количество токенов для LLM в исходниках ядра Linux и не только…

Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта. Какой открытый софт будем «препарировать»:

https://habr.com/ru/articles/875022/

#llm #ai #tokenizer #token #fun #openai #tiktoken

I remember very early on #reverseengineering GPT-2 and realizing just what was ahead of us in regard to the #LLM revolution.

In a dramatic leap from the 1,024-token or context window limit of #GPT-2, #Mistral #AI, in partnership with #NVIDIA, has unleashed #NeMo—an extraordinary 12B model that shatters previous constraints.

This monumental advancement in AI engineering is not just an upgrade; it’s a revolution, setting a new pinnacle for performance in reasoning, world knowledge, and coding accuracy.

The introduction of #Tekken, a revolutionary tokenizer based on #Tiktoken, further amplifies NeMo’s prowess. Achieving 30% more efficient compression for source code and major languages, Tekken outperforms the #Llama 3 tokenizer in 85% of languages, reinforcing NeMo’s superiority in multilingual tasks.

It will be very interesting to see the model in action and just what is next regarding pushing the boundaries on token/context window capabilities.