Lmst

Simon Willison (@simonw)

지난 2년간 모델 성능은 크게 개선되었음에도 불구하고 컨텍스트 길이(문맥창)는 거의 개선되지 않았다는 관찰입니다. 현재 200,000에서 1,000,000 토큰 범위에 정체되어 있어 장기 문맥 처리 능력 향상이 더디다는 지적을 담고 있습니다.

https://x.com/simonw/status/2018706006457360690

#contextlength #llm #longcontext #modelcapacity

Kontext window của AI vẫn là thách thức lớn. Dù mô hình tốt nhất 2 năm trước có giới hạn 200K token, giờ vẫn vậy: Gemini 1M token nhưng hiệu suất giảm nghiêm trọng khi dùng hết. Các cuộc trao đổi vẫn mất ổn định khi vượt 100K token. Đây là rào cản chính cản trở AI thay thế nhân viên trí tuệ. AGI có thể đạt được nếu không giải quyết vấn đề này?
#AI #ThửTháchCôngNghệ #KhoaHọcMáyTính #AGI #TokenWindow #ContextLength #AIChallenges #CôngNghệSángTạo

https://www.reddit.com/r/singularity/comments/1py

AI’s Awareness Leap - Amjad Masad and Adam DAngelo

#contextlength #consciousness #intelligence #fyp #explore

Người dùng Reddit báo cáo sử dụng gpt-oss 120b với VRAM khoảng 15.6-15.99GB, RAM 59-64GB, và context length lên tới 128000. Thắc mắc liệu flash attention có ảnh hưởng chất lượng hay không và tại sao VRAM usage lại thấp như vậy.

#LocalLLaMA #GPToss #LLM #AI #VRAM #ContextLength #MachineLearning #HọcMáy