mburaksayici đang phát triển smallevals - mô hình ngôn ngữ nhỏ để đánh giá RAG/VectorDB nhanh hơn. Với dataset 200k cuộc hội thoại (250 token/trung bình), anh ấy đào tạo mô hình 0.5-0.6B. Tuy nhiên, full fine-tuning làm giảm hiệu suất, nên chuyển sang LORA (20M tham số). Anh ấy đang tìm hiểu tỉ lệ hiệu quả giữa token đào tạo và quy mô LORA/mô hình. #AI #MachineLearning #LORA #ModelSize #Knowledge #AIvie #MLVn #LORAtrain
200k hội thoại → 250 token/tr. Mô hình 0.6B + LORA (20M) chưa tối ưu. Cần p