fly51fly (@fly51fly)
ServiceNow 연구진(E. Penaloza, D. Vattikonda, N. Gontier, A. Lacoste 등)이 언어 모델을 대상으로 'privileged information distillation' 기법을 제안한 논문(2026, arXiv). 특권적(privileged) 정보를 활용한 지식 증류 방식으로 언어 모델 성능·효율 향상을 도모하는 방법과 실험 결과를 다루고 있다.
https://x.com/fly51fly/status/2020611382404956622
#distillation #languagemodels #privilegedinformation #modelcompression