논문해외
onóna: Tied Unembedding을 갖춘 트윈 임베딩
원제 · onóna: Twin Embeddings with Tied Unembeddings
HF Daily Papers
가중치 공유는 언어 모델의 파라미터 비용을 줄이지만 출력 표현력에 한계가 있어, 입출력 가중치 공유를 유지하면서 표현력을 높이는 두 개 테이블 매개변수화 기법인 onóna를 소개한다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
Weight tying reduces the parameter cost of language models, but the usual tied output head is limited to a single softmax.
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.