커뮤니티국내
현대 LLM의 위치 임베딩 이해하기
GeekNews
한눈에 보기
LLM의 위치 정보는 같은 토큰이라도 문장 안의 순서와 거리에 따라 다르게 처리하도록 도움을 줌. 인과 마스크도 암묵적인 순서 정보를 주지만, 토큰 간 거리를 직접 알려주지는 않음 GPT-2는 학습한 위치 벡터를 입력 임베딩에 더하고, 원래 Transformer는 고정된 사인/코사인…
출처 발췌 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- GeekNews · 11.16 05:40
- 종류
- 커뮤니티 · 국내
- 다룬 곳
- GeekNews
LLM의 위치 정보는 같은 토큰이라도 문장 안의 순서와 거리에 따라 다르게 처리하도록 도움을 줌. 인과 마스크도 암묵적인 순서 정보를 주지만, 토큰 간 거리를 직접 알려주지는 않음 GPT-2는 학습한 위치 벡터를 입력 임베딩에 더하고, 원래 Transformer는 고정된 사인/코사인 벡터를 더함.
원문의 저작권은 GeekNews에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.