뉴스국내
초장문 AI 추론 병목 줄이는 ‘희소 어텐션’ 설계법 공개…엔비디아, GPU 연산 효율 최적화
인공지능신문
한눈에 보기
엔비디아(NVIDIA)가 수십만 토큰의 장문 데이터를 처리하는 대형언어모델(LLM)의 추론 효율을 높이기 위한 ‘희소 어텐션(Sparse Attention)’ 설계 지침을 공개했다.
출처 발췌 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- 인공지능신문 · 11.18 11:30
- 종류
- 뉴스 · 국내
- 다룬 곳
- 인공지능신문
엔비디아(NVIDIA)가 수십만 토큰의 장문 데이터를 처리하는 대형언어모델(LLM)의 추론 효율을 높이기 위한 ‘희소 어텐션(Sparse Attention)’ 설계 지침을 공개했다. 기존 어텐션 연산에서 발생하는 막대한 계산량을 줄이는 동시에 그래픽처리장치(GPU)의 연산 구조와 메모리 특성을 고려해 새로운 병목을 최소화하는 기술적 접근이다.
원문의 저작권은 인공지능신문에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.