타이틀을 '검색' 하시면 원문 기사 확인이 가능 합니다. 2024년 10월 24일(수) 주요 IT 뉴스MS, 트랜스포머 성능 개선하는 새로운 LLM 아키텍처 공개트랜스포머(Transformer)의 한계 극복: 차등 트랜스포머 기존 트랜스포머 문제점긴 컨텍스트 처리 어려움: 트랜스포머는 긴 텍스트를 처리할 때 중요한 정보를 놓치고, 특히 중간 부분의 정보를 찾는 데 어려움 환각 현상: 관련 없는 정보에 집중하여 잘못된 답변 생성 소프트맥스 병목 현상: 소프트맥스 함수가 모든 토큰에 골고루 주의를 분산시켜 중요한 정보에 집중하지 못 함.차등 트랜스포머의 등장핵심 아이디어:어텐션 계산에 쿼리(query), 키(key) 및 값(value) 벡터를 사용(기존 메커니즘은 쿼리와 키 벡터 전체에 소프트맥스 함수 적..