[IT뉴스10월24일]LLM 성능 개선 차등 트랜스포머, 엣지 AI, 미국eVTOL택시 허용

타이틀을 '검색' 하시면 원문 기사 확인이 가능 합니다.

 

2024년 10월 24일(수) 주요 IT 뉴스

MS, 트랜스포머 성능 개선하는 새로운 LLM 아키텍처 공개

트랜스포머(Transformer)의 한계 극복: 차등 트랜스포머

 

기존 트랜스포머 문제점

• 긴 컨텍스트 처리 어려움: 트랜스포머는 긴 텍스트를 처리할 때 중요한 정보를 놓치고, 특히 중간 부분의 정보를 찾는 데 어려움  
• 환각 현상: 관련 없는 정보에 집중하여 잘못된 답변 생성 
• 소프트맥스 병목 현상: 소프트맥스 함수가 모든 토큰에 골고루 주의를 분산시켜 중요한 정보에 집중하지 못 함.

차등 트랜스포머의 등장

• 핵심 아이디어:
  • 어텐션 계산에 쿼리(query), 키(key) 및 값(value) 벡터를 사용(기존 메커니즘은 쿼리와 키 벡터 전체에 소프트맥스 함수 적용)  
  •  ‘차등 주의(differential attention)’ 메커니즘을 사용
    • 노이즈를 제거하고 입력의 가장 관련 있는 부분에 어텐션을 증폭  
    • 쿼리와 키 벡터를 나누어 두 개의 소프트맥스 어텐션 맵을 계산하고, 그 차이를 통해 노이즈를 제거하고 중요한 정보에 집중 
  • 1조개의 토큰으로 훈련한 30억 매개변수의 차등 트랜스포머는 비슷한 크기의 트랜스포머 모델에 비해 몇 % 개선
  • 또 다양한 모델 크기와 훈련 데이터셋 크기를 활용한 추가 실험에서, 기존 트랜스포머와 유사한 성능을 달성하기 위해 65%의 매개변수나 훈련 토큰만 필요 
• 장점:
  • 긴 컨텍스트에서도 중요한 정보를 효과적 반영 
  • 환각 현상을 줄여 더욱 정확한 결과 제공
  • 기존 트랜스포머보다 적은 매개변수와 훈련 데이터로도 높은 성능 달성

[ICT시사용어] 엣지 인공지능(Edge AI)

 

엣지 AI

• 기존 클라우드 서버를 거치지 않고, 기기 자체에서 데이터를 분석하고 학습하는 인공지능 기술  
• 엔드포인트 장치에서 바로 데이터와 알고리즘의 처리를 지원하는 엣지 컴퓨팅의 확장

필요한 이유

• 신경망 성숙: 신경망 모델이 더욱 정교해지고, 훈련 및 배포 방법이 표준화되어 일반적인 머신러닝 기술 수준에 도달 
• 컴퓨팅 인프라 발전: 고성능 GPU 등 컴퓨팅 하드웨어의 발전으로 기기에서도 복잡한 연산 가능 
• IoT 확산: 다양한 IoT 기기에서 수집된 방대한 데이터를 실시간으로 처리 요구 증가 
• 5G 통신 발전: 5G 네트워크를 통해 IoT 기기들이 안정적으로 연결되면서 엣지 AI 환경 구축 준비

 

장점:

• 빠른 응답 속도: 실시간 데이터 처리 
• 높은 보안성: 데이터가 기기 밖으로 나가지 않아 높은 보안성 유지  
• 저전력: 대규모 서버 인프라가 필요 없어 에너지 효율적 
• 오프라인 환경에서도 사용 가능: 인터넷 연결이 불안정한 환경에서도 AI 기능 활용 

활용 분야:

• 스마트폰: 카메라, 음성 인식 등  
• IoT 기기: 스마트 홈, 스마트 팩토리 등에서 실시간 데이터 분석 및 제어 
• 자동차: 자율 주행, 차량 내 인포테인먼트 시스템 등 
• 로봇: 로봇의 자율적인 판단과 행동 

기업들의 움직임:

• 삼성전자: 갤럭시 스마트폰뿐만 아니라 TV, 가전 등 다양한 제품에 엣지 인공지능을 적용하여 개인화된 경험 제공
• 애플: 아이폰에 온디바이스 AI를 적용하여 개인 정보 보호 강화 
• 테슬라, 지멘스, 인텔: 자사 제품 및 서비스에 도입 진행 
• 국내 통신사: SK텔레콤, KT, LG유플러스 등이 개발에 투자 

 

 

美 FAA, eVTOL 최종 규정안 발표…내년 '에어택시' 뜬다

 

미국, 전기 수직 이착륙 비행기(eVTOL) 상용화 길 열어

미국 연방항공국(FAA)이 전기 수직 이착륙 비행기(eVTOL)에 대한 최종 규정을 발표하며, 에어택시 상용화에 한 걸음 더 다가섰다.

이번 규정은 안전 기준, 운행 조건, 조종사 교육 등을 포함하고 있으며, 내년 말부터 미국에서 eVTOL을 활용한 상업 비행이 가능해질 전망이다. 

 

• 새로운 항공기 범주: eVTOL은 헬리콥터 이후 새로운 항공기 범주로 인정 
• 다양한 활용: 항공 택시 외에도 화물 운송, 구조 및 수색 등 다양한 분야에서 활용 
• 안전 기준 마련: 안전 고도, 가시성 등 운행에 필요한 안전 기준 정립 
• 조종사 교육 강화: eVTOL 조종사를 위한 교육 지침 포함 
• 상업 비행 가능성: 내년 말부터 미국에서 eVTOL을 이용한 상업 비행이 가능해질 전망 

[참고] eVTOL 유형 

 

 

최멘토 Big&Up 기술사 양성 카페 : 더 많은 IT 정보 확인 https://cafe.naver.com/bigupitpe

최멘토 IT 현황 정리 : 더 더 많은 IT 정보 확인 https://blog.naver.com/buksamfight

아이리포 기술사 과정 소개 :  https://cafe.naver.com/itlf/36271