문서 검색

하이브리드 어텐션은 트랜스포머 모델에서 서로 다른 어텐션 메커니즘을 결합하거나 어텐션과 다른 연산(예: 상태 공간 모델)을 혼합하여 계산 효율성과 장거리 의존성 포착 능력을 동시에 향상시키는 기법이다. 표준 어텐션의 이차 복잡도를 완화하면서도 모델의 표현력을 유지하는 데 목적이 있다.

mHC(Manifold-Constrained Hyper-Connections)는 중국 AI 연구소 딥시크(DeepSeek)가 개발한 대규모 언어 모델(LLM) 학습을 위한 새로운 아키텍처 프레임워크이다. 기존 딥 트랜스포머 모델이 깊어질수록 겪는 정보 흐름 저하와 불안정성을 해결하기 위해 설계되었다. mHC는 하이퍼커넥션(Hyper-Connections) 구조에 다양체 제약(Manifold…

모델의 작동 방식은 크게 토큰화, 트랜스포머 모델 처리, 프롬프트 수행으로 나뉜다. 1. 토큰화(Tokenization): 인간의 언어를 기계 시스템이 이해할 수 있는 단위인 토큰(단어, 부분 단어, 문자 등)으로 변환하고 숫자 값을 할당하는 과정이다. 2. 예측 메커니즘: 거대언어모델은 거대한 통계 예측 기계로 작동한다. 시퀀스 내의 다음 토큰이 무엇이 될지 반복적으로 예측하며 텍스트를…

대형언어모델(LLM)은 AI 챗봇 기술을 가능하게 하는 핵심 요소이며 많은 화제를 불러일으키는 주제 중 하나이다. LLM의 작동 방식은 크게 토큰화, 트랜스포머 모델, 프롬프트의 세 가지로 나뉜다. 토큰화는 자연어 처리의 일부로 인간 언어를 저수준 기계 시스템이 이해할 수 있는 시퀀스로 변환하는 작업을 말하며, 여기에는 각 섹션에 숫자 값을 할당하고 빠른 분석을 위해 인코딩하는 작업이 수반…

대규모 언어 모델의 작동 방식은 크게 토큰화, 트랜스포머 모델, 프롬프트 처리로 나뉜다. 토큰화(Tokenization): 인간의 언어를 기계 시스템이 이해할 수 있는 숫자 시퀀스로 변환하는 작업이다. 단어, 부분 단어, 또는 단일 문자 단위로 토큰을 생성하여 인코딩한다. 트랜스포머(Transformer): 2017년 구글이 소개한 신경망 아키텍처로, 순차적 데이터 내의 관계를 추적하여 맥…

트랜스포머(Transformer)는 2017년 구글 연구팀이 발표한 논문 'Attention Is All You Need'에서 처음 제안된 딥러닝 아키텍처이다. 기존의 순환 신경망(RNN)이나 장단기 메모리(LSTM)가 가진 순차적 처리의 한계를 극복하기 위해 어텐션(Attention) 메커니즘을 전면적으로 도입하였다. 문장 내 단어들 사이의 관계를 병렬적으로 처리하여 맥락을 파악하는 능력…

대형 언어 모델(Large Language Model, LLM)은 수많은 파라미터를 보유한 인공 신경망으로 구성되는 언어 모델이다. 일반적으로 수십억 개 이상의 웨이트를 가지며, 레이블링되지 않은 방대한 양의 텍스트 데이터를 자기 지도 학습이나 반자기지도학습 방식으로 훈련한다. 2018년경부터 본격적으로 등장하였으며, 특정 작업에 특화된 기존의 지도 학습 패러다임에서 벗어나 자연어 처리 연…

10조 파라미터 모델은 인공지능의 지능을 결정하는 매개변수(Parameter)의 총합이 10조 개에 이르는 초거대 모델을 의미한다. 2020년대 중반 기술 기업들이 1조 파라미터 규모의 모델을 잇달아 공개함에 따라, 10조 규모는 인공지능 성능 고도화의 다음 단계이자 인간 수준의 추론 능력을 갖추기 위한 기술적 목표로 평가받는다. 이러한 모델은 방대한 데이터를 학습하여 텍스트, 이미지, 비…

어텐션 메커니즘은 다양한 변형이 존재하며, 각각 다른 유사도 계산 방식과 구조를 가진다. Bahdanau 어텐션 (Additive Attention) 2014년 Bahdanau et al.이 제안한 방식으로, Query와 Key의 유사도를 단일 은닉층 신경망을 통해 계산한다. 주로 RNN 기반 Seq2Seq 모델에서 사용되었다. Luong 어텐션 (Multiplicative Attentio…

자연어 처리의 기원은 1950년대로 거슬러 올라간다. 앨런 튜링은 1950년 지능의 판별 기준으로 '튜링 테스트'를 제안하며 기계의 언어 이해 가능성을 탐구했다. 초기 연구는 주로 규칙 기반(Rule-based) 처리에 의존했으나, 1970년대에 이르러 통계적 모델을 사용하는 통계적 NLP로 발전했다. 최근에는 트랜스포머 모델과 사전 훈련된 대규모 언어 모델(LLM)의 등장으로 언어 이해와…

개발자들은 애플의 Core ML 프레임워크를 사용하여 자신의 머신러닝 모델을 뉴럴 엔진에서 실행할 수 있다. 애플은 트랜스포머 모델을 ANE에 최적화하여 배포하는 연구를 지속하고 있으며, 이를 통해 서드파티 앱에서도 고성능 AI 기능을 구현할 수 있도록 지원한다.

BERT(Bidirectional Encoder Representations from Transformers)는 2018년 10월 구글 연구진이 발표한 자연어 처리 모델이다. 트랜스포머 아키텍처의 인코더 구조만을 사용하며, 텍스트의 문맥을 모든 층에서 양방향으로 동시에 학습하여 언어 이해 능력을 획기적으로 개선했다. 발표 당시 GLUE, SQuAD, SWAG 등 여러 자연어 이해 과제에서…