문서 검색

오픈소스 인공지능은 누구나 허가 없이 어떤 목적으로든 사용, 검토, 수정 및 배포할 수 있는 인공지능 시스템을 의미한다. 단순히 소프트웨어의 소스 코드뿐만 아니라 학습 데이터 세트의 정보, 모델의 가중치 및 매개변수, 학습 및 추론 코드 등 시스템 전반의 구성 요소를 공개하는 것이 특징이다. 이는 특정 기업의 기술 독점을 방지하고, 전 세계 개발자와 연구자의 협업을 통해 기술 혁신과 안전성…

대형 언어 모델(Large Language Model, LLM)은 수많은 매개변수(Parameter)를 보유한 인공 신경망으로 구성된 언어 모델이다. 일반적으로 수십억 개 이상의 가중치를 가지며, 레이블링되지 않은 방대한 양의 텍스트 데이터를 자기 지도 학습이나 반자기지도학습 방식으로 훈련한다. 2018년경부터 본격적으로 등장하여 특정 작업에 특화된 기존의 지도 학습 패러다임에서 벗어나 자…

거대언어모델(Large Language Model, LLM)은 수많은 매개변수(Parameter)를 보유한 인공 신경망 기반의 언어 모델이다. 방대한 양의 데이터 세트를 학습하여 콘텐츠를 인식, 요약, 번역, 예측 및 생성하는 기능을 수행한다. 2017년 발표된 트랜스포머(Transformer) 아키텍처를 주요 기반으로 하며, 2018년경부터 본격적으로 등장하여 자연어 처리 연구의 중심이…

10조 파라미터 모델은 인공지능의 지능을 결정하는 매개변수(Parameter)의 총합이 10조 개($10^{13}$)에 이르는 초거대 모델을 의미한다. 2020년대 중반 기술 기업들이 1조 파라미터 규모의 모델을 잇달아 공개함에 따라, 10조 규모는 인공지능 성능 고도화의 다음 단계이자 인간 수준의 추론 능력을 갖추기 위한 기술적 목표로 평가받는다. 이러한 모델은 방대한 데이터를 학습하여…

재귀 함수는 메모리의 호출 스택(Call Stack) 구조를 이용한다. 함수가 호출될 때마다 매개변수, 지역 변수, 복귀 주소 등의 정보가 스택에 쌓인다. 1. 함수가 자기 자신을 호출하면 새로운 실행 컨텍스트가 스택에 추가된다. 2. 기본 사례에 도달할 때까지 스택은 계속 깊어진다. 3. 종료 조건이 만족되면 가장 마지막에 호출된 함수부터 결과값을 반환하며 스택에서 제거(LIFO)된다.…

딥시크는 컴퓨팅 자원의 효율적 사용을 위해 전문가 혼합(MoE, Mixture of Experts) 기술을 적극적으로 도입하였다. 이는 모델의 전체 매개변수 중 일부만 활성화하여 연산량을 줄이는 방식이다. 또한 미국의 반도체 수출 제한으로 인해 최신 칩인 엔비디아 H100 대신 성능이 조정된 H800 GPU를 사용해야 했으나, 소프트웨어 최적화를 통해 이를 극복하였다. 모델은 '오픈 웨이트…

게이트 순환 유닛은 기존 순환 신경망(RNN)이 긴 시퀀스 데이터를 처리할 때 발생하는 기울기 소실 문제를 해결하기 위해 고안되었다. 장단기 메모리(LSTM)와 유사하게 게이트 구조를 도입하여 정보의 유지와 삭제를 결정하지만, 구조를 더 단순하게 만들어 계산 비용을 줄인 것이 특징이다. GRU는 LSTM과 달리 출력 게이트가 없으며 컨텍스트 벡터를 사용하지 않으므로 매개변수 수가 적다. 다…

사용자의 히스토리 스택 내에서 앞뒤로 이동하기 위한 기본적인 메서드와 속성을 제공한다. 이 메서드들은 비동기적으로 동작한다. history.back(): 브라우저의 뒤로 가기 버튼을 클릭한 것과 동일하게 동작하며, 세션 기록의 바로 이전 페이지로 이동한다. history.forward(): 브라우저의 앞으로 가기 버튼을 클릭한 것과 동일하게 동작한다. history.go(n): 현재 페이지…

암호화 키 크기 제어 (Encryption Key Size Control) 호스트 장치는 통신에 사용되는 암호화 키의 최소 길이를 설정할 수 있다. 이를 통해 보안 수준이 낮은 연결을 사전에 차단할 수 있으며, 민감한 정보를 전송하는 환경에서 무단 액세스에 대한 보호 계층을 강화한다. LE 향상된 연결 업데이트 (LE Enhanced Connection Update) 장치 간의 연결 매개변…

KV 캐시는 추론 속도를 높이는 대신 상당한 양의 GPU 메모리를 소모한다. 메모리 요구량은 모델의 크기, 배치 크기(Batch Size), 그리고 컨텍스트 길이에 비례하여 선형적으로 증가한다. 메모리 점유: 70B 매개변수 모델이 128K 컨텍스트를 처리할 경우, 캐시 데이터만으로도 약 40GB 이상의 메모리가 필요할 수 있다. 이는 때로 모델 가중치 자체보다 더 많은 공간을 차지한다.…

모델 생성 과정은 일반적으로 다음의 4단계를 거친다. 1. 데이터 준비: 모델이 패턴을 인식할 수 있도록 대표성을 띠는 샘플 데이터를 수집한다. 예를 들어 이미지 분류기의 경우 카테고리당 최소 10장 이상의 이미지가 권장된다. 2. 학습: 준비된 데이터를 Create ML 앱에 드래그 앤 드롭하여 입력하고 학습을 시작한다. 이 과정에서 반복 횟수 등의 매개변수를 조절하여 최적의 결과를 도출…

구분 시뮬레이티드 어닐링 (SA) 양자 어닐링 (QA) 주요 메커니즘 열적 요동 (Thermal Fluctuation) 양자 요동 (Quantum Fluctuation) 장벽 극복 방식 에너지 장벽을 타고 넘음 양자 터널링으로 장벽을 통과 계산 모델 고전적 확률론적 알고리즘 아날로그 양자 계산 프로세스 특징 온도 매개변수 조절 횡단 필드 강도 조절