문서 검색

현대 컴퓨터 시스템의 메모리 계층은 일반적으로 다음과 같이 7단계 내외로 구성된다. L0 (레지스터): CPU 내부에 존재하며 가장 빠르고 용량이 작다. L1/L2/L3 (캐시 메모리): SRAM 기반으로 CPU 내부 또는 근처에 위치하며, 데이터 버스를 거치지 않고 프로세서에 데이터를 전달할 수 있다. L4 (주기억 장치): DRAM 기반의 메인 메모리로 CPU가 직접 접근할 수 있는 가…

KV 캐시(Key-Value Cache)는 트랜스포머(Transformer) 아키텍처를 사용하는 대규모 언어 모델(LLM)의 추론 과정에서 연산 효율을 극대화하기 위해 도입된 기술이다. 텍스트 생성 시 각 단계에서 계산되는 어텐션(Attention) 메커니즘의 Key와 Value 행렬을 메모리에 저장해 두었다가, 다음 토큰 생성 시 이를 재계산하지 않고 즉시 활용한다. 이를 통해 중복 연산…

장단기 메모리는 정보를 유지하는 기간과 목적에 따라 단기 기억과 장기 기억으로 구분하는 체계이다. 심리학적으로는 외부 자극을 인지하여 짧은 시간 동안 유지하는 과정과 이를 물리적 변화를 통해 영구적으로 저장하는 과정을 의미한다. 현대 인공지능과 컴퓨팅 분야에서는 인간의 이러한 인지 구조를 모방하여 데이터의 접근 속도와 보존 특성에 따라 메모리를 계층화하거나, 인공지능 에이전트가 최근의 대화…

메모리스틱(Memory Stick)은 소니(Sony)가 1998년 10월에 처음 출시한 탈착식 플래시 메모리 카드 포맷이다. 소니의 디지털카메라, 캠코더, 휴대용 게임기 등 자사 제품군에 주로 사용하기 위해 설계된 독자 규격이다. 초기에는 소니 제품의 핵심 저장 매체로 널리 쓰였으나, 2010년경 SD 카드와의 규격 경쟁에서 밀려나며 사용 비중이 크게 줄어들었다. 한편, '메모리스'라는 명…

고대역폭 메모리(High Bandwidth Memory, HBM)는 여러 개의 D램(DRAM) 다이를 수직으로 적층하여 데이터 전송 대역폭을 획기적으로 높인 고성능 메모리 인터페이스이다. 실리콘 관통 전극(TSV) 기술을 활용해 칩을 수직으로 연결함으로써 기존 D램 대비 데이터 통로를 대폭 늘린 것이 특징이다. 주로 인공지능(AI) 가속기, 고성능 그래픽 카드, 슈퍼컴퓨터 등 대규모 데이터…

고대역폭메모리(High Bandwidth Memory, HBM)는 여러 개의 D램(DRAM) 칩을 수직으로 쌓아 데이터 처리 속도를 대폭 끌어올린 고성능 메모리 인터페이스이다. 3D 적층 기술을 활용하여 기존 D램보다 훨씬 넓은 대역폭을 제공하며, 주로 인공지능(AI) 가속기, 고성능 컴퓨팅(HPC), 그래픽 카드 등에 사용된다. 2013년 SK하이닉스와 AMD가 세계 최초로 개발한 이후,…

해시캐시는 임의의 데이터를 고정된 길이의 값으로 변환하는 해시 함수를 활용한 기술이다. 주로 데이터의 빠른 검색과 저장을 돕는 자료구조로 쓰이거나, 블록체인 네트워크에서 작업 증명을 수행하는 데 사용된다. 시스템에 일정 수준의 연산 비용을 부과함으로써 스팸 전송이나 서비스 거부 공격을 방지하는 역할을 한다.

레거시 메모리는 새로운 기술의 등장으로 인해 상대적으로 구식이 된 기존의 범용 메모리 반도체를 의미한다. 주로 DDR4 이하의 D램이나 범용 낸드플래시 등이 이에 해당하며, 인공지능(AI) 연산에 최적화된 고대역폭 메모리(HBM)와 같은 최신 기술과 대비되는 개념으로 사용된다. 성능보다는 안정성과 경제성이 중요한 산업 분야에서 여전히 높은 수요를 유지하고 있다.

KVzip은 Transformer 기반 대규모 언어 모델의 추론 과정에서 발생하는 KV 캐시 메모리 병목 현상을 해결하기 위한 기술이다. 기존의 질의-종속적(Query-Dependent) 방식과 달리, 한 번 압축된 캐시를 여러 질의에 재사용할 수 있는 질의-무관 방식을 채택한 것이 특징이다. 이를 통해 긴 컨텍스트를 처리할 때 발생하는 메모리 오버헤드와 주의(Attention) 메커니즘의…

공간 복잡도(Space Complexity)는 알고리즘이나 자료 구조가 문제를 해결하기 위해 사용하는 메모리 공간의 크기를 입력 크기에 대한 함수로 나타낸 것이다. 알고리즘이 완전히 실행될 때까지 필요한 총 메모리 양을 측정하며, 시간 복잡도와 함께 알고리즘의 효율성을 평가하는 주요 지표로 활용된다. 일반적으로 빅오 표기법($O$)을 사용하여 점근적으로 표현하며, 입력 데이터를 저장하는 공…

허치-키나한 분쟁은 대한민국 반도체 후공정 장비 시장의 주도권을 두고 한미반도체와 한화세미텍(구 한화정밀기계) 사이에서 발생한 법적 분쟁을 일컫는다. 2024년 12월 한미반도체가 한화세미텍을 상대로 특허 침해 금지 소송을 제기하며 본격화되었으며, 고대역폭메모리(HBM) 생산의 핵심 장비인 열압착(TC) 본더의 원천 기술 복제 여부가 주요 쟁점이다. 이후 한화세미텍이 특허 무효 심판과 역소…

순환 신경망(Recurrent Neural Network, RNN)은 인공 신경망의 일종으로, 유닛 간의 연결이 순환적 구조를 갖는 것이 특징이다. 이러한 구조는 신경망 내부에 상태를 저장할 수 있게 하여 시변적 동적 특징을 모델링할 수 있도록 돕는다. 순방향 신경망과 달리 내부 메모리를 활용해 시퀀스 형태의 입력을 처리할 수 있어 음성 인식, 자연어 처리, 시계열 예측 등 시간적 순서가…