신경망 처리 장치

신경망 처리 장치는 인공지능 가속기(AI accelerator) 또는 딥러닝 프로세서로도 불린다. 인공 신경망이나 컴퓨터 비전과 같은 인공지능 및 기계 학습 애플리케이션을 가속화하도록 설계된 특수 하드웨어 장치이다. 주요 목적은 이미 훈련된 AI 모델을 효율적으로 실행(추론)하거나 새로운 모델을 훈련하는 것이다.

영상, 음성, 자연어 등 대규모 데이터와 복잡한 알고리즘 처리가 증가함에 따라 기존의 범용 프로세서인 CPU나 GPU만으로는 성능과 전력 효율성 면에서 한계가 발생하였다. 특히 딥러닝의 핵심인 복잡한 신경망 연산을 더 빠르고 에너지 효율적으로 처리할 필요성이 커지면서 NPU가 등장하게 되었다.

NPU는 다음과 같은 설계 특징을 가진다.

• 행렬 및 텐서 연산 특화: 딥러닝 모델의 핵심인 행렬 곱셈과 컨볼루션 연산을 고속으로 처리한다.
• 대규모 병렬성: 수백에서 수천 개의 연산 유닛이 동시에 데이터 조각을 처리하여 계산 속도를 높인다.
• 저전력 고성능: 불필요한 범용 회로를 최소화하고 AI 연산에 필요한 회로만 탑재하여 에너지 효율을 극대화한다.
• 저정밀도 연산 지원: 효율성을 위해 INT4, INT8, FP8, FP16 등 저비트 데이터 타입을 사용하여 연산을 수행한다.

NPU는 인간 뇌의 신경세포와 시냅스 연결 구조를 모방하여 설계되었다. 셀 수 없이 많은 신경세포가 신호를 주고받으며 동시에 작업을 진행하는 것처럼, NPU도 동시다발적인 행렬 연산을 실시간으로 처리한다. 축적된 데이터를 기반으로 스스로 학습하여 최적의 값을 도출해내는 딥러닝 기술 구현에 최적화되어 있다.

NPU는 소비자 장치부터 대규모 데이터센터까지 폭넓게 사용된다.

소비자 장치

애플 아이폰, 삼성 갤럭시, 구글 픽셀 등 최신 스마트폰 프로세서에 통합되어 이미지 및 비디오 처리, 음성 인식, 객체 감지 등을 수행한다. 최근에는 인텔, AMD, 애플 실리콘의 컴퓨터 프로세서에도 추가되어 온디바이스 AI 기능을 강화하고 있다.

산업 및 데이터센터

로봇공학, 사물인터넷(IoT), 센서 기반 작업 등에 활용된다. 데이터센터에서는 대규모 AI 모델의 학습과 추론을 위해 수십억 개의 트랜지스터를 포함한 고성능 AI 집적 회로 형태로 사용된다.