인공지능 안전

인공지능 안전(AI Safety)은 AI 기술이 인류에게 이익이 되고 잠재적인 피해나 부정적인 결과를 최소화하는 방식으로 설계되고 사용되도록 하는 데 도움이 되는 관행과 원칙을 의미한다. 안전한 AI 시스템을 구축하는 것은 AI의 보급과 영향력이 증가함에 따라 기업과 사회가 중요하게 고려해야 할 사항이다. AI 안전은 AI 시스템을 최대한 책임감 있게 사용하고 AI의 미래가 인간의 가치를 염두에 두고 개발되도록 돕는다.

AI 시스템이 더욱 정교해지면서 이는 사람들의 삶과 인프라, 금융, 국가 안보와 같은 중요한 실생활 영역에 더욱 깊숙이 통합되고 있다. 이러한 기술은 사용하는 조직과 사회 전체에 긍정적인 영향과 부정적인 영향을 모두 미칠 수 있다. 2023년 설문조사에 따르면 미국인의 52%는 인공 지능의 사용 증가에 대해 기대보다는 우려를 나타냈으며, 83%는 AI가 실수로 재앙적인 사건으로 이어질 수 있다고 우려했다. 2024년 보고서에 따르면 이러한 우려가 근거가 없는 것은 아니다.

안전한 AI를 개발하고 유지하기 위해서는 잠재적 AI 위험을 식별하고 이를 방지·완화하기 위한 프로세스가 필요하다. 주요 위험으로는 편향(bias), 데이터 보안, 외부 위협에 대한 취약성 등이 있다. 또한 AI 시스템은 프라이버시 침해, 편향성, 허위정보 확산 등 예상치 못한 역기능을 초래할 수 있다. 이러한 역기능 문제 완화에 대한 기술적·사회적 요구가 증대되고 있다.

한국을 포함한 주요국들은 AI의 안전성 및 신뢰성 확보를 위한 다양한 정책을 추진하고 있다. KISA(한국인터넷진흥원)는 2025년 12월 '인공지능(AI) 보안 안내서'를 발간하였으며, 2026년 3월 정오 수정본을 재배포하였다. 이 안내서는 외부 사이버 위협으로부터 AI 모델·서비스를 보호하기 위해 기업과 국민이 참조할 수 있는 지침을 제공한다. 또한 AISI(인공지능안전연구소)는 AI 기술이 안전하게 개발되고 사회에 긍정적인 영향을 미치도록 다양한 정책과 가이드라인을 연구하고 있다. 학술 연구로는 'AI의 안전성 및 신뢰성 확보를 위한 정책 연구'(2024)가 있으며, 이 연구는 AI 안전성·신뢰성에 대한 국가별 경쟁력을 도출하고 한국의 정책 수립 방향을 제언하였다.

ETRI(한국전자통신연구원)의 '전자통신동향분석' 2024년 10월호에는 '첨단 인공지능 안전 및 신뢰성 기술 표준 동향' 논문이 게재되었다. 이 논문은 첨단 AI 안전 및 신뢰성 기술에 대한 표준화 동향을 다루며, 국제 표준화 기구와의 연계를 분석한다. AI 안전 표준은 AI 시스템의 신뢰성을 보장하고 위험을 최소화하기 위한 기술적 기준을 제공한다.

인공지능 안전과 관련된 주요 기관으로는 한국인터넷진흥원(KISA), 인공지능안전연구소(AISI), IBM 등이 있다. KISA는 AI 보안 안내서를 발간하여 기업과 국민이 참조할 수 있는 지침을 제공한다. AISI는 아태지역을 대표하는 글로벌 AI 안전 거점연구소로, AI 안전 정책과 가이드라인을 연구한다. IBM은 AI 안전의 개념과 중요성, 위험 완화 방법에 대한 자료를 제공한다.