한국전자통신연구원(ETRI)가 인공지능(AI) 시스템의 위험을 미리 찾아내는 ‘AI 레드팀 테스팅’ 표준과 소비자가 AI 신뢰수준을 쉽게 이해할 수 있는 ‘신뢰성 사실 라벨(TFL)’ 표준을 국제표준화기구(ISO/IEC)에 제안하고 본격적인 개발에 착수했다.
이는 우리나라가 다른 기술을 따라가는 ‘빠른 추격자’를 넘어 AI 시대의 규칙을 만드는 ‘선도자(First Mover)’ 로 위상을 높이는 의미가 크다.
특히 기술 혁신을 앞세운 미국과 국가 주도 AI 굴기를 추진하는 중국 간 패권경쟁이 심화되고, 유럽연합(EU)이 강력한 규제 중심의 AI법(AI Act)을 통해 시장에 개입하는 현 상황에서 한국의 역할은 더욱 중요해졌다.
‘AI 레드팀 테스팅’은 AI 시스템 안전도를 공격적으로 탐색하며 테스트하는 방법으로, 생성형 AI가 잘못된 정보를 내놓거나 사용자 보호장치를 피해 악용되는 상황을 미리 찾아낸다.
ETRI는 이 분야 국제표준인 ISO/IEC 42119-7의 에디터 역할을 맡아 의료, 융, 국방 등 다양한 분야에 공통으로 적용할 수 있는 국제 공통시험 절차와 방법을 만들고 있다.
또 하나의 핵심 표준은 ‘신뢰성 사실 라벨(TFL)’이다.
이는 AI 시스템이 얼마나 신뢰할 수 있는지를 한눈에 알 수 있도록 시각화해주는 것으로, 마치 식품의 영양성분표처럼 소비자에게 투명한 정보를 제공한다.
ETRI는 ISO/IEC 42117 시리즈 표준 개발을 주도하고 있으며, 이 표준은 기업이 스스로 정보를 제공하거나 제3의 기관이 검증·인증하는 방식으로 운영될 수 있다.
향후 AI의 탄소배출량인 탄소발자국 같은 ESG 요소도 반영하는 방안까지 검토되고 있다.
이 표준은 AI 활용 조직에 대한 국제인증 표준으로 사용하는 ‘AI 경영시스템 표준(ISO/IEC 42001)’과도 연계, 개발된 제품 및 서비스가 얼마나 신뢰할 수 있는지 입증할 수 있는 틀로 자리매김할 전망이다.
이번 두 표준은 정부가 추진하는 ‘소버린 AI’, ‘AI G3 도약’ 전략과도 맞닿아 단순 기술력 확보를 넘어 글로벌 AI 규칙을 만드는 주도권 경쟁에 실질적 기여를 하는 사례로 평가된다.
아울러 미국 NIST(국립표준기술연구소)가 국가 AI 전략 실현을 위한 국내 국제 표준화를 뒷받침 하고 있듯, ETRI도 AI 안전연구소 활동을 비롯해 AI 보안기술 개발, AI 안전 및 신뢰성 국제표준화 선도작업을 통해 국가 AI 전략 실현을 뒷받침한다는 구상이다.
김욱 정보통신기획평가원(IITP) PM은 “AI 안전과 신뢰성 제공은 모두가 AI를 사용하는 것에 쉽게 다가가도록 하며, 이번 국제표준 선도는 AI 규범을 선도하는 국가로 가는 분기점”이라고 평가했다.
이승윤 ETRI 표준연구본부장도 “AI 레드팀 테스팅과 신뢰성 라벨은 미국, EU 등 각국 AI 규제정책에 포함된 핵심 기술요소로, 이 국제표준은 세계 AI 시스템의 안전과 신뢰성을 평가하는 공통 기준이 될 것” 이라며 “AI 안전과 신뢰성 분야의 국제표준화를 주도해 대한민국이 소버린 AI뿐 아니라 소버린 AI 안전 기술을 이끄는 중심이 되도록 하겠다”고 밝혔다.
이번 성과는 과학기술정보통신부와 IITP가 지원하는 ‘첨단 인공지능 안전 및 신뢰성 시험평가 기술표준 개발’과 식품의약품안전처 컨소시움 ‘생성형 AI 디지털의료제품 레드팀 시험 평가 기술 개발 및 실증’ 과제로 진행됐다.
한편, ETRI는내달 4일 서울 동대문 노보텔호텔에서 국내 최초 ‘첨단 AI 디지털의료제품 레드팀 챌린지 및 기술 워크숍’을 개최한다. 이번 챌린지는 첨단 AI 의료기기 분야에 대해 아시아권 및 우리나라에서는 최초로 열리는 행사로, 의료인, 보안전문가, 시민이 참여해 AI의 편향, 위험성 등을 함께 확인할 수 있다. 신청은 오는 22일까지다.
이와 함께 ETRI는 서울아산병원과 협력해 의료전용 레드팀 평가 방법론도 함께 개발 중이며, STA·네이버·업스테이지·셀렉트스타·KT·LG AI연구원 등 주요 기업들과 협의체를 구성해 AI 레드팀 국제표준화 협력도 강화하고 있다.
