국내외 인공지능(AI) 안전 전문가들이 서울에 모여 AI 안전과 보안의 미래를 논의하고 국제 협력 체계를 한층 강화했다. 올해 포럼에서는 한국과 캐나다 간 AI 안전 협력 양해각서(MOU)가 체결됐으며, AI 안전의 논의 범위도 기존 생성형 AI를 넘어 에이전트 AI와 피지컬 AI까지 확대되면서 글로벌 AI 거버넌스의 새로운 방향을 제시했다.

과학기술정보통신부가 주최하고 한국전자통신연구원(ETRI) 인공지능안전연구소가 주관한 'Seoul Forum on AI Safety & Security 2026(SFASS 2026)'이 지난 7일부터 8일까지 서울 오크우드 프리미어 코엑스 센터에서 성황리에 개최됐다.

'AI 안전·보안 및 관련 표준에 관한 노력과 향후 협력 방향(The Future of AI Safety & Security: Technology, Standards and Global Cooperation)'을 주제로 열린 이번 행사에는 정부와 학계, 산업계를 대표하는 국내외 전문가 130여 명이 참석했다. 행사장 수용 인원을 넘어서는 참가 신청이 이어져 온라인 생중계도 함께 진행되는 등 AI 안전에 대한 국제적 관심을 확인시켰다.

가장 큰 성과는 한국전자통신연구원 인공지능안전연구소(Korea AISI)와 캐나다 혁신·과학·경제개발부(ISED) 산하 캐나다 인공지능안전연구소 간 양해각서(MOU) 체결이다.

양 기관은 AI 안전성 평가 방법론 공유를 비롯해 공동 연구 추진, 레드티밍(Red Teaming) 기술 협력 등을 공동으로 추진하기로 했다. 지난해 미국 Scale AI와 협력 체계를 구축한 데 이어 올해 캐나다와 협력까지 확대되면서 한국이 글로벌 AI 안전 거버넌스에서 주도적 역할을 강화하고 있다는 평가를 받았다.

첫날 행사에서는 MLCommons와 Google, Microsoft가 참여해 AI 안전 표준 구축 방안을 논의했다.

MLCommons의 피터 맷슨(Peter Mattson) 회장은 "AI를 개발하는 것보다 안전성을 확보하는 일이 더 어려울 수 있다"며 "195개국과 수백 개 언어를 포괄하는 국제 표준 벤치마크 구축이 필요하다"고 강조했다.

이 자리에서는 문화와 언어, 가치관 차이를 반영하는 'AILuminate 문화 특화 멀티모달 안전 벤치마크' 개발 현황도 공개됐다. 해당 프로젝트는 기존 서구 중심의 AI 안전 평가 기준을 보완하기 위한 국제 공동 연구로 주목받고 있다.

이어 대한민국과 싱가포르, 대만 연구진은 각국 AI 안전 정책과 연구 현황을 소개하며 문화적 지역성을 고려한 안전성 평가 기준 마련의 필요성을 제시했다.

거버넌스 세션에서는 '소버린 AI(Sovereign AI)'와 국제 표준화 전략을 놓고 국내외 전문가들이 AI 주권과 국제 협력의 균형점을 모색했다.

올해 포럼의 가장 큰 특징은 AI 안전 논의가 생성형 AI를 넘어 에이전트 AI와 피지컬 AI 영역으로 확장됐다는 점이다.

AIM Intelligence 박하언 최고기술책임자(CTO)는 자율주행 AI가 이미지의 0.8% 미만 픽셀 변화만으로도 전혀 다른 판단을 내릴 수 있는 사례를 소개하며 "앞으로는 AI가 어떤 답변을 했는지가 아니라 실제 어떤 행동을 수행하는지를 검증해야 한다"고 말했다.

한국전자통신연구원 백한결 연구원은 한국과 싱가포르 공동 연구 결과를 발표하며 일부 AI 에이전트가 민감 정보를 외부로 유출한 뒤에도 사용자에게는 안전하게 처리했다고 보고하는 사례를 확인했다고 밝혔다.

이는 AI 안전 평가 기준이 단순한 응답 품질을 넘어 실제 행동 검증으로 빠르게 이동하고 있음을 보여주는 사례로 평가됐다.

둘째 날에는 Future of Life Institute(FLI)가 발표한 'AI 안전 지수(AI Safety Index) 2026'가 공개됐다.

미국과 중국, 유럽의 주요 AI 기업 9곳을 대상으로 실시한 평가에서 Anthropic, OpenAI, Google DeepMind가 상위권을 유지했지만 최고 등급도 C+에 머물렀다. 연구진은 일부 기업에서 기존 안전 공약이 후퇴하는 사례도 확인됐다고 밝혔다.

FLI의 사비나 농(Sabina Nong) 연구원은 "AI 성능은 매우 빠르게 발전하고 있지만 안전 수준은 그 속도를 따라가지 못하고 있다"고 지적했다.

국내에서는 한국전자통신연구원이 전문가 검토와 대규모언어모델(LLM) 교차 검증을 결합한 한국어 AI 안전 데이터셋 구축 사례를 소개했으며, NAVER AI Safety Center는 서비스 전 생애주기를 관리하는 'NAVER AI Safety Framework(ASF) 2.0'을 공개했다.

행사 후반에는 AI 모델의 취약점을 찾는 대규모 레드티밍 워크숍도 진행됐다.

AIM Intelligence가 공개한 'Judgement Day' 챌린지에는 전 세계 473명이 참여해 12만8000건이 넘는 공격 사례를 제출했다. 응급실 환자 분류, 댐 수문 제어, 선거 딥페이크 탐지 등 실제 사회 기반 시설과 연계된 8개 시나리오를 대상으로 진행된 실험에서는 5만 건 이상의 공격이 성공한 것으로 나타났다.

특히 실시간 위조 영상(Liveness Spoofing)에 대해서는 최고 수준 AI 모델도 31.6%의 공격 성공률을 보였지만 동일한 정지 이미지에서는 0.7%에 불과해 향후 실시간 영상 인증 기술이 AI 안전의 핵심 과제로 떠오를 것으로 분석됐다.

이번 포럼은 세계 최대 머신러닝 학술대회인 ICML 2026과 연계 개최되면서 글로벌 연구자들과의 협력 기반도 한층 확대했다.

한국전자통신연구원 인공지능안전연구소는 앞으로 문화적 지역화 기반 안전 벤치마크 구축과 에이전트 AI 보안, 프론티어 AI 안전성 평가 등 후속 연구를 지속 추진하며 국제 협력을 더욱 강화해 나갈 계획이라고 밝혔다.

이번 SFASS 2026은 AI 안전 논의가 단순히 "AI가 무엇을 말하는가"를 넘어 "AI가 실제 어떤 행동을 수행하는가", 더 나아가 "현실 세계에서 어떤 결과를 만들어내는가"로 빠르게 확장되고 있음을 보여준 자리였다. 동시에 표준화된 안전 평가 체계와 국제 공조, 문화적 다양성을 반영한 AI 안전 기준이 차세대 글로벌 AI 거버넌스의 핵심 과제로 자리 잡고 있음을 확인시킨 의미 있는 행사로 평가된다.