생성형AI로 개인정보 20초만에 탈취...AI해킹 악용 가능성 입증

조인준 기자 / 기사승인 : 2025-02-25 11:50:11
  • -
  • +
  • 인쇄
@newstree

생성형 인공지능(AI) '챗GPT' 등 거대언어모델(LLM) 에이전트를 이용하면 개인정보를 손쉽게 탈취할 수 있다는 사실이 입증돼 AI 에이전트에 보안장치가 필요하다는 지적이다.

한국과학기술원(KAIST) 전기및전자공학부 신승원 교수와 김재철 AI대학원 이기민 교수 연구팀은 실제환경에서 챗GPT, 제미나이 등과 같은 LLM 기반 AI 에이전트를 사용해 주요 대학 컴퓨터과 교수들의 개인식별정보를 자동 수집하는 테스트를 실시한 결과, 평균 5∼20초 안에 30∼60원의 저렴한 비용으로 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었다.

AI의 공격 방식은 크게 세 단계로 나눠져 분석됐다. 처음에는 웹 검색과 데이터 마이닝 기술로 목표물 흔적을 추적하는 '정보 수집 단계', 이후 머신러닝 알고리즘으로 수집 정보의 패턴을 읽고 취약점을 찾아내는 '분석 단계', 마지막으로 자연어 생성 모델을 통해 실제 '공격 실행 단계'로 들어간다.

연구팀이 직접 AI로 사이버 공격을 시행해본 결과, AI는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집한 것으로 나타났다. 웹 검색과 내비게이션 기능이 더해진 AI는 한 사람당 최대 535.6개의 개인정보를 추출해냈다. 이렇게 수집한 정보로부터 보안 취약점을 찾아내 공격하는 것이다.

심지어 AI는 대상의 언어 패턴과 심리적 특성까지 파악해 맞춤형 공격까지 설계해낼 수 있었다. 연구팀이 AI로 저명한 교수를 사칭한 게시물을 작성하자 진짜 같다는 평가가 93.9%에 달했고, 피싱 이메일의 링크 클릭률은 46.67%에 달했다. 피싱 이메일의 평균 링크 클릭률이 15%가 채 안되는 점을 감안하면 피싱 성공률이 3배에 달하는 셈이다.

연구팀은 LLM이 웹 기반 도구와 결합할 때 위험성이 크게 오를 수 있다고 경고했다. AI가 웹사이트 데이터를 자동 수집하는 기술로 실시간 정보를 파악하고, 심층학습 알고리즘으로 이를 분석해 더 정교한 공격을 벌일 수 있기 때문이다. 특히 가장 위험한 건 AI가 사이버공격을 반복하면서 강화학습을 통해 성공률을 높인다는 점이다.

현재 오픈AI와 구글 등은 생성형 AI에 각종 보안 장치를 붙여놓고 있다. 하지만 연구팀은 사용자들이 AI 시스템을 속이는 방법으로 이런 보안망을 뚫을 수 있다고 우려하며, 여러 기기가 협력해 AI를 학습시키는 연합학습 방식과 차등 프라이버시 등 새 보안 기술 도입을 제안했다.

신승원 교수는 "이번 연구는 정보보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며, 연구팀은 LLM 서비스 제공업체 및 연구기관과 협력해 보안대책을 논의할 계획"이라고 밝혔다.

이번 연구결과는 컴퓨터 보안분야 최고학회 중 하나인 '유닉스운영체제 사용자그룹 보안심포지엄 2025'에 게재될 예정이다.

Copyright @ NEWSTREE All rights reserved.

뉴스트리 SNS

  • 뉴스트리 네이버 블로그
  • 뉴스트리 네이버 포스트
  • 뉴스트리 유튜브
  • 뉴스트리 페이스북
  • 뉴스트리 인스타그램
  • 뉴스트리 트위터

핫이슈

+

ESG

Video

+

ESG

+

"낡은 옷, 포인트로 바꾸세요"...현대百 '바이백' 서비스 시행

현대백화점이 중고패션 보상프로그램 '바이백(buy back)' 서비스를 도입한다. 가지고 있는 의류를 되팔면 해당 상품 중고시세에 해당하는 금액을 현대백

SK이노베이션, 2030년까지 베트남 맹그로브숲 복원 나선다

SK이노베이션이 베트남에서 '아시아의 허파'로 불리는 맹그로브숲 복원사업에 나선다.SK이노베이션은 7일 베트남 짜빈(Tra Vinh)성 정부 및 현지 사회적기

KCC글라스 '2024-25 ESG보고서' 발간...KPI와 연계

KCC글라스가 지속가능경영 성과와 성장전략을 담은 '2024/25 ESG보고서'를 발간했다고 7일 밝혔다.올해 다섯번째로 발간된 이번 보고서는 △ESG 전략목표와

[최남수의 ESG풍향계] 글로벌 기업들 '지속가능 공시' 적극적인 이유

이재명 정부는 ESG 정책에 대해 전향적인 변화를 줄 것으로 예상된다. 그 가운데 정책의 우선순위를 둘 것으로 보이는 정책은 지속가능성 공시다. 윤석

SK케미칼 '2024 지속가능 경영보고서' 발간..."5대 과제 평가 담아"

SK케미칼이 1년간의 ESG성과와 향후 전략을 담은 '2024 지속가능경영보고서'를 발간했다고 7일 밝혔다. 이번 보고서는 글로벌 공시 기준으로 통용되는 △

정부 '위약금 면제' 수용한 SKT..."정보보호에 7000억 투자" 결정

SK텔레콤이 해킹 사고로 번호이동한 가입자에 대해 위약금을 면제해야 한다는 정부의 요청을 수용하기로 결정했다.SKT는 침해사고 발생전인 4월 18일 기

기후/환경

+

'참치' 늘고 '오징어' 줄고...뜨거워진 동해안 어종 바뀌고 있다

동해안은 전세계 연안에 비해 수온이 3배 빠르게 상승하고 있는 탓에 어종도 바뀌고 있다.연일 35℃가 넘는 폭염이 한창인 10일 오후 3시 동해안의 수온

"기후에너지부 제대로 작동하려면 기후재정 혁신해야"

정부가 기후예산을 재설계하지 않고 기후에너지부를 개편하는 것만으로는 탄소중립을 달성할 수 없다는 전문가들의 제언이 나왔다.10일 기후재정포럼

'불판'으로 변한 지구…40℃ 폭염이 일상화 되려나

지구촌 곳곳이 '불판'처럼 달아오르고 있다. 아직 한여름이 시작되지 않았는데 유럽과 중국 그리고 우리나라의 한낮 기온이 40℃를 넘나들고 있다. 지

수백명 희생된 美 텍사스주 대홍수 나흘만에 뉴멕시코도 '홍수'

미국 텍사스주에서 대홍수 참사가 발생한지 나흘만에 이번에 뉴멕시코주에서 홍수로 인명 피해가 발생했다.9일(현지시간) AP통신 등 현지언론에 따르

'온열질환자' 하루새 200명 발생…'살인폭염' 언제까지?

수도권 낮 최고기온이 40℃가 넘는 등 무더위가 기승을 부리는 가운데 하루 사이에 온열질환자가 200명 넘게 발생했다. 문제는 이같은 더위가 한동안 계

산불 발생한 강 유역 오염도 103배...오염 8년간 지속된다

폭염으로 인해 세계 곳곳에서 산불이 발생하고 있는 가운데 산불이 발생한 지역은 산불 재로 인해 수자원 오염이 심각한 것으로 드러났다.8일(현지시

에너지

+

순환경제

+

오피니언

+