최근 중고거래 플랫폼에서 카메라를 구매하려던 김여름(가명) 씨는 정교한 인공지능(AI) 이미지에 속아 거액을 사기당했다. 판매자가 포스트잇에 이름과 날짜를 적어 물건과 함께 찍은 '인증샷'을 보냈기에 의심하지 않았지만, 알고 보니 타인의 사진에 AI로 포스트잇을 합성한 것이었다. 김 씨는 "위화감이 전혀 없어 믿을 수밖에 없었다"고 분통을 터뜨렸다.

소상공인들도 AI의 표적이 됐다. 수제 햄버거 식당을 운영하는 김 모 씨는 최근 '패티가 덜 익었다'는 소비자 불만을 접수했다. 조리 공정상 불가능한 일이었지만, 손님이 보내온 사진 속 패티는 AI로 조작된 듯 정교하게 덜 익은 모습이었다. 김 씨는 "합성이 의심되지만 증명할 방법이 없다"며 토로했다.

7일 <메트로경제 신문> 취재를 종합해보면 챗GPT, 제미나이 등 이미지 생성 AI의 편집 기능이 비약적으로 발전하며 이를 악용한 범죄가 일상을 파고들고 있다.

특히 최근 화제가 된 구글의 '제미나이 2.5 플래시(나노 바나나)' 모델은 이미지 속 인물과 사물의 일관성을 유지하며 자연스럽게 합성하는 능력이 뛰어나 악용되고 있다. 과거 포토샵 등 전문 기술이 필요했던 사진 조작이 이제는 초보자도 몇 초 만에 실행할 수 있는 '대중적 사기 수단'이 된 것이다.

악용 사례는 국내외를 가리지 않는다. 영국에서는 에어비앤비 호스트가 AI로 조작된 숙소 파손 사진을 제출해 수천 파운드의 허위 보상금을 청구했다가 들통났다. 호주에서는 AI로 합성된 가짜 영수증과 송장을 이용한 세금 공제 및 보험 사기가 급증하고 있다. 국제공인부정조사협회(ACFE)는 전 세계 보험 조직이 매출의 약 5%를 이러한 사기로 잃고 있다고 분석했다.

범죄가 교묘해지자 플랫폼들도 대응에 나섰다. 번개장터는 머신러닝 기반 사기 탐지 시스템을 도입했고, 중고나라는 AI 이미지 검수로 워터마크 식별과 파손 여부를 판별하고 있다. 그러나 범죄자들 역시 동일한 AI 기술을 활용해 방어망을 뚫는 '창과 방패'의 싸움이 이어지고 있다.

정부는 내년 1월 시행되는 'AI 기본법' 하위 법령을 통해 AI 생성물에 가시적 식별표지(워터마크) 삽입을 의무화할 방침이다. 특히 영상물의 경우 재생 내내 워터마크를 노출해야 한다는 강경한 입장을 보이고 있다.

하지만 IT 업계는 "현실을 무시한 과잉 규제"라며 반발한다. 단순 채색이나 오타 수정 등 보조적 도구로 AI를 쓴 경우까지 워터마크를 강제하는 것은 창작 자율성을 침해한다는 주장이다. 또한 기술적으로도 가시적 워터마크는 AI를 이용해 손쉽게 제거가 가능하다는 맹점이 있다. 실제로 구글의 제미나이조차 명령 한 번에 자사 워터마크를 지워 논란이 된 바 있다.

전문가들은 단순 표기 의무화보다는 메타데이터 암호화나 삭제가 불가능한 비가시적 워터마크 등 기술적 표준 마련이 시급하다고 입을 모은다. AI가 누구나 쉽게 범죄를 저지를 수 있는 도구가 된 만큼, 기존 신뢰 체계를 대체할 새로운 검증 시스템 도입이 절실한 시점이다.

업계 관계자들은 기술 발전 속도를 제도와 인식이 따라가지 못하고 있다고 지적한다. IT 플랫폼 관계자는 "과거에는 사진 위조 여부를 육안으로 가려낼 여지가 있었지만, 최근 AI 합성 이미지는 원본과 구분이 사실상 불가능한 수준"이라며 "플랫폼 차원의 필터링만으로는 한계가 명확하다"고 말했다.

또 다른 IT업계 관계자는 "AI 이미지 사기는 특정 플랫폼의 문제가 아니라 결제, 보험, 세무 등 신뢰를 전제로 한 모든 산업으로 확산될 수 있다"며 "사후 책임을 플랫폼에만 지우기보다 기술 표준과 법적 기준을 함께 정비해야 한다"고 강조했다.