AI 발전으로 누구나 손쉽게 딥페이크 이미지 및 영상 콘텐츠를 만들 수 있게 되면서 유명인 사칭 온라인 피싱 범죄가 발생했고 일반인들도 성적 거짓 영상물 범죄의 피해자가 될 위험이 커지고 있다.

이에 대응해 미국이나 유럽연합에서는 실제와 가상을 구분하지 못해 발생하는 피해와 혼란을 막기 위해 딥페이크 콘텐츠가 AI로 만든 것임을 표시하도록 하는 법제를 완성했다. 국내에서도 비슷한 내용을 담은 법안이 22대 국회에서 이미 6건 발의된 상태다.

21일 국회입법조사처가 낸 ‘딥페이크 식별을 위한 AI 생성물 표시 의무 입법 방안’ 보고서에 따르면 9월 30일 기준 제22대 국회에 총 11건의 인공지능법안이 발의돼 있고, 이 중에서 6건 법안(이훈기·배준영·한민수·민형배·정점식·안철수)이 생성형 AI로 만든 콘텐츠는 해당 사실을 고시하도록 규정하고 있다. 생성형 AI를 이용해 제품 또는 서비스를 제공하려는 자는 해당 제품 또는 서비스의 결과물이 생성형 AI에 의해 생성됐다는 사실을 표시해야 한다는 내용이다.

이에 대해 보고서는 “실제 법률 집행 과정에서 무엇이 ‘생성형 AI’인지 판단하는 것이 쉽지 않고, 의무 불이행에 대한 처벌 조항이 없어서 이행력을 확보하기도 어려울 수 있다”고 평가했다.

제22대 국회에 발의된 ‘정보통신망 이용촉진 및 정보보호 등에 관한 법률 일부개정법률안’ 중에도 AI 생성물임을 표시하도록 하는 법률안이 있다.

주요 내용은 AI 기술로 만든 실제와 구분하기 어려운 가상의 콘텐츠는 AI로 생성한 것임을 명확하게 인식할 수 있도록 표시하고, 표시 의무 위반시 과태료를 부과하며, 정보통신서비스 제공자는 자신이 운영･관리하는 정보통신망에 적합한 표시를 하지 않은 정보가 유통되는 것을 발견한 경우 지체 없이 해당 정보를 삭제하도록 한 것이다.

보고서는 “이 법률안은 피규제자의 다양성을 고려하지 않고 모든 사업자･이용자를 규제하며, 적용 대상을 ‘실제와 구분하기 어려운’ 것으로 규정해 주관적 판단이 개입할 우려가 크고, 제도 정착에 필요한 최소한의 정부 지원도 고려하지 않아서 건전한 딥페이크 생태계까지 위축시킬 우려가 있다”고 분석했다.

보고서는 “AI 발전 속도를 고려한다면 앞으로 딥페이크는 더욱 증가하고 정교해질 것이다. 지금처럼 피해자의 신고에 의존하거나 규제기관의 모니터링으로 차단하는 방식은 한계에 직면할 수밖에 없다”면서 “딥페이크가 만들어지고 유통되는 단계에서 적절하게 표시될 수 있도록 의무화하는 것이 필요하다”고 강조했다.

표시 의무 적용 범위와 관련해 외국의 입법례를 보면 딥페이크가 아니라 AI로 생성된 콘텐츠를 표시하도록 해 적용 범위를 명확히 하고 있다. 보고서는 “국내에서도 표시 의무 대상을 AI로 생성한 콘텐츠로 정하는 것이 효과적일 수 있다”면서 “대신 과도한 표시 부담을 줄이기 위해 피해 가능성이 낮은 분야는 예외로 정할 필요가 있다”고 밝혔다.

표시 의무 부과 대상에 대해서는 AI 모델을 개발･판매하는 자와 AI 모델을 자신의 제품･서비스에 활용하는 자 등은 표시 의무가 필요하다고 판단했다.

이와 함께 “AI 생성물 표시 기술의 신뢰성을 높이고, 일부 기업이 기술을 독점해 표시 기술 자체가 시장의 진입장벽이 되지 않도록 정부는 기술개발에 대한 지원을 강화해야 한다”면서 “이 과정에서 국제표준과 조화를 이루도록 긴밀한 국제협력도 필요하다”고 밝혔다.

이어 “이용자가 다양한 정보와 표시를 확인하여 딥페이크임을 알고 비판적으로 활용할 수 있도록 정부는 개인의 디지털 리터러시를 함양하는 조치도 병행해야 한다”고 덧붙였다.

박소원 기자 hopepark@naeil.com