신규 연구, 생성 AI의 널리 퍼진 오용 발견
구글 딥마인드, 지그소, 구글.org의 연구원들은 2023년 1월부터 2024년 3월까지 생성 AI(GenAI)의 오용에 관한 200건의 언론 보도를 종합 분석했습니다. 연구에 따르면 대부분의 오용은 GenAI 기능을 악용하는 것이지 모델을 직접 공격하는 것은 아니라고 밝혀졌습니다. 신원 도용, 양말 인형술, 비합의적 친밀한 이미지 생성 등의 전술이 포함됩니다. 또한 허위 정보 유포와 AI 기반 봇을 활용한 콘텐츠 확대는 일반적인 오용 형태입니다.
연구원들은 이러한 오용이 쉽게 접근할 수 있는 GenAI 기능을 활용하며 최소한의 기술적 전문성을 필요로 한다는 사실을 발견했습니다. 이러한 오용이 악의적이지 않을 수 있지만 상당한 윤리적 문제를 제시합니다. 정치적 조작, 특히 억지 녹색운동과 가짜 미디어 제작은 보고된 사례의 27%를 차지하는 일반적인 동기였습니다. 사기성 제품 및 서비스를 통한 수익화는 21%로 그 뒤를 이었고, 정보 도용은 18%로 세 번째였습니다.
GenAI 시스템을 직접 대상으로 하는 공격 사례는 드물었으며, 연구 기간 동안 문서화된 사례는 단 두 건이었습니다. 이 사례들은 무단 데이터 긁어오기를 방지하고 검열되지 않은 콘텐츠 생성을 가능하게 했습니다. 연구는 GenAI 오용이 초래하는 진화하는 위협 상황에 대처하기 위한 개선된 데이터 공유와 종합적인 산업계 대응의 필수성을 강조합니다.
주요 결론
- 생성 AI의 오용은 주로 시스템 기능을 악용하는 것이지 직접 공격하는 것은 아닙니다.
- 일반적인 오용 형태에는 신원 도용과 AI 기반 봇을 통한 허위 정보 유포가 포함됩니다.
- 생성 AI 오용 전술 중 많은 부분이 최소한의 기술적 전문성으로 실행 가능합니다.
- 오용의 동기는 종종 대중 의견에 영향을 미치거나 서비스에서 이익을 얻는 것과 관련이 있습니다.
- 정치적 조작과 옹호 사례는 진실성의 흐림을 보여주고 있습니다.
분석
생성 AI 오용의 일반화, 특히 신원 도용과 오인 정보 영역에서는 구글과 그 자회사를 포함한 기술 거대기업에 상당한 과제를 제시합니다. 단기적으로는 이러한 경향이 AI 기술에 대한 대중의 신뢰를 약화시키고 규제 감시를 촉진할 수 있습니다. 장기적으로는 견고한 산업계 협력과 엄격한 윤리 지침의 시행이 필요합니다. 또한 기술 주식과 관련된 금융 상품은 변동성이 증가할 수 있습니다. 정치 기관과 옹호 단체도 위험에 처해 있으며, AI 오용은 대중 토론에서 진실성을 복잡하게 만듭니다. 고급 기술 능력 없이도 오용이 쉽게 이루어질 수 있다는 점은 종합적인 산업계 대응과 향상된 데이터 보안 조치의 긴급성을 강조합니다.
알고 계셨나요?
- 양말 인형술: 이 관행은 특정 의제를 촉진하거나 청중을 오도하기 위해 AI 생성 인물을 사용하여 공개 의견을 조작하기 위해 가짜 온라인 인물을 만드는 것을 포함합니다.
- 억지 녹색운동: 가짜 온라인 인물이나 조정된 캠페인을 사용하여 진짜 기반 지지를 시뮬레이션하는 기만적인 전략으로, 생성 AI 오용에서 가짜 대중 지지를 만들기 위해 특히 관련이 있습니다.
- 검열되지 않은 콘텐츠 생성: 설정된 가이드라인을 준수하지 않고 콘텐츠를 생성할 수 있는 AI 시스템의 능력을 말하며, 광범위한 유해 또는 오해의 소지가 있는 콘텐츠의 탐지 및 방지를 도전하고 있습니다.