생성형 인공지능이 말해주는 대형 언어 모델, 진짜일까?

언론사 : 보안뉴스

뉴스 제목 : 단단히 착각 속에 빠진 대형 언어 모델, 개발자들을 위험에 빠트린다

게시일 : 2024-04-01

URL : https://m.boannews.com/html/detail.html?mtype=2&tab_type=D&idx=128377

단단히 착각 속에 빠진 대형 언어 모델, 개발자들을 위험에 빠트린다

---

[ 기사 요약 ]

소프트웨어 개발자들이 대형 언어 모델을 적극적으로 활용하며 부작용들이 나오기 시작하며, '대형 모델의 환각 증상(hallucination)'을 악용하는 사람들이 생기기 시작하였다.

이전에도 이런 방향의 연구와 실험은 많이 실행되었다. 예를들어 챗 GPT는 코드 라이브러리들의 이름을 창작하기에 공공 코드 리포지터리에 있지도 않은 패키지들에 대한 링크를 개발자들에게 제공하는 경우들이 있다. 공격자들은 이러한 챗 GPT의 환각 증세를 활용해 멀웨어를 퍼뜨릴 수 있다. 라소의 보안 전문가 바 라냐됴(Bar Lanyado)는 실험을 통해 GPT3.5 터보, GPT-4, 제미나이 프로, 코럴이라는 네가지 대표적인 대형 언어들 모두 '패키지 환각'문제가 공통적으로 존재함을 알아낼 수 있었다.

이를 악용하기 위해 공격자가 미리 준비해야 할 것은 인공지능 모델들이 제공하는 '환각 패키지'의 이름이다. 스스로 인공지능 모델들을 좀 만지면서 패키지 이름을 확보하기만 하면, 그 이름을 가지고 악성 패키지를 만들어 리포지터리에 업로드하면 그만이다. 해커들로서는 대단히 간단한 작업이다.

 

"만약 대형 언어 모델을 옆에 두고 코딩을 한다면, 가짜 패키지에 대한 추천을 받을 때가 빈번하게 생길겁니다. 여러 언어 모델들이 똑같이 추천을 한다면 깜빡 속기 쉽겠죠. 공격자는 이를 활용해 환각으로 나올 만한 이름으로 악성 패키지를 꾸려 리포지터리에 올려두면 됩니다. 그러면 개발자들이 활발하게 가져가죠. 그런 패키지들이 없으면 대형 언어 모델이 이상한 답을 내놓았다고 여기며 끝날 일인데, 가짜 패키지를 미리 준비해두면 인공지능의 환각과 같은 의심은 전혀 들지 않습니다. 속기에 딱 좋죠."  - 바 라냐됴(Bar Lanyado) -

 

[ 개인 의견 ]

생성형 인공지능이 발전하고 수많은 사람들이 편리하게 사용하면서 문제가 많이 생기고 있는데, 항상 정보 유출 혹은 멀웨어 생성에 관한 문제만 보다가 생성형 인공지능이 만든 가짜 정보를 악용하여 낚는 방법을 접하니 이로운 점이 있다면 그에 대한 위험도 수반하는 구나라고 생각하였다.

생성형 인공지능 안쓰기에는 너무 좋고 그렇다고 생각없이 쓰기에는 위험하고....어떤 마음가짐으로 사용하는게 제일 좋을까...?

생성형 AI 보안가이드라인.pdf

1.94MB