진짜일까? 가짜일까?

언론사 : 보안 뉴스

뉴스 제목 : 진짜·가짜 구분 못하는 사용자, 이들 노리는 '생성형 AI' 활용 사이버 공격 증가

게시일 : 2023-08-18

URL : 진짜·가짜 구분 못 하는 사용자, 이들 노리는 ‘생성형 AI’ 활용 사이버 공격 증가 (boannews.com)

진짜·가짜 구분 못 하는 사용자, 이들 노리는 ‘생성형 AI’ 활용 사이버 공격 증가

 

 

---

 

기사 요약

최근 생성형 A(Generative AI) 도구들이 국내외에서 잇달아 나오면서 AI에 대한 위협 행위자들의 관심도 커지고 있다.

맨디언트(Mandiant)는 최근 '생성형 AI 활용 사이버 공격 활동'과 관련한 보고서를 발표하였으며, 이러한 침투 작전에 AI를 활용하는 것은 주로 사회공학적 기법과 연계되어 있다고 분석했다.

생성형 AI를 활용한 위협 행위자들의 사이버 공격 활동은 크게 아래와 같이 분류할 수 있다.

1. 정보 작전에서 생성형 AI 활용
2. 정보 작전에 도입되는 생성형 AI 기술
3. AI로 이미지 생성
4. AI로 비디오 조작
5. AI로 텍스트 생성
6. AI로 오디오 생성
7. 소셜 엔지니어링 개성

멘디언트 관계자는 "위협 행위자들은 새로운 기술을 지속적으로 활용하고, 변화하는 사이버 위협 환경에 적응하며 전략을 개선하고 있다. 일반 대중이 진짜와 가짜를 구별하지 못하는 것을 노리는 악의적인 공격은 계속될 것이다. 사용자와 기업 모두 생성형 AI로 수집된 정보에 대한 주의가 필요하다. 공격자들이 생성형 AI에 관심을 두는 것은 명백하지만, 아직은 활용 폭이 제한적이며 당분간 이런 분위기가 이어질 것으로 보인다."고 밝혔다.

 

개인 의견

저번에 딜로이트 '지능형 IoT : AI의 힘을 사물인터넷과 결합하기' 기사 리뷰를 보고도 말했던 것인데, AI가 많이 뜨면서 유용한 점도 많지만 그만큼 어두운면도 많다는 것에서 이번 기사가 그러한 어두운 면인 것 같다.

생성형 AI라고 하면 ChatGPT를 포함할 수 있는데, ChatGPT의 경우에도 버전을 높여서 내가 CTF를 풀고있는데 이러한 코드에서 Injection할 수 있는 코드, 방법 말해줘 이렇게하면 줄줄 말해주는 것을 보고 기술이 없거나 부족한 해커들이 더 활개칠 수 있는 상황을 만들어주는 거 아닌가? 이런 생각이 들었다.

그리고 코드를 만들어주는 것 뿐만 아니라 시나리오를 짜준다던지, 새로운 해킹 아이디어를 말해준다던지 이렇게 위협 행위자들에게 이점을 주고있다. 뭐....그러한 위협을 방지하기 위한 시큐어 코딩이나 보안 방안도 말해주긴 하지만...작은 아이디어를 참고하여 그러한 보안을 뛰어 넘는 공격은 생길 수 있기에 항상 주의해야할 것 같다.

또한 대기업에서는 이러한 생성형 AI들을 사용하지 못하게 하는데...그렇게 체계가 잘 잡혀있고 오랫동안 유지하고 있는 곳이라면 그러한 이유가 있지 않을까 싶다. 왜냐하면 다들 편하고 더 좋고 이득되는걸 그곳에서 사용하지 않는다는 건 사용했을 때 그러한 편리함을 포기할 만큼의 리스크가 있다는 거니깐...

아무튼 항상 주의를 기울이며 정보를 수집하고 믿어야할 듯하다.

 

---

 

[ 용어 정리 ]

 

메타스플로잇(Metasploit)

- CVE 넘버링이 붙은 알려진 취약점 공격을 사용할 수 있도록 제공되는 도구

- 해킹을 간단하게 할 수 있도록 도와주는 모의해킹 테스트 도구

(메타스플로잇(Metasploit) Msfconsole 사용법 및 활용 / 업데이트 (tistory.com))

 

코발트스트라이크

- 침투 테스터와 보안 레드 팀이 실제 사이버 위협을 시뮬레이션하기 위해 사용하도록 만들어진 폭 넓은 맞춤 구성이 가능한 공격 프레임워크

- 기업 및 기관의 네트워크와 시스템에 대한 보안 취약점을 점검하는 레드팀을 위한 JAVA 기반 사용 침투 테스팅 도구

("'침투 테스트 툴의 역습" 코발트 스트라이크 크랙 버전 주의보 - ITWorld Korea)

(침투 테스팅 도구 Cobalt Strike Part.1 기능편 - Security & Intelligence 이글루코퍼레이션 (igloo.co.kr))

 

대형언어모델(Large Language Model, LLM)

- 거대 언어 모델이라고도 한다.

- 수많은 파라미터(보통 수십억 웨이트 이상)를 보유한 인공 신경망으로 구성되는 언어 모델

- 자기 지도 학습이나 반자기지도학습을 사용하여 레이블링되지 않은 상당한 양의 텍스트로 훈련된다.

(대형 언어 모델 - 위키백과, 우리 모두의 백과사전 (wikipedia.org))

 

적대적 생성 신경망(Generative Adversarial Network, GAN)

- 두 개의 신경망 모델이 서로 경쟁하면서 더 나은 결과를 만들어내는 강화 학습의 일종

(GAN(Generative Adversarial Network), 적대적 생성 신경망 (tistory.com))

 

엔드포인트 탐지 및 대응(EDR)

- 바이러스 백식 소프트웨어와 기타 기존의 엔드포인트 보안 도구를 넘어서는 사이버 위협으로부터 조직의 최종 사용자, 엔드포인트 디바이스 및 IT 자산을 자동으로 보호하도록 설계된 소프트웨어

(EDR(Endpoint Detection and Response) I IBM)