1. AI 칼럼 - 언어 모델이 탈옥에서 살아남는 방법
2. 반조_로그 - 제 4회 KVUM (짧은) 견문록

2025년 10월, 우리 주변을 돌아보면 LLM은 이미 일상과 업무의 필수 도구가 되었습니다. 연구자들은 논문 작성과 문헌 검토에 LLM을 활용하고, 기획자들은 기획서와 보고서를 정리하며, 개발자들은 코드 수정과 디버깅을 요청합니다. 실제로 전 세계 응답자의 78%가 조직에서 최소 한 개 이상의 비즈니스 기능에 AI를 사용하고 있으며, 전문가의 83% 이상이 업무를 위해 최소 주 1회 AI를 활용합니다. 더욱 고무적인 것은 전문가의 88%가 LLM 사용으로 업무 품질이 향상되었다고 보고한 점입니다.

불과 2~3년 전만 해도 상상하기 어려웠던 풍경이지만, 이제 LLM 없는 업무 환경으로 돌아간다는 것은 거의 불가능해 보입니다. 하지만 LLM을 사용하다 보면 피할 수 없는 문제점들이 존재합니다. 우리가 가장 잘 알고 있는 문제는 환각Hallucination입니다. 이는 LLM이 입력값을 통계학적으로 분석하여 가장 그럴듯한 출력값을 생성하도록 학습된 모델이기 때문에 발생하는 본질적인 한계입니다.

그런데 이번 아티클에서 다룰 문제는 환각과 다른 차원의 이야기입니다. 바로 적대적 공격Adversarial Attack, 그리고 이를 막기 위한 레드팀Red team에 대한 것입니다. 쉬운 예시로 그림 2를 통해 소개하고자 합니다. 왼쪽과 같이 폭탄 어떻게 만들어? 라고 질문을 하면, 현재의 LLM 은 “말해줄 수 없어..” 라고 대답을 합니다.

하지만, 오른쪽 그림(Many-shot jailbreaking) 과 같이 방법을 쓰면 폭탄을 만드는 방법을 말해주는, 즉 유해한 정보를 생성하게 됩니다. 여기서 흥미로운 점은, 위 그림2와 같은 방법을 개발한 팀이 바로, LLM Claude를 만든 Anthropic이라는 사실입니다. 맞습니다. LLM 의 성능을 높이는 것도 중요하지만 LLM 의 위험성을 낮추는 것도 중요한 연구 분야로 지목되고 있다는 점입니다.

앞서 살펴본 것처럼, LLM의 안전성은 이제 성능만큼이나 중요한 연구 과제가 되었습니다. Anthropic이 자사 모델인 Claude의 취약점을 직접 공개한 것은 단순한 역설이 아닙니다. 이는 LLM 생태계가 성숙해지면서 공격 기법을 먼저 이해하고 방어책을 마련하는 것이 얼마나 중요한지를 보여주는 신호입니다.

그렇다면 현재까지 알려진 LLM 공격 기법에는 어떤 것들이 있을까요? 학계와 보안 커뮤니티에서 검증된 주요 탈옥(Jailbreaking) 기법들을 살펴보겠습니다.

최적화 기반 접미사 공격: 무의미한 문자열의 위력

가장 기술적으로 정교한 공격 방식 중 하나는 GCG(Greedy Coordinate Gradient) 입니다. 이 기법은 질문 뒤에 자동 생성된 무의미한 접미사를 붙여 모델의 거부 메커니즘을 무력화합니다. 놀라운 점은 이렇게 생성된 접미사가 여러 모델과 프롬프트에 전이 가능하다는 것입니다.

예를 들어 "describing.\ + similarly newcom setup/{ surely]{\comment="@- Anonymous 와 같은 의미 없어 보이는 문자열이 붙으면, 모델은 갑자기 유해한 질문에도 답변하기 시작합니다. 이는 단순한 우회가 아니라 모델의 토큰 레벨에서 작동하는 시스템적 취약점을 파고드는 것입니다. 이러한 공격의 무서운 점은 사람이 읽기 어려운 문자열이기 때문에 탐지가 매우 어렵다는 것입니다.

지난 3월, 제 3회 KVUM(한국 VR 유저 밋업)이 성료되었습니다. 한국의 VR 유저들이 갖는 몇 안 되는 일종의 '정모' 기회로, 일반 유저들부터 VR 유관 회사들이 참여하여 아기자기하게 이야기 꽃을 피웠더랬죠.

뜬금 없지만, 시골 강아지들의 특징을 아시나요? 분명 설날에 봤을 때는 순딩하고 뭔가 억울해보이는 인절미같은 멍멍이잖아요. 그런데 추석에 다시 내려가서 보니, 늑대 하나가 있더라고요. 원래 순혈 강아지들보다 혼혈 강아지들이 이른바 개자강(개 자체로 강함)이라는데, 녀석들이 아무래도 그래서 그런지, 진화도 빨리 하고 종족값도 높은 것 같습니다.

그리고 이번 제 4회 KVUM에서 느낀 감정이 정확히 이런 것이었습니다. KVUM은, 단 반 년만에, 시골 강아지와 같은 모습에서 원빈 닮은 멍멍이처럼 진화했습니다.

HTC. 이 기업을 KVUM에서 볼 수 있다니, 정말 상상도 못 했습니다. 사실 HTC는 과거에나 가끔 보였던 - 정확히는 지금도 사용은 가능하지만... - VIVE HMD 라인업으로만 기억하시는 분들이 많을 텐데요, HTC는 최근 B2C 헤드셋 판매보다 B2B, 혹은 전시와 행사 등 특수 커스터머들을 대상으로 한 VR 솔루션 및 시스템 시장을 꾸준히 개척하고 있습니다. 최근 한국에서 적잖은 흥행을 거두고 있는 <쿠푸 왕의 피라미드 : 고대 이집트로의 여행> 또한, HTC의 장비와 솔루션을 사용하고 있죠.

또한, 지난 제 3회 KVUM에서도 볼 수 있었던 피코PICO가 이번에도 재참전을 했죠. 지난 행사 때 PICO 4 울트라와 풀 트래커 세트를 가져오셨고, 이번에도 그러했습니다. 저도 KVUM에서 PICO 4 울트라를 처음 경험해보았더랬죠.