미트프록시
인터넷에 도는 미트 프록시는 AI 에이전트가 답변한 내용을 스스로 검토하지 않고 그대로 동료에게 전달하는 행위를 비꼬는 말로 보인다.
사실 나도 미트 프록시다.
오늘도 나는 속았다
오늘도 일하는 과정에서 클로드 코드 모델이 내놓은 답변을 그대로 믿고 동료에게 "데이터가 이상하다"고 공유했다. 답변 내용을 스스로 살펴보긴 했다. 하지만 에이전트가 그 판단을 내린 근거를 너무나 명확하게 제시했기에 의심 없이 믿고 동료들에게 전달해 버렸다.
이후 동료들과 이야기를 나눈 뒤 의심되는 부분을 에이전트에게 지적했다. 그러자 에이전트는 "정확한 지적"이라며, 다시 확인해보니 자신이 잘못된 판단을 전달했다고 실토했다. 심지어 다시 검증해보는 과정에서도 또다시 잘못된 판단을 내놓는 상황까지 벌어졌다.
알고 보니 문제가 있어요 ㅡ 할루시네이션
"문제없이 가능해요"가 알고 보니 문제가 있어요 로 쉽게 바뀐다.
우리가 AI 에이전트를 업무에 활용하기 전부터 이미 잘 알고 있던 사실이 하나 있다. 바로 환각(할루시네이션)이 빈번하다는 점이다.
프로젝트 저장소의 알려진 보안 취약점(CVE)을 줄이기 위해 분석을 맡겨보면, 에이전트는 특정 패키지나 라이브러리 버전만 바꾸면 문제없이 가능하다고 쉽게 말한다. 하지만 계획대로 작업을 시작해 보면 빌드가 안 되거나, 배포 후에야 화면이 뜨지 않고 스크립트 오류가 터지는 일이 생각보다 많다.
결국 지금 공개된 가장 뛰어난 모델을 써도 전체를 꿰뚫어 보는 전지적 시점이 아니다. 극히 일부만 살펴보고 추정한 결과일 뿐이다. 오히려 추론 성능이 더 좋아지면서 그럴듯하게 가정하거나 추정해 버리는 상황이 더 늘어난 것은 아닐까 하는 의심마저 든다.
새로운 모델에 대한 신뢰
내가 미트 프록시가 되어가는 데는 새로운 모델이 나올 때마다 쏟아지는 과장된 마케팅도 한몫하는 것 같다. 출시 전부터 너무 뛰어나서 위험하다며 공개를 늦추는 분위기가 그렇다. 최근 OpenAI가 공개한 아스트라만 해도 사람을 인증하는 캡챠를 쉽게 통과한다거나, 포켓몬스터 게임을 단시간에 깨고, 어려운 수학 난제를 뚝딱 해결했다는 등의 소식들이 공유되므로 '얼마나 대단하길래'라는 신뢰감을 갖게 만든다.
이런 뉴스를 계속 접하다 보니, 나 역시 무의식중에 AI 에이전트의 답변을 더 신뢰하게 되는 것 아닐까?
리뷰가 병목이다
AI 에이전트가 언제나 정답만을 빠르게 찾아내는 도구가 아니라면, 결국 잘못된 정보를 사람이 찾아내도록 상세하게 리뷰해야 한다.
그런데 업무 생산성을 높이려고 도입한 AI가 역설적으로 '상세한 리뷰'라는 거대한 병목을 만들어낸다. 쏟아지는 답변을 하나하나 뜯어보고 검증하는 일에 지치다 보면, 결국 나도 모르게 AI 에이전트의 답변을 인용해서 넘겨버리는 상황이 생긴다.
최근 나는 코덱스(아스트라)를 활용해서 테스트 자동화를 시도하고 있다. 이제는 조직에서 점차 사라져가는 QA 직무의 영역이다. 그런데 가만히 생각해보면 품질을 높이기 위해 자동화를 짜놓고도, 정작 이 테스트가 정확하다는 걸 어떻게 보장할 수 있을까 의심하게 되어버린다.
AI 에이전트의 분석과 답변에는 언제든 오류가 섞여 있을 수 있다. 동료에게 전달하기 전에 스스로 한 번 더 의심하고 검증해야 마땅하다. 하지만 현실에서 모든 걸 자세하게 리뷰하는 일은 결코 쉽지 않다. 결국 테스트 케이스와 테스트 결과서조차도 또 하나의 리뷰 병목이지 않나 싶다.
진실을 모른다면
나는 사람들이 스스로 리뷰를 안 해서라기보다, 대부분 검증에 실패한 결과라고 생각한다.
따라서 AI 에이전트가 만들어낸 내용의 진실을 스스로 판별해내지 못한다면, 누구라도 언제든 미트 프록시가 되어버리는 상황으로 받아들여야 하지 않을까.