AI가 매긴 100점을 믿지 않기로 했다
이 블로그의 AI 뉴스는 제가 쓰지 않습니다. AI 루틴이 매일 뉴스를 조사해 글을 쓰고, 스스로 점수를 매기고, 기준을 넘으면 사람 확인 없이 배포됩니다. 95점 미만이면 사람 리뷰로 넘어오게 해 두었으니 안전하다고 생각했습니다.
10월 5일, 그 생각이 틀렸다는 걸 알았습니다.
100점짜리 글이 원문을 읽지 않았다
석 달 넘게 멈춰 있던 루틴을 다시 살린 첫날이었습니다. 실행 로그를 지켜보다가 원문 요청이 전부 차단되고 있다는 걸 봤습니다. 루틴이 돌아가는 환경의 네트워크가 뉴스 사이트 접속을 막고 있었고, 루틴은 검색 결과에 붙은 요약 몇 줄만으로 글을 완성했습니다.
그런데 글은 자체 점수 100점으로 게이트를 통과했고, 몇 분 뒤 그대로 자동 배포됐습니다. 문제를 알고 있었는데도 막을 장치가 없었습니다. 원문을 못 읽었는데 100점이었습니다.
점수는 확신의 크기였다
생각해 보면 당연한 일이었습니다. 글을 쓴 쪽이 자기 글을 채점하면, 그 점수가 재는 건 정확도가 아니라 확신입니다. 요약만 보고 쓴 글은 오히려 매끄럽습니다. 원문의 애매한 부분, 서로 다른 보도, 확인 안 된 숫자를 마주칠 일이 없으니까요.
다음 날 글은 89점으로 사람 리뷰에 걸렸습니다. 루틴은 PR 설명에 "원문을 못 열었다"고 적어 두기까지 했지만, 그 사실이 리뷰로 보내는 기준은 아니었습니다. 점수가 95점을 넘었다면 그 메모와 함께 그대로 배포됐을 겁니다.
규칙 하나: 원문 2곳 미만이면 사람에게
그래서 점수와 상관없는 규칙을 하나 넣었습니다.
원문을 2곳 이상 직접 읽지 못했다면, 점수가 몇 점이든 사람 리뷰로 보낸다.
AI에게 "잘 썼는지" 묻는 대신, 확인 가능한 사실 하나만 봅니다. 원문을 몇 개 읽었는가. 루틴이 스스로 보고하는 값이라 완벽하진 않지만, "몇 점이냐"보다는 훨씬 덜 주관적입니다.
루틴 환경의 허용 도메인도 다시 정리했습니다. example.com만 넣으면 www.example.com이 막힌다는 것도 이때 처음 알았습니다.
규칙이 잡아낸 98점
규칙을 넣고 바로 다음 글이 올라왔습니다. 자체 점수 98점이었고, 원문은 1곳만 읽었습니다. 규칙대로 사람 리뷰로 넘어왔습니다.
이번엔 원문을 직접 대조했습니다. 로컬 환경에서 Claude와 함께 30곳 정도의 원문을 하나씩 열어 글과 맞춰 봤고, 별도 리뷰를 한 번 더 돌렸습니다. 결과는 사실 오류 7개였습니다.
- 발표 날짜와 순서가 실제와 달랐습니다
- 어떤 조직의 업무가 원문과 다르게 서술돼 있었습니다
- 협약 서명자가 실제와 다른 사람으로 적혀 있었습니다
- 한 인물의 역할이 잘못 설명돼 있었습니다
하나하나는 작아 보여도, 뉴스에서는 전부 틀린 기사입니다. 98점이라는 숫자만 봤다면 그대로 배포됐을 글입니다.
내 포트폴리오에서도 같은 일이 있었다
솔직히 고백하면, AI만의 문제가 아니었습니다. 최근 포트폴리오를 정리하면서 같은 실수를 제가 했습니다.
소개 페이지 초안에 "자동 발행 292편"이라고 적었는데, 배포 전에 독립 리뷰를 돌려 보니 그중 상당수는 자동화 이전에 사람이 쓴 글이었습니다. 실제로는 112편이었습니다.
ExamAI 소개에는 몇 달째 "기출 풀이"라고 적혀 있었습니다. 검증 리뷰가 문제 은행을 세어 보니 약 3만 문항 거의 전부가 AI가 생성한 문항이었습니다. 의도한 거짓말은 아니었습니다. 숫자를 세는 기준과 오래된 요약을 그대로 믿었고, 그 사이에 조금씩 부풀어 있었습니다.
그때도 잡아낸 건 제 확신이 아니라 별도의 검증이었습니다. 쓴 사람과 확인하는 사람을 나누고, 확인하는 쪽은 원본(커밋, 코드, 실제 데이터)만 보게 했습니다.
지금 지키는 원칙
이 일들을 겪고 나서 두 가지를 지키고 있습니다.
- 만든 쪽이 매긴 점수는 참고만 합니다. 사람이든 AI든 자기 결과물은 후하게 봅니다. 검증은 "잘 됐나" 대신 "원문을 몇 개 읽었나", "커밋에 그 숫자가 있나"처럼 확인 가능한 사실 하나에 묶습니다.
- 기본값은 "통과 안 함"입니다. 확인하지 못했으면 배포하지 않고, 기다리는 상태는 알림으로 드러나게 합니다.
AI에게 일을 맡길수록 판단 기준을 AI 바깥에 두는 게 중요해졌습니다. 100점은 여전히 반가운 숫자지만, 이제는 그 숫자를 보면 먼저 원문 개수부터 확인합니다.