요약
자격증 공부는 대부분 "기출을 풀고, 틀리고, 왜 틀렸는지 모른 채 넘어가는" 흐름입니다. ExamAI는 그 "틀린 다음"을 맡는 학습 서비스입니다. 오늘 풀 문제, 오답 복습 타이밍, 모르는 개념을 물어보는 AI 튜터를 토스 미니앱 안에 넣었습니다.
2026년 3월부터 6월까지 혼자(Claude Code와 페어로) 기획·개발했고, 사업자 등록과 랜딩 페이지 examai.co.kr 공개까지 마쳤습니다. 토스 미니앱은 정적 번들로 옮기는 도중인 6월에 멈춰 있고, 출시까지는 아래 "지금 상태"의 일이 남아 있습니다.
| 항목 | 규모 |
|---|---|
| 저장소 | pnpm·Turborepo 모노레포, 커밋 631개 (2026.03.21 ~ 06.19) |
| 앱 | 토스 미니앱·랜딩·정적 클라이언트 3개 앱과 공용 패키지 6개 |
| 문제 은행 | 192개 시험, 약 3만 문항. 거의 전부 AI가 생성한 문항이며 실제 기출이 아닙니다. 그중 약 3천 문항이 아래 검증 게이트를 통과했습니다 |
| 테스트 | 테스트 파일 33개 (Vitest·Playwright) |
AI가 만든 문제를 믿을 수 있게
자격증 종류를 늘리려면 문제가 필요하고, AI로 문제를 만들면 틀린 정답이 섞입니다. 학습 서비스에서 틀린 정답은 치명적입니다.
| 단계 | 내용 |
|---|---|
| 문제 | 생성 모델 하나가 만들고 스스로 검토하면 같은 착각을 그대로 통과시킵니다 |
| 설계 | 생성 → 정답을 가린 채 별도의 AI 풀이 2회 → 정답이 일치하지 않는 문항은 보류하는 무결성 게이트. 통과한 문항만 커밋합니다. 풀이하는 쪽도 AI라는 한계는 남아 있습니다 |
| 결과 | 13라운드에 걸쳐 50개 자격증에 약 3천 문항을 추가했습니다. 한 라운드에서는 독립 풀이 일치율이 99.4%였습니다 |
게이트는 프로젝트 후반에 만들어서, 그 전에 생성한 문항은 이 게이트를 거치지 않았습니다. 420문항 표본 감사에서 확정 오류는 0.48%였고, 전체 재검증은 남은 숙제입니다.
출시 준비 중에 발견한 구조 문제
토스 미니앱은 .ait 번들로 올려야 하는데, 6월 중순에 서버 렌더링(SSR) 앱은 그대로 번들링할 수 없다는 걸 확인했습니다.
- 전부 다시 쓰는 대신, 화면은 정적 클라이언트로 옮기고 AI 호출은 원격 API로 남기는 구조를 골랐습니다
- 작은 스파이크로 빌드 경로를 먼저 증명한 뒤, import를 따라가며 필요한 파일만 복사하는 스크립트로 13개 화면을 약 3일 만에 옮겼습니다
출시 전 감사
출시 전에 화면 16개를 에이전트 여러 개가 나눠 검토하고, 그 지적을 다시 반박 검증하는 감사를 돌렸습니다. 신규 사용자가 빈 프로필 대신 예시(목업) 프로필로 시작해 온보딩을 건너뛰는 P0 1건과 P1 6건이 나왔고, 모두 고쳤습니다.
로그인은 토스 mTLS 인증으로 붙였습니다. 인증서 환경 변수가 없으면 가짜 사용자로 넘어가지 않고 500을 내도록 해서, 설정 실수가 조용한 보안 구멍이 되지 않게 했습니다.
플랫폼 정책과 UX 라이팅
토스 미니앱은 로그인·결제·광고·외부 링크·다크패턴·AI 고지에 대한 검수 기준이 있습니다. 항목별로 대응표를 만들어 화면마다 확인했습니다. AI 튜터 화면 상단의 "생성형 AI 답변은 정확하지 않을 수 있어요" 안내도 그 결과입니다.
카피는 토스 스타일 해요체로 통일했습니다. 오답을 다 풀면 "복습할 문제가 더 이상 없어요"처럼, 시험 준비의 긴장을 낮추는 쪽으로 버튼·빈 화면·에러 문구까지 맞췄습니다.
지금 상태
- 랜딩 examai.co.kr 운영 중
- 토스 미니앱은 출시 전. 정적 번들의 AI 튜터 인증 연결(지금은 모의 응답), 맞춤 학습 화면의 데이터 연결, 실기기 로그인 검증, 콘솔 설정과 검수 요청이 남아 있습니다
- 광고와 포인트 보상은 단가를 계산해 적자가 나지 않는 지급량을 정해 두었지만, 실제 수익 데이터는 없습니다
배운 점
기능을 더하는 것보다 "더하지 않을 이유"를 검증하는 데 시간을 더 썼습니다. 계획마다 반박하는 리뷰를 따로 두니 그럴듯하지만 틀린 가정이 코드가 되기 전에 걸러졌습니다. 반대로 SSR 번들 문제처럼 플랫폼 제약은 코드를 다 쓰고 나서야 드러났습니다. 다음에는 배포 형식부터 스파이크로 확인하고 시작하겠습니다.