How to make · 8편 / 11

다 했어요?AI 결과 검증하는 법

AI의 가장 큰 장점은 정하지 않은 것도 알아서 만들어 준다는 거예요. 그리고 가장 큰 단점도 같은 곳에 있어요. 알아서 만든 그 부분까지 전부 점검해야 해요. AI는 일을 마치면 자신 있게 "다 했습니다"라고 하지만, 돌려 보면 안 되는 경우가 꽤 있어요.

폰을 꽂아 AI가 직접 확인하게

폰을 USB로 연결해 두면 AI가 앱을 직접 설치하고, 화면을 찍어 보고, 목업과 다른 곳을 찾아 고쳐요.

단, AI가 버튼을 눈대중 좌표로 누르게 하면 안 돼요. 노티폴드를 만들 때 실제로, AI가 어림으로 누른 자리가 통화 버튼이라 전화가 걸렸어요. 그 뒤로 "화면 구조를 읽어서 정확한 자리를 눌러"를 규칙으로 적어 뒀어요.

네 겹으로 확인하기

① 다른 AI의 점검 — 만든 AI는 자기가 짠 걸 잘 못 봐요. 다른 AI에게 "고치지 말고 문제만 적어 줘"라고 맡겨요. 출시 전 점검에서 "전부 지우기를 눌러도 일부 기록이 남는다" 같은 문제 세 개를 잡았어요. 지적이 다 맞는 건 아니라 고치기 전에 확인해요.

② 실제 데이터로 세기 — AI에게 코드도 짜게 하고 시험용 예제도 만들게 하면, 둘이 같은 착각을 해서 다 통과해요. "못 잡는다"는 문제가 생기면 실제로 쌓인 데이터를 꺼내 직접 세어 봐요.

③ 고칠 때마다 테스트 — 버그 하나를 고치면 "다시 안 생기는지 확인하는 테스트도 만들어 줘"라고 해요. 쌓이고 쌓여서 지금 노티폴드의 자동 테스트는 1,854개예요. 뭘 고치든 전부 통과해야 내보내요. 보통은 혼자서 엄두도 못 낼 양이에요.

④ 마지막은 사람 테스트 — 당연한 얘기지만, 검증할 때는 꼭 폰에 시험용 앱을 꽂아 깔고 사람이 직접 봐야 해요. AI가 목업을 보고 만들어도, 막상 앱에 들어간 화면은 목업과 다르게 나오는 경우가 많거든요. 테스트가 전부 통과해도 그래요. 테스트는 "동작이 맞는지"를 보지, "목업과 같은 모양인지"는 못 봐요. 그리고 이 사람 테스트가 실제로 가장 시간이 오래 걸리는 부분이에요. 만드는 건 AI가 금방 하는데, 폰에 깔아 하나하나 눌러 보고 목업과 맞춰 보는 건 결국 사람 몫이라서요. 특히 플레이 스토어에 출시한 뒤에는 더 오래 걸려요. 한 폰에 플레이 스토어 버전과 테스트 버전을 동시에 깔 수가 없어서, 테스트할 때마다 쓰던 앱을 백업하고 → 지우고 → 테스트 버전을 깔고 → 다시 복원해야 하거든요. 그래도 고친 판이 실제로 쓰는 분들 폰에 그대로 깔리니까, 업데이트를 올릴 때마다 이 과정을 꼭 거쳐요. 그래서 AI에게도 "폰 확인 전에는 다 됐다고 하지 마"를 규칙으로 적어 뒀어요.

정리

• 장점: 정하지 않은 것도 만들어 준다 / 단점: 그래서 다 점검해야 한다
• "다 했어요"는 직접 돌려 보기 전까지 믿지 않기
• 폰 연결해 AI가 직접 설치·확인 — 좌표는 화면 구조로
• 다른 AI 점검, 실제 데이터로 세기, 고칠 때마다 테스트
• 끝으로 사람 테스트 — 폰에 깔아 직접 보기. 목업과 다르게 만들어지는 일이 많고, 가장 오래 걸리는 단계(출시 뒤엔 스토어 버전을 매번 지우고 깔아야 해서 더)

#AI코드검증 #테스트자동화 #코드리뷰 #실기기테스트 #QA #AI로앱만들기 #바이브코딩 #노티폴드