우당탕탕 개발 로그
우당탕탕 클로드 코드 사용기 · 1화

아이디어가 없어서, 아이디어를 심사하는 AI 이사회부터 만들었다

아이디어가 없어서 아이디어 평가 시스템부터 만들었다. 페르소나 토론 세팅법과 삽질의 기록

하려던 것

사이드 프로젝트로 돈을 벌어보고 싶은데 아이디어가 없다. 그래서 아이디어를 짜내는 대신, Claude Code로 아이디어를 평가하는 시스템부터 만들기로 했다. 첫 프롬프트로 프로젝트의 성격을 못 박았다 — 1인 개발자인 내가 상용화할 수 있는 서비스 아이디어를 정리하는 프로젝트라고. 그리고 평가 방식을 정했다: 서로 다른 페르소나 여럿이 토론하면서 아이디어를 항목별 점수로 평가하게 하자고.

혼자 생각하면 확증편향에 빠지니까, 서로 입장이 다른 가상의 심사위원들을 붙여서 두들겨 맞게 하자는 발상이었다.

어떻게 시켰나

1) 평가단 구성. Claude에게 페르소나 추천을 받아 여섯 명을 확정했다: 현실주의 개발자, 스타트업 PM, 투자자, AI 네이티브, 엔드 유저, 그리고 아이디어 뱅크. 평가표는 75점 만점.

2) 내 정보를 먼저 줬다. 이게 생각보다 중요했다. 연차(9년차 백엔드), 주력 스택(Spring/Java, 대규모 트래픽), 관심사(주식, 게임)를 구체적으로 입력했다. “현실주의 개발자” 페르소나가 실체 있는 반론을 하려면, 평가 대상인 내 능력치가 프롬프트에 있어야 한다. 실제로 이후 토론에서 “1인 개발자가 이 범위를 감당 가능한가”류의 지적이 내 스택 기준으로 나왔다.

3) 토론 개시. 최근 1인 개발자들이 성과를 낸 애플리케이션 주제를 리서치해서 후보를 뽑고, 토론을 거쳐 결과를 문서로 남기는 것까지 — 리서치·토론·기록을 한 번에 시켰다.

어디서 막혔나

첫 토론 결과물은 실망스러웠다. 여섯 페르소나가 사이좋게 돌아가며 소감을 한 번씩 발표하고 끝났다. 토론이 아니라 발표회였다. 그래서 규칙을 다시 줬다.

“그냥 페르소나마다 개인 의견 말하고 끝나는 것 같은데. 주제를 좁히거나 비틀면서 어떻게 해야 점수가 높아질지 고민하게, 다시 진행해봐”

핵심은 라운드제다. “각자 의견을 말해라”가 아니라 “라운드를 거듭하며 서로의 안을 좁히고 비틀어라”라고 상호작용 방식 자체를 명시해야, LLM은 토론을 한다. 이후 토론은 “범용 AI 주식 분석은 레드오션”(1~2라운드) → 공시 정보 특화로 좁히기, 이런 식으로 굴러가기 시작했다.

또 하나의 문제: 토론이 내 사정과 동떨어진 결론으로 흐를 때가 있다. 이때 쓴 패턴이 역할 난입이다. 밖에서 정정하는 게 아니라 토론의 등장인물(CEO)로 들어가서 제약을 던졌다. 가격이 월 9,900원으로 책정되자 CEO 자격으로 난입해 1,000~2,000원대로 끌어내렸고, “API 키를 직접 입력하는 방식(BYOK)은 개발자만 쓴다, 우리 타깃은 개발자가 아니다”라며 기능을 통째로 뺐다. “1인 개발자라 프론트엔드는 부담”이라는 전제가 올라왔을 땐, 실제로는 리액트 어드민을 처음부터 설계해서 운영해봤다고 정정해 웹을 살렸다. 제약을 캐릭터의 발언으로 주입하면 토론 구조가 깨지지 않은 채 방향만 꺾인다.

결과

34라운드 끝에 점수는 v1 52점 → v7 72점. 국내 공시를 AI가 요약해주는 서비스가 낙점됐다. 이 점수가 얼마나 믿을 만한지는 솔직히 모르겠다. 일단은 이걸로 간다.

배운 점