AI챗봇스터디
전문가 페르소나 AI 챗봇 설계·평가 연구 — 4버전 비교 평가 (188응답, 가설 14/15 합격)
현재 상황
LOGS · 진행 단계전문가 페르소나 AI 챗봇 4버전(v0.3·v0.4·v0.5·v0.5.1) 설계 + 체계적 평가 완료(2026-05-30). 188개 응답 수집, 가설 15개 중 14개 합격(93%). 최적 버전: 대화품질은 v0.4(풍부형), 안정성·성격충실도는 v0.5.1(권위형). 다음 단계: 실제 사용자 파일럿 테스트 10명.
- 2026-05-304페르소나 전체 평가 완료 — PPS·BFI·LIWC·일관성 4종 측정
Phase 0~4 전 단계 완료. 188개 응답, 가설 14/15 합격. results/final_report_public.md 생성.
MD - 2026-05-29평가 봇 인프라 구축 — 테스트 계획서 v1.2 + 3개 system prompt + 6개 Python 스크립트
수집=Sonnet 4.6, 추론·평가=Opus 4.7 아키텍처. 자극물 7시나리오 + 일관성 8쌍 + BFI-44.
MD - 2026-05-25system prompt v0.5.1 확정 — 격식·캐주얼 7:3, 강의 디폴트
5개 패치 적용: A 디폴트 7:3 / B 자기풍자 절제 / C 자기호명 절제 / D 예시 4:1 / E 일화 조건부.
MD - 2026-05-23페르소나 정의서 v0.4 + 미디어 발췌집 v5 완성
영상·팟캐스트·구술사·인터뷰 직접 인용 ~110개 추출·검증. 다중 검증 9개 시그너처 식별.
MD
작업 결과물
DELIVERABLES · 클릭 → VS Code- 페르소나 정의서 v0.4
깊이 SSOT. 책표지 6개 호명·다중 검증 9개 시그너처·단문 시그너처 16선·은유 6종·차용원 21개·신규 어휘 18개 통합.
MD2026-05-29 - system prompt v0.5.1 (권위형 정식 SSOT)
격식·캐주얼 7:3, 강의 디폴트, 권위 강화. 5개 패치(A 디폴트비율 / B 자기풍자 / C 자기호명 / D 예시비율 / E 일화) 적용.
MD2026-05-29 - AI 챗봇 (단일 HTML)
v0.5.1 임베드 완료. 단일 파일로 즉시 실행 가능.
HTML2026-05-29 - 평가 최종 보고서 (공개용)
4버전 비교 평가 결과 요약. PPS·BFI·LIWC·일관성·안전 5종 측정. 가설 14/15 합격.
MD2026-05-30 - 평가 봇 인프라 (Python 스크립트 6개)
collect_responses · judge_pps · consistency_test · analyze_liwc · score_bfi · run_all. Sonnet 4.6 수집 + Opus 4.7 평가 아키텍처.
FILE2026-05-29 - 미디어 발췌집 v5
직접 인용 ~110개를 활용 우선 순서로 12개 섹션 재배열. §1 다중검증 9선 · §3 단문 16선 · §11 보이스 패턴 11종.
MD2026-05-29 - 박사연구 정합성 검토서
A 방법론 활용 / B 방법론 논문 / C 챗봇 무관 — 3 Part 분리 권장. BFI 연구는 박사논문 본문 직접 인용 제한.
MD2026-05-29
다음 작업
NEXT TASKS · 우선순위- 01
실제 사용자 파일럿 테스트 (10명)
HIGHv0.4와 v0.5.1 두 버전을 실제 사용자에게 사용하게 하고 선호도·체감 품질 조사. LLM-as-judge 평가의 한계를 인간 평가로 보완.
EST · 1~2주 - 02
시나리오 확대 (7개 → 20개↑)
MID현재 7개 가상 시나리오를 다양한 실제 사용 상황으로 확대. 코칭·위기·교육·일상 상황 커버리지 강화.
EST · 3~5일 - 03
v0.6 하이브리드 버전 설계
MID권위형의 간결성 부족 원인 분석 후 '간결하면서 권위 있는' 하이브리드 system prompt 설계. v0.4 대화성 + v0.5.1 안정성 결합 검토.
EST · 1주 - 04
Custom GPT 빌드 키트 v0.5.1 동기화
LOWgpt_build_kit/에 v0.5.1 system prompt 반영. OpenAI GPT-4o에 동일 페르소나 이식 후 Claude 버전과 비교.
EST · 1~2일