Overview

재현 조건이 없어 원인을 특정할 수 없던 간헐적 오류를, 로그 수집 구조 설계와 외주 개발사 협업으로 규명했다. 테스트 케이스를 작성해 체계를 세웠다.

HW·SW 통합 테스트

기기·컨트롤러·앱 3요소 연동 전 구간 커버하는 테스트 시나리오 설계

로그 기반 오류 규명

재현 불가 간헐적 오류 → 입력 이벤트 로그 수집 구조로 원인 패턴 특정

기술-비기술 번역

Unity 경험 기반으로 개발사·영업기획실 양방향 커뮤니케이션 조율

난이도 수치화 → 기능 반영

주관적 체감 피드백을 사용자군별 데이터로 정형화 → 앱 커스터마이징 기능으로 직접 구현

웹사이트 기획·론칭

IA·프로토타입·외주 관리 수행 → 홍보 웹사이트 론칭

Problem

재현 조건 없는 오류 — "가끔 멈춘다"는 보고만 반복

HW·SW·펌웨어가 얽힌 복합 제품에서 간헐적 시스템 멈춤이 발생했다.

기획팀은 오류 재현 조건을 찾을 수 없었고, 개발팀은 원인을 특정할 수 없었다.

문제 재정의: 오류 자체가 아니라, 재현 가능한 기준이 없는 상태가 문제
SW개발(외주)과 QA(내부)가 다른 판단 기준으로 각자 대응 → 원인 규명 지연 구조
난이도 체감 피드백은 테스터마다 달랐고, 옵션 기준 확정 불가 상태 지속

Solution

재현 가능한 기준을 먼저 만들기

오류를 고치기 전에, 팀이 공유할 수 있는 판단 기준을 세우는 것이 선행 과제였다.

① 로그 수집 구조 설계

Unity 경험 기반으로 외주 개발사에 입력 이벤트·센서 데이터 로그 추가 필요성 설명
개발사와 협의 → 코드 일부에 로그 삽입 합의
로그 타임라인을 HW·SW 팀 공통 판단 기준으로 제안 → 비동기 처리 문제 데이터로 입증

② 테스트 체계 설계

유저 플로우 기준으로 입력 → 통신 → 렌더링 단계별 검증 항목 정의
재현 조건 정리 → 테스트 케이스 문서화 → 외주 개발사와 공통 환경 공동 정의
사내 게임장 자체 운영 → 반복 테스트 환경 구성 (테스터 부족 문제 해결)

Implementation

로그 기반 오류 규명

간헐적 멈춤 → 입력 이벤트 로그 분석 → HW 컨트롤러 중복 입력 패턴 규명
블랙스크린 → 네트워크 응답·렌더링 타이밍 로그 수집 → 비동기 로딩 타이밍 불일치 확인 → 프리로드 구조 적용으로 해결
외주 개발사와 비동기 타이밍 조건 분리 적용 합의

난이도 수치화

테스터를 연령·성별·체격 기준으로 분류 → 사용자군별 선호 경향 분석
동일 강도를 복수 인원이 반복 측정 → 체감 수렴값 도출 → 옵션 기준으로 확정
수치화한 강도 데이터가 앱 내 커스터마이징 기능 추가 근거로 채택됨

웹사이트 기획·외주 관리

요구사항 정의 → IA 설계 → Figma 프로토타입 직접 제작 → 외주 개발사 수배
QA 기준 수립 및 산출물 관리 → 론칭 완료

Problem Solving

현장은 사무실과 달랐다 — 배포 후 예기치 못한 네트워크 지연

문제: 재현 조건 정의 후 수정 적용 → 현장 배포 시 예기치 못한 네트워크 지연 재발
원인: 사무실 환경과 현장 네트워크 조건 차이 → 사전 스트레스 테스트 미실시
해결: 현장에서 직접 야간 대응 → 이후 배포 전 스트레스 테스트를 기본 원칙으로 수립
결과: 이후 유사 이슈 발생 시 대응 기준 문서화 → 팀 공유
인사이트: 테스트 환경과 배포 환경의 차이는 설계 단계에서 반영해야 한다

팀 간 의견 충돌 — 빠른 배포 vs 사전 검증

문제: SW팀(빠른 배포 선호)과 HW팀(보수적 사전 검증 선호) 간 판단 기준 충돌
원인: 공통 기준 없이 각자의 경험 기반으로 판단 → 논쟁 반복
해결: 논쟁 대신 로그 타임라인 데이터를 공통 판단 기준으로 제안 → 데이터로 원인 입증
결과: 비동기 처리 문제 확인 → 프리로드 구조 적용 합의 → 이후 유사 이슈 대응 기준 문서화
인사이트: 팀 간 충돌은 옳고 그름의 문제가 아니라 공통 기준 부재의 문제

Insight

재현 가능한 기준이 해결보다 먼저다

오류를 고치는 것보다, 오류가 반복되지 않는 구조를 만드는 것이 우선 과제
이후 모든 프로젝트에서 문제 발생 시 "재현 조건 정의"를 첫 번째 단계로 설정

피드백은 수집이 아니라 번역이다

주관적 체감("너무 어렵다")을 수치(강도 구간·사용자군별 평균)로 전환해야 설계에 반영 가능
QC는 검수자가 아니라 사용자의 감각을 데이터 언어로 번역하는 역할

협업 기준은 주장이 아니라 데이터로 만든다

HW·SW·외주사가 각자 다른 언어로 일할 때, 공통 판단 기준(로그 타임라인)이 논쟁을 대체함
Unity 경험이 없었다면 외주 개발사와 로그 구조 합의 자체가 불가능했을 것

Result

Outcomes

이벤트 처리 오류율 80% 이상 감소 — HW 컨트롤러 중복 입력 패턴을 로그로 규명 후 처리 구조 개선
재현 테스트 시간 30% 단축 — 외주 개발사와 공통 테스트 환경·검증 기준 공동 정의
간헐적 블랙스크린 원인 규명 — 로그 타임라인을 공통 판단 기준으로 제시, 비동기 처리 문제 데이터로 입증
난이도 옵션 기준 확정 → 앱 내 강도 커스터마이징 기능 추가로 직접 반영
홍보 웹사이트 론칭 — 요구사항 정의·IA·Figma 프로토타입·외주 QA 과정 수행
사내 게임장 운영으로 반복 테스트 환경 자체 구성 → 테스터 부족 문제 해결

Before / After Metrics

이벤트 처리 오류율

100% → 20%

Before100%

After80% 감소

재현 테스트 소요 시간

100% → 70%