GCP를 활용하여 코딩없이 앱 서비스 분석 인프라 구축한 삽질기
전인아 inahjeon5324@gmail.com
뱅크샐러드
- 개인 자산관리 서비스
기술
- 파이어베이스
퍼널분석
- 각 단계별 이탈율
- 단계별로 이탈율을 분석하여 개선
기능 개선
- 파이어베이스로는 데이터분석의 대응에 한계가 있다.
- 자주 보는 중요한 지표는 자동화 하자.
- Raw Data는 BigQuery에 연결이 가능하다
- Bigquey를 데이터 웨어하우스로 두고 사용
개선방법
- 요금제를 업그레이드 한다
- BigQuery로 데이터 내보내기 버튼을 누른다
장점
- 다운로드 수, 유입, 리뷰 통계데이터
중요하고 자주보는 데이터는 대시보드
- Google Data Studio룰 사용했음
데이터 인프라 완성
비용
- 쿼리 스캔 비용이 어마어마함
비용 분석
- 하루 로그데이터 15GB
- BigQuery 데이터 2TB 적재중 -> 풀스캔: 10달러
- DawtaStudio 신나게 제한없이 스캔중
비용 문제 해결
- 매번 전체데이터를 스캔하지 않고, 전처리된 중간 테이블을 하루 단위로 만들어두자
- 데이터를 번형할 파이프라인
- Data Prep: 전처리할 동작으 정의
- Data Flow: 데이터 전처리 수행
Data Prep
- Data 소스 -> 전처리동작 -> 목적지
- 코딩이 필요없고, 단순 엑셀 작업 정도의 난이도
- 스케줄링이 가능
Data Flow
- 실제로 돌아가는 서비스
- 현재는 BigQuery에 쿼리 스케줄링 기능이 있어서 더욱 쉽게 가능
성과
- 하루 200
300$ -> 2025$분석 인프라
- 데이터 엔지니어가 필요
레이니스트 채용중임
질문
- 머신러닝 사용하는가: X, 간단한 통계치만 함