QuadCore Team Project

 

우리의 프로젝트 및 그 중 내가 맡게 된 부분들 ... 이제서야 블로그에 올린다.

항상 노션에만 정리해놓고 블로그에 한꺼번에 올리려니 쉽지 않다

 

 

우리 팀  MSA 아키텍처

 

우리 프로젝트의 아키텍처 (세부적인 것들은 나중에 수정될지도..)

 

이 중에서 나는 트렌드 부분을 맡아서 진행한다.

 

⭐️ 정리 목차

 

What ? 어떤 것 하고 싶어 / 어떤 것 만들꺼야?

• 목표 정의
• 기능 정의

 

Why ? 왜 하려고 하는데 ?

• 하고 싶은 이유
• 그것을 통해 내가 얻고자 하는 것

 

How ? 어떻게 할껀데?

• 아키텍처 설계
• 구체적인 기능 명세
• 사용 툴 / 언어

 

Milestone 1.2.3

 

 

What

목표 :

실시간으로 들어오는 많은 양의 Raw Data 중 의미있는 Data 들을 신속하고 정확하게 전달하고 싶다 !

 

기능 : 한마디로 정의하자면 데이터 수집 및 가공 + 트래픽 처리

Twitter API 활용한 시간대별 ( 일 단위, 시간 단위, 분 단위, 실..시간..? ) 트윗 분석 → 시각화

 

캠프를 통해 깊게 고민 해보고 싶은 부분 : 처리해야 할 데이터의 양이 많아져도 속도와 정확성이 보장될까?

 

Why

이유 :

이유는 모르겠지만,, 내 관심이 자꾸 그쪽으로 간다..

돌이켜보면 항상 자소서에 내가 하고 싶은 것들을 썼을 때도 그렇고 앞으로의 내가 하고자 하는 개발도 사용자에게 편의를 줄 수 있는 개발이다. ( 당연한 건가...? 어쨋든 )

여기서 말하는 편의란 기획적으로 참신한 것들을 구현해서 편의를 준다기 보다는 기술적으로 접근해서 low latency, consistency 보장 등등 을 말한다. ( 현재로썬 그렇다 )

• raw data → 의미있는 데이터로 가공
• 빠르게 잘 전달

이 안에 사용자 편의를 위한 개발 모든 것이 함축적으로 들어간다고 생각했다.

 

얻고자 하는 것 :

따라서 이번 프로젝트를 통해

• kafka 를 통한 실시간 데이터 수집
• 빅데이터 분석 처리 플랫폼 활용
• 데이터 분석 및 시각화
• 트래픽 처리를 위한 효율적 db 아키텍처 설계 및 api 설계

 

이 모든 걸 한다면 아주 대박적.

 

How

데이터 흐름 : 위 아키텍처에서 Trend API Server 로 이어지는 모든 부분

 

나의 기능 크게 두가지.

 

1. 데이터 가공 및 분석 ( Raw Data 중 의미있는 Data 추출하기 )
   • 분석의 깊이 ? 범위 ? 잘 조절하기 !! 자칫하면 머신러닝으로 이어지기 때문에
   • 구체적으로 어떤 분석을 어떻게 할껀데?
   • 그래서 고민한 부분 ↓
   • 우리의 data pool 인 'BTS' 라는 키워드를 가지고 할 수 있는 재미있는 분석 ?
     • word count 를 통한 시간대별 유저 트윗 트렌드 분석 / 해시태그 분석
     • 멤버별 트윗  → 연관 키워드 추출
     • 시간대별 트윗 랭킹 → 좋아요 / 리트윗 수 ( 인기글 보여주기 )

 

1.  여기서 핵심 ! 시간대별...을 어떻게 처리 할 것인가 ?
   
   • 일정 시간 간격으로 주기적으로 분석
   • 사용자 지정 날짜 단위 or 시간 단위로 분석
   • ( 데이터가 실시간으로 계속 들어오고 있기 때문에 특정 날짜나 시간의 시작, 끝이 정해지지 않는 이상 최대한 요청할 때의 시간과 가깝게 들어온 데이터까지 (끝지점) 를 활용하여 보내주어야 할듯.. )
   • 기타

1. 트래픽 처리를 위한 효율적 db 아키텍처 설계 및 api 설계 ( 신속하고 정확하게 전달하기 )
   • 가공한 데이터를 db에 분산 저장
   • 가공된 데이터의 형식에 맞는 db 선택 및 저장 방법 설계
   • 많은 요청이 들어와도 바로바로 잘 전달할 수 있도록 api 설계

 

Milestone

 

1. word count 활용한 실시간 데이터 분석 및 저장 / 시간대별 데이터 처리 / 데이터 넘겨줄 api 설계
2. 인기 랭킹 등 또 다른 분석 진행해보기 / 요청 수에 따른 성능 개선
3. kafka 를 활용한 데이터 수집

---

고민해 봐야 할 문제들

• spark 로 분석된 결과 보내는 방식 ( db 저장 후 보냄 / 요청 시 바로 처리 )
  • db 저장 할 경우 많은 요청 및 저장에 따른 과부하 어떻게 처리할 것인지?

 

• 데이터 분석 갱신하는 주기 설정
  • 일정 시간 설정 후 매 시간별로 데이터 넘겨주기 ex) 1시간마다
  •  요청 시 (ex) 새로고침) 바로 처리
  • 사용자 지정 날짜 별 보여주기