ⓓⓞⓑ ⓓⓞⓑ

it's me/👩‍💻 프로젝트 정리

• [Quadcore Team/Trend] 인기 트윗 랭킹

  it's me/👩‍💻 프로젝트 정리 2020. 3. 2. 18:50

  이제서야 올리는 프로젝트 정리 2... * 인기 트윗 랭킹 추출 과정 1) Cassandra to Spark 카산드라의 raw data 중 리트윗 된 data 추출 ( 올라오는 트윗 중 80% 이상이 리트윗 데이터) 현재시간 기준 30초 전까지 data 추출 if __name__ == "__main__": while True: # 현재시간 마이크로 세컨즈 까지 current_time = int(time.time() * 1000000) # 현재시간 마이크로 세컨즈 까지 # redis 저장 포맷 시간 형식 ( 년/월/일/시/분) 으로 current_time_format = datetime.datetime.fromtimestamp(int(current_time/1000000)).strftime('%Y/%m/%..

  Read More

• [Quadcore Team/Trend]해시태그 분석

  it's me/👩‍💻 프로젝트 정리 2020. 2. 26. 16:15

  미루고 미루다 이제서야 올리는 프로젝트 정리 1... * Hashtag Ranking 과정 1) raw tweet 전처리 raw tweet df 중 'entities.hashtags.text' 추출 ( 해시태그 column 만 추출 ) rdd 로 만든 후 collect()를 통해 모든 row 하나의 리스트 안에 저장되도록 하기 def process(rdd): try: rawTweet = spark.read.json(rdd) #creates an in-memory table that is scoped to the cluster in which it was created. rawTweet.registerTempTable("tweets") hashtag = rawTweet.selectExpr('entities..

  Read More

• [4주차] - word count with Spark

  it's me/👩‍💻 프로젝트 정리 2020. 2. 1. 02:39

  서버개발캠프 4주차인 이번주부터는 본격적으로 팀 프로젝트를 시작했다. 4주차 나의 Milestone : spark 활용하여 word count 로 단어 분석 + api 설계 스파크 책 2.3장 학습 스파크 책 12.13장 학습 스파크 책 21장 스트리밍 처리 학습 실시간으로 데이터 받아와서 word count 실행 이 중 api 설계를 제외하고는 그래도 다 진행했다 ! ⭐️ 이번주 정리 Spark - word count Spark 에서는 기본적으로 kafka flume kinesis Tcp sockets 파일 시스템 ex) hdfs , s3 ... 으로부터 data source 들을 받아올 수 있다. 나는 아직 kafka 연결을 하지 않았기 때문에 Tcp socket 통신을 이용하여 twitter api..

  Read More

• QuadCore Team Project

  it's me/👩‍💻 프로젝트 정리 2020. 2. 1. 01:39

  우리의 프로젝트 및 그 중 내가 맡게 된 부분들 ... 이제서야 블로그에 올린다. 항상 노션에만 정리해놓고 블로그에 한꺼번에 올리려니 쉽지 않다 우리 팀 MSA 아키텍처 이 중에서 나는 트렌드 부분을 맡아서 진행한다. ⭐️ 정리 목차 What ? 어떤 것 하고 싶어 / 어떤 것 만들꺼야? 목표 정의 기능 정의 Why ? 왜 하려고 하는데 ? 하고 싶은 이유 그것을 통해 내가 얻고자 하는 것 How ? 어떻게 할껀데? 아키텍처 설계 구체적인 기능 명세 사용 툴 / 언어 Milestone 1.2.3 What 목표 : 실시간으로 들어오는 많은 양의 Raw Data 중 의미있는 Data 들을 신속하고 정확하게 전달하고 싶다 ! 기능 : 한마디로 정의하자면 데이터 수집 및 가공 + 트래픽 처리 Twitter AP..

  Read More

• Authorization System

  it's me/👩‍💻 프로젝트 정리 2020. 1. 15. 01:02

  사실 프로젝트를 다 끝낸 후 한꺼번에 멋찌게 정리하고 싶었지만,, 그러기엔 너무 양이 많을 것 같아서 이때까지 진행한 부분 부분 정리해서 올리기로 했다. 기본아키텍쳐 client (react) ↔ server (node.js) ↔ mysql (db) 캐시처리 Redis Node.js 에서 mysql 데이터베이스에 접근 방법 connection 객체 생성하여 그 객체를 이용해 DB와 통신 connection 설정은 config 폴더 내에 저장 3. connection 생성하는 방법 createConnection() 매번 connection 생성 → 비효율적 (생성될 때 많은 시간 소요되기 때문) createConnection() 메소드를 통해 connection 객체 하나 생성 종료: connection...

  Read More