분류 전체보기
-
QuadCore Team Projectit's me/👩💻 프로젝트 정리 2020. 2. 1. 01:39
우리의 프로젝트 및 그 중 내가 맡게 된 부분들 ... 이제서야 블로그에 올린다. 항상 노션에만 정리해놓고 블로그에 한꺼번에 올리려니 쉽지 않다 우리 팀 MSA 아키텍처 이 중에서 나는 트렌드 부분을 맡아서 진행한다. ⭐️ 정리 목차 What ? 어떤 것 하고 싶어 / 어떤 것 만들꺼야? 목표 정의 기능 정의 Why ? 왜 하려고 하는데 ? 하고 싶은 이유 그것을 통해 내가 얻고자 하는 것 How ? 어떻게 할껀데? 아키텍처 설계 구체적인 기능 명세 사용 툴 / 언어 Milestone 1.2.3 What 목표 : 실시간으로 들어오는 많은 양의 Raw Data 중 의미있는 Data 들을 신속하고 정확하게 전달하고 싶다 ! 기능 : 한마디로 정의하자면 데이터 수집 및 가공 + 트래픽 처리 Twitter AP..
-
Spark - RDD⏰ 오늘의 공부/기타 2020. 2. 1. 00:23
저수준 api RDD : 분산형 데이터 처리 (여러 서버에 분산되어 있는 데이터) → 이 RDD들이 각 노드에서 병렬적으로 동시에 처리되어 나중에 합쳐지거나 또 추가적인 연산 진행 브로드캐스트 변수, 어큐뮬레이터 → 분산형 공유 변수를 베포하고 다루기 위한 api 언제 사용 ? 고수준 api 에서 제공하지 않는 기능이 필요한 경우 RDD 이용해 개발된 기존 코드 유지하는 경우 사용자가 정의한 공유 변수를 다뤄야 하는 경우 즉, 물리적으로 분산된 데이터(자체적으로 구성한 데이터 파티셔닝) 에 세부적인 제어가 필요할 때 → 기본적으로는 구조적 api 사용하는 것이 좋다. RDD RDD 레코드 : 프로그래머가 선택한 java, python, scala 등의 객체 객체이므로 사용자가 완벽하게 제어 가능 강력한 ..
-
Promise & async / await⏰ 오늘의 공부/기타 2020. 1. 27. 01:32
node.js 와 react 를 다루면서 비동기 처리를 제대로 하지 못해 드럽게 코드를 짜고 있는 나를 보면서 꼭 정리를 하겠다 생각했었는데 마침 설연휴를 맞아 제대로 공부하면서 자바스크립트 비동기 처리 !!!! 마스터 하고자 한다. Promise ? 자바스크립트 비동기 처리에 사용되는 객체 그렇다면 비동기 처리란 ? ‘특정 코드의 실행이 완료될 때까지 기다리지 않고 다음 코드를 먼저 수행하는 자바스크립트의 특성’ → 자칫하다가 Callback hell 에 빠질 수 있다.. like 마치 내 예전 코드들처럼 ㅎ promise 의 3가지 상태 pending(대기) : 비동기 처리 로직이 아직 완료되지 않은 상태 fulfilled(이행) : 비동기 처리가 완료되어 프로미스가 결과 값을 반환해준 상태 reje..
-
Redis⏰ 오늘의 공부/기타 2020. 1. 24. 19:01
Redis ? Nosql DBMS 메모리 기반의 데이터 저장소 구조 ⇒ 성능 및 처리 속도 향상 Type : key - String, value - 숫자, 문자 , 바이너리로 가능한 모든 것,,(너무 많은 양의 데이터는 안됨 : 성능상의 이유) (key 값은 중복되지 않아야하는 특성 ) server 인스턴스 당 16개 데이터베이스 가질 수 있다. Redis Server 1개의 싱글 쓰레드로 수행 → 서버 하나에 여러개 서버 띄우는 것 가능 Master - Slave 형식으로 구성 가능 ⇒ 데이터 분실 위험 없애준다. 실시간으로 데이터를 다른 서버에 복제 → Master Server 가 down 되어도 Slave server 로 접속해서 서비스 운영 가능 Read 요청시 Redis 서버에서 사용자가 요청한..
-
Proxy 설정⏰ 오늘의 공부/기타 2020. 1. 24. 18:36
React 내에서 proxy 설정 방법 src 폴더 내에서 setProxy.js 작성 const proxy = require('http-proxy-middleware'); module.exports = function (app) { app.use( proxy('/api', { target: 'http://localhost:3001/' }) ); }; http-proxy-middleware 로딩 '/api' 경로에 대한 프록시 설정 ( react app 에서 127.0.0.1/api/* 경로로 요청을 보내면 프록시가 동작하여 127.0.0.1:3001로 요청을 보내게 된다.)