Data 종류별 정리

RDB

: 관계형 데이터 베이스

• MySQL
• MSSQL
• MariaDB
• Oracle
• PostgreSQL
• Aurora

---

NoSQL

: RDB가 아닌 데이터 베이스

유동적인 데이터 모델링이 가능하다.

수평적 확장을 하는 형태이므로 대용량 데이터를 성능 이슈 없이 사용할 수 있다.

 

https://rural-mouse.tistory.com/37

 

NoSQL 저장형태

• Key-Value형
  • DynamoDB
  • Redis
• Document형
  • MongoDB
  • Elasticsearch
  • CouchDB
• Wide Column형
  • Cassandra
  • HBase
• Graph형
  • Neo4j
  • Neptune
• Realtime형
  • Firebase
  • RethinkDB

---

Data Warehouse

: 여러 소스에 있는 데이터를 조합하여 분석하기 위한 데이터 저장소

: 분석용 데이터를 모아놓은 중앙 데이터베이스

• Snowflake
• Presto
• Hive
• Redshift
• BigQuery

---

Data Processing

: 데이터 처리하는 방식

• Batch 방식
  • Apache Pig
  • data build tool
• Hybrid 방식 - Batch + Streaming
  • Spark
  • Flink
• Streaming 방식
  • Kafka
  • Kinesis

---

CI/CD

CI: 소스 코드의 빌드, 테스트, 병합

CD: 서비스 환경까지 릴리즈 되는 것

-> 핵심은 이 과정들을 자동화 하는 것

• GitHub Actions
• Jenkins
• AWS CodePipeline(CodeBuild + CodeDeploy)

 

---

 

데이터 분석가 로드맵

 

 

 

---

 

참조

데이터 엔지니어 로드맵을 알아보자!

 

2021 백엔드 개발자 로드맵