데이터 아키텍처, 엔지니어링, 사이언스 공부 로드뷰

• 데이터 아키텍처(Data Architecture)
  • 데이터 아키텍처는 기업의 데이터 전략, 정책, 규정, 및 표준을 설계하고 구현하는 역할
    
    • 기본적인 컴퓨터 과학 및 정보 시스템 이해
      데이터베이스 설계 및 관리, SQL 포함
      데이터 모델링 및 ETL (Extract, Transform, Load) 프로세스 이해
      데이터 보안 및 규정 준수에 대한 이해
      비즈니스 요구사항과 데이터 목표를 연결하는 방법 이해
  • 책
    "데이터 모델링의 이해" - 강석우
    "빅데이터 청사진" - 빌 프랭크
    
    
  • 언어
    SQL
    
    
  • 툴
    ER/Studio
    Sparx Systems Enterprise Architect
    IBM InfoSphere Data Architect
    
    

---

1. 데이터 엔지니어(Data Engineer)
   • 데이터 엔지니어는 데이터 아키텍처를 구현하고, 데이터 파이프라인 및 시스템을 구축하고 유지하는 역할
     • 프로그래밍 언어(Python, Java 등)에 대한 이해
       데이터베이스 시스템(SQL, NoSQL 등)에 대한 깊은 이해
       빅 데이터 플랫폼(Hadoop, Spark 등)에 대한 이해
       데이터 파이프라인 및 ETL 도구 이해
       클라우드 서비스(AWS, Google Cloud, Azure 등) 이해
   • 책
     "데이터 분석을 위한 SQL 레시피" - 조시 웨클리
     "하둡 빅데이터 프로그래밍" - 이형석, 이광형
     "스파크 완벽 가이드" - 빌 체임버스, 마테이 자하리아
     
     
   • 언어
     Python
     Java
     SQL
     Scala
     
     
   • 툴
     Hadoop
     Spark
     Hive
     Kafka
     Airflow
     AWS/GCP/Azure

내가 할 로드맵

1

2

3

4

5

---

• 데이터 사이언티스트(Data Scientist)
  • 데이터 사이언티스트는 기업이 보유한 데이터를 분석하여 통찰력을 제공하고 예측 모델을 만드는 역할
    • 수학 및 통계학에 대한 기본적인 이해
      프로그래밍 언어(Python, R 등)에 대한 이해
      데이터 분석 및 시각화 라이브러리(Pandas, Matplotlib, Seaborn 등)에 대한 이해
      머신 러닝 및 딥 러닝 알고리즘 이해
      데이터 분석 및 모델링을 위한 도구(Jupyter Notebook, TensorFlow, Scikit-learn 등) 이해
  • 책
    "파이썬 라이브러리를 활용한 데이터 분석" - 웨스 매키니
    "핸즈온 머신러닝" - 오렐리앙 제롱
    "밑바닥부터 시작하는 딥러닝" - 사이토 고키
    "밑바닥부터 시작하는 딥러닝 2" - 사이토 고키
    
    
  • 언어
    Python
    R
    SQL
    
    
  • 툴
    Jupyter Notebook
    TensorFlow
    Keras
    Scikit-learn
    Pandas
    Matplotlib
    Seaborn
    Tableau