README.md

Data Engineering Study

Prerequisites

• 기초 python
• 기초 linux
• data engineering에 대한 관심, 흥미
• 데이터, 빅데이터에 대한 관심, 흥미(분석X)

Coverage

• Lambda ETL (Python)
• S3 Data lake구축
• Glue + S3 + Athena

Projects

• Data Lake 구축
• Athena를 통해 Query Layer 구축

최종 세미나 주제

• 미정

스터디 방향

• Data Enginnering이란?
• 빅데이터란? 빅데이터에 서비스 공부
• Open-source 서비스에 대한 이해
• AWS에서 데이터 파이프라인 구축에 사용할 수 있는 서비스에 대한 이해