2021 트렌드

2021. 11. 3. 06:37데이터 분석가로 살기

https://news.hada.io/topic?id=5299


점점 더 성숙해 지면서 데이터 산업은 "트랜잭션 vs. 분석", "배치처리 vs. 실시간", "BI vs AI" 같은 Technology Divide를 넘어서 진화해 가야함
- 기업들은 계속 여러 벤더/플랫폼/도구들과 협력해서 필요에 가장 적합한 조합을 만들어 갈 것



## "데이터 인프라스트럭처의 주요 트렌드"
- 2020
ㅤ→ Modern Data Stack(최신 데이터 스택)이 메인스트림으로
ㅤ→ ETL vs ELT
ㅤ→ 데이터 엔지니어링의 자동화?
ㅤ→ 데이터 분석가의 부상
ㅤ→ 데이터 레이크와 데이터 웨어하우스가 합쳐질까?
ㅤ→ 아직 해결하지 못한 복잡성

- 2021
ㅤ→ Data Mesh
ㅤ→ DataOps에게 바쁜 한해 : Data observability, Data Lineage, Data Quality, Data Reliability Engineering, Data Access & Governance 등 다양한 서브 파트가 있음
ㅤ→ 이제는 실시간
ㅤ→ Metrics Stores v
ㅤ→ Reverse ETL
ㅤ→ Data Sharing

V 지표(Metric)들은 디멘젼/정의 및 다른 원인으로 약간만 변경되어도 잘 못 정렬될 수 있음
- 지표 저장소는
ㅤ→ 데이터 웨어하우스 상단에 위치해서 BI 플랫폼, 분석 및 데이터사이언스 도구, 운영 어플리케이션을 포함한 모든 다운스트림 어플리케이션에 데이터를 알림
ㅤ→ 데이터가 일관성을 유지하도록 해서, 비즈니스 로직이 변경되면 자동으로 채워짐






"ML/AI의 주요 트렌드"
2020
- Boom time for data science and machine learning platforms (DSML)
- ML getting deployed and embedded
- The Year of NLP

2021
- Feature Stores
- The rise of ModelOps
- AI content generation
- The continued emergence of a separate Chinese AI stack

- 인공지능에 대한 연구는 빠른 속도로 계속 발전 중
ㅤ→ DeepMind Alphafold, OpenAI GTP-3/DALL-E/CLIP