2021. 11. 3. 06:37ㆍ데이터 분석가로 살기
https://news.hada.io/topic?id=5299
점점 더 성숙해 지면서 데이터 산업은 "트랜잭션 vs. 분석", "배치처리 vs. 실시간", "BI vs AI" 같은 Technology Divide를 넘어서 진화해 가야함
- 기업들은 계속 여러 벤더/플랫폼/도구들과 협력해서 필요에 가장 적합한 조합을 만들어 갈 것
## "데이터 인프라스트럭처의 주요 트렌드"
- 2020
ㅤ→ Modern Data Stack(최신 데이터 스택)이 메인스트림으로
ㅤ→ ETL vs ELT
ㅤ→ 데이터 엔지니어링의 자동화?
ㅤ→ 데이터 분석가의 부상
ㅤ→ 데이터 레이크와 데이터 웨어하우스가 합쳐질까?
ㅤ→ 아직 해결하지 못한 복잡성
- 2021
ㅤ→ Data Mesh
ㅤ→ DataOps에게 바쁜 한해 : Data observability, Data Lineage, Data Quality, Data Reliability Engineering, Data Access & Governance 등 다양한 서브 파트가 있음
ㅤ→ 이제는 실시간
ㅤ→ Metrics Stores v
ㅤ→ Reverse ETL
ㅤ→ Data Sharing
V 지표(Metric)들은 디멘젼/정의 및 다른 원인으로 약간만 변경되어도 잘 못 정렬될 수 있음
- 지표 저장소는
ㅤ→ 데이터 웨어하우스 상단에 위치해서 BI 플랫폼, 분석 및 데이터사이언스 도구, 운영 어플리케이션을 포함한 모든 다운스트림 어플리케이션에 데이터를 알림
ㅤ→ 데이터가 일관성을 유지하도록 해서, 비즈니스 로직이 변경되면 자동으로 채워짐
"ML/AI의 주요 트렌드"
2020
- Boom time for data science and machine learning platforms (DSML)
- ML getting deployed and embedded
- The Year of NLP
2021
- Feature Stores
- The rise of ModelOps
- AI content generation
- The continued emergence of a separate Chinese AI stack
- 인공지능에 대한 연구는 빠른 속도로 계속 발전 중
ㅤ→ DeepMind Alphafold, OpenAI GTP-3/DALL-E/CLIP
'데이터 분석가로 살기' 카테고리의 다른 글
ebay Korea Data Scientist jd (0) | 2022.03.29 |
---|---|
Korea - Nike Direct Applied Analytics Director (0) | 2021.12.20 |
저널 n-gram 오픈소스 The General Index (0) | 2021.10.30 |
알고리즘 win, 하드웨어 lose, 특정문제에 대해서는 (1) | 2021.10.08 |
직방 Senior Data Scientist JD (0) | 2021.06.03 |