데이터 엔지니어 프로그래밍 스킬셋

프로그래밍
데이터 엔지니어가 업무를 잘 하기 위해서는 최소 한 개 이상의 프로그래밍 언어에 아주 능숙해야하며, 또한 여러 도구들을 운용하려면 도구에 맞는 언어를 다룰 수 있어야 합니다.
- 예를 들어 Airflow와 같은 workflow engine은 Python으로
- Spark와 같은 분산 처리 프레임워크 활용은 Scala로
- 밥먹듯이 하는 데이터 조회/처리는 SQL로
- production 데이터 서빙 백엔드 서버를 구축할 때는 고성능 API 서버를 만들 수 있는 Go 등