공유된 기사
"아파치 에어플로우, 10주년 맞아 파이썬 기반 워크플로우 관리 혁신...최신 버전 2.9 출시"
Airflow"Apache Airflow"는 파이썬으로 작성된 오픈 소스 프로젝트로, 워크플로우의 스케줄링과 관리를 담당합니다. Astronomer의 Airflow 엔지니어링 디렉터인 Kaxil Naik은 이를 통해 일상적인 작업을 자동화하며, 이는 파이썬 스크립트를 실행하는 것부터 500개의 다른 데이터 웨어하우스에서 모든 데이터를 가져와 조작하는 것까지 다양하다고 설명했습니다.
Airflow는 2014년 Airbnb에서 만들어져 올해로 10주년을 맞이하며, 2016년 3월에 Apache Software Foundation에 합류하였고, 2019년에는 최고 수준의 프로젝트로 승격되었습니다. 초기에는 ETL 사용 사례만을 위해 설계되었지만, 지난 몇 년 동안 데이터 엔지니어링과 관련된 모든 측면에 유용한 기능을 추가하였습니다. 최근에 출시된 2.9 버전에서는 데이터셋과 시간 기반 스케줄을 결합하는 기능, Dynamic Task Mapping에 대한 사용자 정의 이름, 작업 로그 그룹화 기능 등이 추가되었습니다.
Airflow는 2014년 Airbnb에서 만들어져 올해로 10주년을 맞이하며, 2016년 3월에 Apache Software Foundation에 합류하였고, 2019년에는 최고 수준의 프로젝트로 승격되었습니다. 초기에는 ETL 사용 사례만을 위해 설계되었지만, 지난 몇 년 동안 데이터 엔지니어링과 관련된 모든 측면에 유용한 기능을 추가하였습니다. 최근에 출시된 2.9 버전에서는 데이터셋과 시간 기반 스케줄을 결합하는 기능, Dynamic Task Mapping에 대한 사용자 정의 이름, 작업 로그 그룹화 기능 등이 추가되었습니다.