이 과정은 기술 전문가용 AWS 커뮤니티인 AWS 기술 필드 커뮤니티(TFC) 회원이 개발했습니다. 콘텐츠는 표준 교육 커리큘럼을 보완하고 AWS 학습 여정을 확대하기 위한 것입니다. AWS는 일부 과정에 접근성 제한이 있음을 인지하고 있으며 이를 해결하기 위해 노력하고 있습니다. 접근성과 관련하여 지원이 필요한 경우 AWS Training and Certification 고객 지원 센터에 문의하십시오.
이 과정에서는 AWS DataZone에서 OpenLineage를 활용하여 Airflow 데이터 계보를 구현하는 방법을 학습합니다. Amazon Managed Workflows for Apache Airflow(MWAA)에서 OpenLineage 플러그인 구성부터 CloudWatch 로그 수집, 데이터 계보 작성 및 업데이트까지 전체 과정을 다룹니다. 특히 Airflow에서 실행되는 프로시저의 Input/Output 테이블을 분석하여 데이터 흐름을 시각화하고, AWS DataZone API를 통해 데이터 계보를 업데이트하는 방법을 실습합니다. 또한 데이터 계보가 데이터 파이프라인의 신뢰성, 품질 관리, 규제 준수 등에 미치는 영향과 실제 비즈니스 환경에서의 활용 방안을 학습합니다. 이를 통해 데이터 거버넌스를 강화하고 데이터 기반 의사결정의 신뢰성을 향상시키는 방법을 배웁니다.