실습 개요
휴가를 간 동료 대신 조직의 데이터 엔지니어링 업무를 맡게 되었습니다. 이들의 입장이 되어 Amazon Web Services(AWS)에서 데이터 이동을 관리하는 다양한 옵션을 살펴보십시오. 아키텍처 패턴, 성능 및 비용 최적화, 보안 모범 사례를 고려하고, 사무실로 복귀하는 동료에게 감동을 주십시오!
동료는 자리를 비운 동안 POC(개념 증명)를 실험하고 테스트해 볼 수 있도록 샌드박스 환경을 주고 갔습니다. 작은 우리 회사가 새로운 도시로 진출하는 데 도움이 될 것 같은 데이터를 살펴보기로 했습니다. 일일 기상 데이터 기록을 제공하는 미국 국립해양대기국(NOAA) 데이터세트를 사용하기로 합니다. 회사가 진출할 도시에서 언제 여름(겨울이 아니라) 품목을 비축해야 하는지 결정할 때 이 데이터가 도움이 될 거라 생각합니다. POC의 경우 기온 및 강수량 지표에 집중합니다.
이 실습에서는 2022년 8월 5일에 https://registry.opendata.aws/noaa-gsod에서 액세스한 NOAA Global Surface Summary of Day (GSOD) 데이터세트를 사용합니다. 이 데이터세트는 전 세계 9,000개 이상 기상 관측소의 일일 기상 측정값(기온, 풍속, 습도, 기압 등) 모음입니다. 원래는 미국 국립 기후 데이터 센터에서 수집한 데이터입니다. 실습 시간 제한 때문에 이 실습에서는 전체 데이터세트에 있는 연도의 하위 집합이 포함된 축소된 데이터세트를 사용합니다.
목표
이 실습을 마치면 다음을 수행할 수 있습니다.
- AWS Glue 크롤러 생성
- AWS Glue Studio에서 작업 생성 및 실행
- AWS Glue 크롤러 및 AWS Glue Studio 작업 실행에 필요한 권한 탐색
- Amazon Athena를 사용하여 AWS Glue Data Catalog 쿼리
소요 시간
이 실습을 완료하려면 약 60분이 소요됩니다.
아이콘 설명
- 참고: 힌트, 팁 또는 중요한 지침입니다.
- 자세히 알아보기: 자세한 정보를 찾을 수 있는 위치를 나타냅니다.
- 태스크 완료: 실습의 결론 또는 요점입니다.
- 새로 고침: 새 정보를 표시하기 위해 웹 브라우저 페이지나 목록을 새로 고쳐야 하는 경우입니다.
