Overview

AI, Data Science & Cloud Certificates from Google, IBM & Meta — 50% Off

One plan covers every Professional Certificate on Coursera. 50% off Coursera Plus Annual for 10 days only — price increases June 17.

Unlock All Certificates

Dataflow 과정 시리즈의 두 번째 편에서는 Beam SDK를 사용하여 파이프라인을 개발하는 방법을 자세히 살펴보겠습니다. 먼저 Apache Beam 개념에 대한 복습부터 시작하겠습니다. 다음으로 윈도우, 워터마크, 트리거를 사용하여 스트리밍 데이터를 처리하는 방법을 알아봅니다. 그런 다음 파이프라인의 소스 및 싱크 옵션, 정형 데이터를 표현하는 스키마, State 및 Timer API를 사용하여 스테이트풀(Stateful) 변환을 수행하는 방법을 다룹니다. 이제 파이프라인 성능을 극대화하는 데 도움이 되는 권장사항을 살펴보겠습니다. 과정의 마지막 부분에서는 Beam에서 비즈니스 로직을 표현하기 위한 SQL과 DataFrame을 소개하고 Beam 노트북을 사용하여 파이프라인을 반복적으로 개발하는 방법을 알아봅니다.

Syllabus

소개

이 모듈에서는 과정과 과정 개요를 소개합니다.

Beam 개념 복습

Apache Beam의 주요 개념과 이를 적용하여 자체 데이터 처리 파이프라인을 작성하는 방법을 복습합니다.

윈도우, 워터마크, 트리거

이 모듈에서는 Dataflow를 사용해 스트리밍 데이터 처리를 수행하는 방법을 살펴봅니다. 이를 위해 여러분이 알아야 할 세 가지 핵심 개념은 다음과 같습니다. 윈도우에서 데이터를 그룹화하는 방법, 윈도우가 결과를 생성할 준비가 되었는지를 판단하는 데 있어 워터마크의 중요성, 윈도우가 결과를 출력하는 시점 및 횟수를 제어하는 방법입니다.

소스 및 싱크

이 모듈에서는 Dataflow에서 소스와 싱크를 구성하는 요소에 대해 알아봅니다. TextIO, FileIO, BigQueryIO, PubsubIO, KafKaIO, BigtableIO, Avro IO, Splittable DoFn의 몇 가지 예시를 다루고 각 I/O와 관련된 유용한 기능 몇 가지도 알려줄 것입니다.