Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

Google Cloud

Dataflow를 사용한 서버리스 데이터 처리: 운영

Google Cloud via Coursera

Overview

AI, Data Science & Cloud Certificates from Google, IBM & Meta — 50% Off
One plan covers every Professional Certificate on Coursera. 50% off Coursera Plus Annual for 10 days only — price increases June 17.
Unlock All Certificates
Dataflow 과정 시리즈의 마지막 편에서는 Dataflow 운영 모델의 구성요소를 소개합니다. 파이프라인 성능의 문제를 해결하고 최적화하기 위한 도구와 기법을 살펴봅니다. 그런 다음 Dataflow 파이프라인의 테스트, 배포, 안정성 권장사항을 검토합니다. 마지막으로 Dataflow 파이프라인을 사용자가 수백 명이나 되는 조직으로 쉽게 확장할 수 있는 템플릿을 검토해 보겠습니다. 이 강의는 데이터 플랫폼이 예상치 못한 상황에서도 안정성과 복원력을 갖추도록 하는데 도움이 됩니다.

Syllabus

  • 소개
    • 이 모듈에서 제공하는 온라인 과정:
  • 모니터링
    • 이 모듈에서는 모니터링하거나 조사하고 싶은 작업을 작업 목록 페이지를 활용하여 필터링하는 방법을 배웁니다. 작업 그래프, 작업 정보, 작업 측정항목 탭에서 Dataflow 작업에 대한 포괄적인 요약을 확인하는 방법도 살펴봅니다. 마지막으로 Dataflow와 측정항목 탐색기를 통합하여 Dataflow 측정항목에 대한 알림 정책을 생성하는 방법을 알아봅니다.
  • 로깅 및 오류 보고
    • 이 모듈에서는 작업 그래프 및 작업 측정항목 페이지 하단에 있는 로그 패널을 사용하는 방법과 중앙 집중식 Error Reporting 페이지에 대해 알아봅니다.
  • 문제 해결 및 디버그
    • 이 모듈에서는 Dataflow 파이프라인의 문제를 해결하고 디버그하는 방법을 알아봅니다. 또한 Dataflow의 네 가지 일반적인 장애 유형인 파이프라인 빌드 실패, Dataflow에서의 파이프라인 시작 실패, 파이프라인 실행 중 오류 발생, 성능 문제를 검토합니다.
  • 성능
    • 이 모듈에서는 Dataflow에서 일괄 및 스트리밍 파이프라인을 개발할 때 고려해야 할 성능 관련 사항에 대해 논의합니다.
  • 테스트 및 CI/CD
    • 이 모듈에서는 Dataflow 파이프라인의 단위 테스트에 대해 설명합니다. 또한 Dataflow 파이프라인의 CI/CD 워크플로를 간소화하는 데 사용할 수 있는 프레임워크와 기능을 소개합니다.
  • 안정성
    • 이 모듈에서는 손상된 데이터와 데이터 센터 중단에 대한 복원력이 우수한 시스템을 빌드하는 방법을 다룹니다.
  • Flex 템플릿
    • 이 모듈에서는 Flex 템플릿에 대해 다룹니다. 이 템플릿은 데이터 엔지니어링팀이 Dataflow 파이프라인 코드를 표준화하고 재사용하는 데 도움이 되는 기능입니다. Flex 템플릿을 사용하면 많은 운영상의 문제를 해결할 수 있습니다.
  • 요약
    • 이 모듈에서는 과정에서 다룬 주제를 복습합니다.

Taught by

Google Cloud Training

Reviews

Start your review of Dataflow를 사용한 서버리스 데이터 처리: 운영

Never Stop Learning.

Get personalized course recommendations, track subjects and courses with reminders, and more.

Someone learning on their laptop while sitting on the floor.