Dagster

Dagster는 데이터 워크플로우를 자동으로 정리하고 실행하는 데 도움을 주는 도구입니다. 모든 데이터 작업을 위한 스마트 매니저라고 생각할 수 있습니다. 스크립트를 수동으로 실행하거나 어떤 파일이 다른 파일에 의존하는지 기억하는 대신, Dagster가 이를 대신 처리해 줍니다.

Dagster가 특별한 점은 데이터를 바라보는 방식입니다. 작업(job)만을 중심으로 보는 대신, 테이블, 파일, 모델과 같은 중요한 항목(자산이라고 부름)을 추적합니다. 이를 통해 모든 데이터가 어떻게 연결되어 있는지 쉽게 파악할 수 있습니다.

이 플랫폼은 코드가 실제로 실행되기 전에 테스트할 수 있는 기능, 데이터 품질을 자동으로 검사하는 기능, 데이터 처리 비용을 보여주는 기능을 포함하고 있습니다. 자체 서버에서 사용하거나 관리형 서비스로 클라우드에서 사용할 수 있습니다.

Dagster 시작은 간단합니다. 주요 단계는 다음과 같습니다:

• Python 패키지 관리자를 사용하여 Dagster 설치. 터미널에서 간단한 명령어를 실행하여 컴퓨터에 필요한 모든 것을 설치하세요.

• 데이터 자산 정의는 생성하려는 데이터와 그 방법을 설명하는 Python 함수를 작성하여 수행합니다. Dagster는 이러한 함수를 표시하기 위해 간단한 데코레이터를 사용합니다.

• 배포 전에 로컬에서 테스트하세요. Dagster는 모든 것을 자신의 컴퓨터에서 실행할 수 있게 하여, 프로덕션에서 테스트하는 것보다 훨씬 빠르게 제대로 작동하는지 확인할 수 있습니다.

• Dagster 서버를 시작하여 웹 인터페이스에서 보기. 이를 통해 모든 데이터 자산을 시각적으로 확인하고, 상태를 점검하며, 연결 방식을 이해할 수 있습니다.

• 자동 실행 예약으로 데이터를 최신 상태로 유지하세요. 특정 시간이나 조건이 충족될 때 파이프라인이 실행되도록 일정이나 트리거를 설정할 수 있습니다.

• 자산 기반 데이터 오케스트레이션 및 추적

• 로컬 테스트 및 개발 환경

• 자동 데이터 품질 검증 검사

• dbt, Snowflake 및 기타 도구와의 통합

• 실시간 데이터 계보 시각화

• 내장 비용 추적 및 모니터링

• 스마트 트리거를 통한 일정 자동화

• 파이썬 네이티브 개발 환경

• 안전한 테스트를 위한 브랜치 배포

• 내장 데이터 카탈로그 및 메타데이터