Dagster

Dagster는 데이터 워크플로우를 자동으로 정리하고 실행하는 데 도움을 주는 도구입니다. 모든 데이터 작업을 위한 스마트 매니저라고 생각할 수 있습니다. 스크립트를 수동으로 실행하거나 어떤 파일이 다른 파일에 의존하는지 기억하는 대신, Dagster가 이를 대신 처리해 줍니다.

Dagster가 특별한 점은 데이터를 바라보는 방식입니다. 작업(job)만을 중심으로 보는 대신, 테이블, 파일, 모델과 같은 중요한 항목(자산이라고 부름)을 추적합니다. 이를 통해 모든 데이터가 어떻게 연결되어 있는지 쉽게 파악할 수 있습니다.

이 플랫폼은 코드가 실제로 실행되기 전에 테스트할 수 있는 기능, 데이터 품질을 자동으로 검사하는 기능, 데이터 처리 비용을 보여주는 기능을 포함하고 있습니다. 자체 서버에서 사용하거나 관리형 서비스로 클라우드에서 사용할 수 있습니다.

• 자산 기반 데이터 오케스트레이션 및 추적

• 로컬 테스트 및 개발 환경

• 자동 데이터 품질 검증 검사

• dbt, Snowflake 및 기타 도구와의 통합

• 실시간 데이터 계보 시각화

• 내장 비용 추적 및 모니터링

• 스마트 트리거를 통한 일정 자동화

• 파이썬 네이티브 개발 환경

• 안전한 테스트를 위한 브랜치 배포

• 내장 데이터 카탈로그 및 메타데이터