Dagster
モダンデータオーケストレーションプラットフォーム
Dagsterは、組み込みのテストと可観測性を備えた信頼性の高いデータパイプラインを構築、スケジュール、監視するのを支援するデータオーケストレーションプラットフォームです。
Dagsterとは
Dagsterは、データワークフローを自動的に整理・実行するのに役立つツールです。すべてのデータタスクのスマートなマネージャーのようなものと考えてください。スクリプトを手動で実行したり、どのファイルが他のファイルに依存しているかを覚えたりする代わりに、Dagsterがこれらを代わりに管理します。
Dagsterの特徴は、データの捉え方にあります。ジョブだけでなく、テーブル、ファイル、モデルなどの重要なアイテム（アセットと呼ばれます）を追跡します。これにより、すべてのデータがどのように連携しているかを把握できます。
このプラットフォームには、コードを本番環境に出す前のテスト機能、自動的なデータ品質チェック、データ処理のコスト表示機能が含まれています。自社サーバーでの利用も、マネージドサービスを通じたクラウド利用も可能です。
Dagsterの機能
アセットベースのデータオーケストレーションとトラッキング
ローカルテストおよび開発環境
自動データ品質検証チェック
dbt、Snowflake、その他ツールとの統合
リアルタイムデータ系統の可視化
組み込みのコスト追跡とモニタリング
スマートトリガーによるスケジュール自動化
Pythonネイティブの開発体験
安全なテストのためのブランチデプロイメント
組み込みのデータカタログとメタデータ
Dagsterの料金
Solo
$10/月
- 月額7,500クレジット
- 1ユーザー
- 1つのコードロケーション
- 1回の展開
- 30日間無料トライアル
- 個人プロジェクトに最適
最も人気
Starter
$100/月
- 月額30,000クレジット
- 最大3ユーザーまで
- コードの場所5箇所
- 1回の展開
- カタログ検索
- 30日間無料トライアル
- 役割ベースのアクセス制御
Pro
Custom
- 無制限のコードロケーション
- 無制限のデプロイメント
- コスト追跡とインサイト
- パーソナライズされたオンボーディングサポート
- プライベートSlackチャンネル
- 稼働時間SLA
- カスタムセキュリティアンケート
Dagsterの使用例
Dagsterのリポジトリ
Githubで見る| スター | 16,183 |
| フォーク | 2,296 |
| リポジトリの年齢 | 8 年 |
| 最終コミット | 2 日 前 |
Dagsterについてのよくある質問
はい、Dagsterにはご自身のインフラで実行できる無料のオープンソース版があります。マネージドサービスとしては、30日間の無料トライアルが付いた月額10ドルのSoloプラン、月額100ドルのStarterプラン、大規模チーム向けのカスタム価格設定があるEnterprise Proプランがあります。
Dagsterはデータ資産（テーブル、モデル、ファイル）に焦点を当てているのに対し、Airflowはタスクに焦点を当てています。これにより、Dagsterはデータの依存関係や系譜の理解に優れています。また、Dagsterはローカルでのテストや開発が非常に簡単で、複雑な設定なしにノートパソコン上でパイプラインを実行できます。
はい、Dagsterはdbt、Snowflake、そして多くの人気のあるデータツールに対して強力な組み込みサポートを備えています。既存のスタックを置き換えるのではなく、並行して動作するように設計されています。すべてを一度に移行することなく、段階的にDagsterを導入することが可能です。
はい、Dagsterはパイプラインやデータ資産の定義にPythonを使用しています。ただし、学習曲線は緩やかで、ドキュメントには多くの例が含まれています。SQLや基本的なプログラミングの概念に慣れていれば、比較的早く始めることができます。
もちろんです。Dagsterは機械学習のワークフローに非常に適しています。トレーニングデータの管理、モデルのトレーニング、評価、デプロイを支援します。多くのチームがデータエンジニアリングと機械学習のパイプラインの両方にDagsterを使用しており、すべてを連携させて整理しやすくしています。
について、ユーザーの声を見る Dagster
0.0
0 レビュー
5
0
4
0
3
0
2
0
1
0
まだレビューがありません
最初のレビュアーになる Dagster