Dagster
Dagster — це платформа оркестрації даних, яка допомагає командам створювати, планувати та контролювати надійні конвеєри даних із вбудованим тестуванням та можливістю спостереження.
Що таке Dagster
Dagster — це інструмент, який допомагає організувати та автоматично запускати ваші робочі процеси з даними. Уявіть його як розумного менеджера для всіх ваших завдань з даними. Замість того, щоб вручну запускати скрипти або пам’ятати, які файли залежать від інших, Dagster робить це за вас.
Що відрізняє Dagster — це його підхід до даних. Він відстежує ваші таблиці, файли та моделі як важливі об’єкти (названі активами), а не просто зосереджується на завданнях, які їх створюють. Це допомагає вам бачити, як усі ваші дані пов’язані між собою.
Платформа включає функції для тестування вашого коду перед запуском, автоматичної перевірки якості даних та показу вартості ваших процесів обробки даних. Ви можете використовувати її на власних серверах або в хмарі через їх керовану службу.
Як використовувати Dagster
Початок роботи з Dagster є простим. Ось основні кроки:
Встановіть Dagster за допомогою менеджера пакетів Python. Запустіть просту команду в терміналі, щоб отримати все необхідне на вашому комп’ютері.
Визначте ваші дані, написавши функції на Python, які описують, які дані ви хочете створити і як це зробити. Dagster використовує прості декоратори для позначення цих функцій.
Тестуйте локально перед розгортанням. Dagster дозволяє запускати все на вашому комп’ютері, щоб переконатися, що все працює правильно, що значно швидше, ніж тестування в продакшені.
Переглядайте у веб-інтерфейсі, запустивши сервер Dagster. Це дає вам візуальний спосіб бачити всі ваші дані, перевіряти їх статус і розуміти, як вони пов’язані.
Налаштуйте автоматичні запуски, щоб підтримувати ваші дані актуальними. Ви можете встановити розклади або тригери, які запускають ваші пайплайни у визначений час або коли виконуються певні умови.
Функції Dagster
Оркестрація та відстеження даних на основі активів
Локальне тестування та середовище розробки
Автоматичні перевірки якості даних
Інтеграція з dbt, Snowflake та іншими інструментами
Візуалізація лінійності даних у реальному часі
Вбудоване відстеження та моніторинг витрат
Автоматизація розкладу з розумними тригерами
Розробка з використанням Python
Розгортання гілок для безпечного тестування
Вбудований каталог даних та метадані
Ціноутворення Dagster
Solo
$10 /міс
- 7,500 кредитів на місяць
- 1 користувач
- 1 розташування коду
- 1 Розгортання
- 30-денна безкоштовна пробна версія
- Ідеально для особистих проєктів
Starter
$100 /міс
- 30,000 кредитів на місяць
- До 3 користувачів
- 5 кодових локацій
- 1 Розгортання
- Пошук у каталозі
- 30-денна безкоштовна пробна версія
- Контроль доступу на основі ролей
Pro
Custom
- Необмежена кількість місць розміщення коду
- Необмежена кількість розгортань
- Відстеження витрат та аналітика
- Персоналізована підтримка при впровадженні
- Приватний канал Slack
- Угоди про рівень доступності (SLA)
- Індивідуальні анкети безпеки
Випадки використання Dagster
Хто може отримати користь від Dagster
Репозиторій Dagster
Переглянути на Github| Зірки | 14,265 |
| Форки | 1,861 |
| Вік репозиторію | 7 років |
| Останній коміт | 1 місяць тому |
Часті запитання про Dagster
Поділіться своїм досвідом з Dagster
Подивіться, що користувачі кажуть про Dagster
0 Огляди
Ще немає оглядів
Будьте першим, хто напише огляд Dagster
Вбудувати значки Dagster
Покажіть своїй спільноті, що Dagster представлений на Tool Questor. Додайте ці красиві значки на свій веб-сайт, документацію або соціальні профілі, щоб підвищити довіру та залучити більше трафіку.
