Поддержите проект! Сайт существует благодаря сообществу. Если помощь покрывает расходы - платформа остаётся бесплатной.Поддержать →
SQL код скопирован в буфер обмена
Задание 15:
Вам необходимо создать таблицу ежедневной агрегации для отчетности, но запоздалые события могут появляться через 2-3 дня после исходной даты события. Как бы вы спроектировали конвейер, чтобы агрегаты оставались точными со временем?

Напишите ваш ответ в поле ниже и нажмите кнопку "Проверить!"

Подсказка Голосовой ввод Остановить запись Очистить ответ

Кто такой Data Engineer?

Data Engineer проектирует и поддерживает системы, которые собирают, преобразуют и доставляют данные для аналитики и принятия бизнес-решений.

Что делает Data Engineer?

  • Строит надежные ETL/ELT-пайплайны из разных источников данных.
  • Готовит чистые и структурированные наборы данных для аналитиков и data scientist-ов.
  • Проектирует схемы хранилищ данных (фактовые и измеренческие таблицы).
  • Контролирует качество и актуальность данных, а также сбои пайплайнов.
  • Оптимизирует производительность запросов и стоимость обработки данных.

Что должен знать Data Engineer?

  • Сильный SQL: JOIN, агрегаты, оконные функции и оптимизация запросов.
  • Моделирование данных: нормализация, денормализация, схемы "звезда" и "снежинка".
  • Принципы оркестрации и планирования пайплайнов.
  • Batch/streaming-подходы, инкрементальные загрузки и идемпотентность.
  • Основы облачных хранилищ, data warehouse и наблюдаемости.

Эта страница помогает практиковать вопросы по Data Engineering в формате собеседования на SQLTest.online.