Основы ETL и ELT: Создание конвейеров данных

Перемещение данных — это основа аналитики и машинного обучения, но без надлежащего фундамента создание надежных конвейеров может быть непростой задачей. К концу этого курса вы будете понимать механику ETL и ELT, что позволит вам разрабатывать и внедрять надежные рабочие процессы, обеспечивающие качество и доступность данных. Что вы узнаете: * Понять основные концепции и исторические различия между ETL (трансформировать перед загрузкой) и современным ELT (загрузка перед трансформацией). * Применять основные методы извлечения данных из различных общих источников данных, включая файлы и API. * Практика определения логики преобразования для очистки, нормализации и агрегирования данных в соответствии с бизнес-правилами. * Настройка основных механизмов загрузки преобразованных данных в целевые назначения, такие как хранилища данных или базы данных. * Внедрение основных проверок качества данных и шагов по проверке в рамках рабочих процессов. * Изучите основные концепции оркестрации и планирования конвейера для надежной автоматизации потоков данных. Курс начинается с определения ключевой терминологии и концепций архитектуры данных, а затем переходит к практическим шагам по последовательному созданию этапов Extract, Transform и Load. Мы сосредоточимся на письменных объяснениях и практических примерах кода, чтобы проиллюстрировать основную логику конвейера. Этот курс специально разработан для абсолютно начинающих в области инженерии данных, анализа данных или разработки программного обеспечения, заинтересованных в инфраструктуре данных. Не требуется предыдущий опыт работы с инструментами ETL или хранилищами данных. Начните накапливать опыт работы с инфраструктурой данных уже сегодня.