Основы инженерии данных: конвейеры, SQL и оркестрация

Инженерные данные являются основой современной науки о данных и анализа, но овладение основами потока данных может быть сложным. Этот курс предоставляет структурированную основу в основных инструментах и архитектурных шаблонах, необходимых для проектирования, создания и обслуживания надежных конвейеров по вводу и преобразованию данных. Этот курс посвящен практическим, фундаментальным знаниям, готовящим вас к решению задач и технических обзоров инженера по данным начального уровня. Что вы узнаете: * Понимание принципов моделирования данных, включая моделирование размерностей, и управление реляционными данными с помощью PostgreSQL. * Практика написания высокопроизводительных SQL-запросов и применение Python для сложной обработки данных и логики преобразований. * Разрабатывать надежные пакетные и потоковые архитектуры данных с использованием концепций Apache Kafka и распределенных систем хранения. * Настройка и мониторинг воспроизводимых потоков данных с использованием основных функций Apache Airflow. * Применять основные модели хранения данных, включая концепции, связанные с колоночными магазинами, такими как ClickHouse и аналитическая оптимизация запросов. * Узнайте основные передовые методы для структурирования, тестирования и эффективного развертывания задач по инженерии данных. Курс начинается с основной терминологии и теории моделирования данных, затем идет практическое применение с использованием Python и SQL для манипуляции данными, и заканчивается уроками по структурированию сложных рабочих процессов и интеграции различных технологий хранения и потокового вещания. Этот курс разработан специально для абсолютно начинающих, заинтересованных в том, чтобы стать инженерами данных. Не требуется предыдущий опыт работы с инфраструктурой данных или сложным кодированием, достаточно базовых знаний по программированию. Начните наращивать свои знания по основам обработки данных уже сегодня.