Python, SQL и PySpark для больших данных Основы

Обработка больших данных требует конкретного набора инструментов для управления и анализа информации в масштабе. Если вы начинаете карьеру в области инженерии данных или науки данных, овладение этим ключевым технологическим трио имеет важное значение. Эта программа предоставляет всеобъемлющее введение в основные три навыка работы с данными: практическое программирование на Python, ориентированное на структуры данных, надежный SQL для запросов и управления базами данных (с использованием PostgreSQL) и PySpark для действительно распределенных вычислений. Вы приобретете уверенность в структуре, запросе и эффективной обработке массивных наборов данных. Что вы узнаете: * Освоить основные принципы программирования на Python и использовать библиотеку pandas для эффективного манипулирования данными и их очистки. * Понять архитектуру распределенных вычислений и применять PySpark DataFrames для обработки данных в масштабе с использованием Apache Spark. * Написать сложные SQL-запросы, включая продвинутые методы, такие как общие выражения таблиц (CTE) и функции окна, используя PostgreSQL. * Практика оптимизации производительности запросов и выполнения основных задач администрирования базы данных. * Примените полный рабочий процесс, от чтения необработанных данных с использованием SQL до преобразования их в Python и масштабирования окончательного анализа с помощью PySpark. Курс начинается с основных понятий в обработке данных и структуре базы данных, прежде чем перейти к практической практике с программированием Python, разработанным для задач с данными. Финальные модули сосредоточены на применении методов запросов SQL и масштабировании этих процессов с использованием распределенной мощности PySpark. Этот курс предназначен для абсолютно начинающих, заинтересованных в инженерии данных, науке о данных или ролях анализа данных и нуждающихся в прочной, практической основе в технологиях больших данных. Не требуется предыдущий опыт работы с Python, SQL или Spark. Начните развивать свои навыки работы с большими данными уже сегодня.