Описание
t Базовая книга по инженерии данных. Рассмотрены все аспекты проектирования и эксплуатации различных архитектур данных, а также полный жизненный цикл работы с данными: подготовка, поглощение, преобразование, очистка, сочетание, оркестрация, конвейеризация. Особое внимание уделено облачным технологиям, распределению нагрузки и безопасному хранению данных. Разобраны приёмы формирования запросов, работы с базами данных и отслеживания потоков данных. Книга даёт исчерпывающее представление о проектировании систем для обработки разнородных данных, поддержании этих систем в упорядоченном и доступном виде и о тенденциях развития современной индустрии данных. Последнее десятилетие инженерия данных бурно развивается, поэтому среди программистов, исследователей и аналитиков данных растёт запрос на комплексное рассмотрение инженерии данных как цельной парадигмы. Из книги вы узнаете, как проектировать и создавать enterprise-системы для обработкпи данных. Книга помогает оценить разнообразные технологии, доступные в рамках инженерии данных, понять жизненный цикл данных как продукта. Авторы демонстрируют все тонкости инженерии данных в динамике, рассказывают, как объединять и сочетать различные облачные технологии обработки данных для максимального удовлетворения интересов пользователя. Показано, как организовать генерацию, поглощение, оркестрацию, преобразование, хранение и конвейеризацию данных и управление ими в любой среде, независимо от того, на основе какой базовой технологии она построена. В этой книге: Краткий обзор технологического ландшафта современной инженерии данных Решение задач по инженерии данных с применением наилучших практик Подбор технологий, выстраивание архитектуры данных, налаживание бизнес-процессов Внедрение практик управления данными и обеспечения безопасности процессов в рамках всего жизненного цикла инженерии данных Сегодня мир данных активно развивается. Сначала их проектировали, затем укладывали в базах данных. Затем ими занялись шефы. Потом появились архитекторы данных. Эта книга открывает новый этап на пути к зрелости всей индустрии данных. Абсолютно необходимый материал для всех, кто всерьёз желает делать карьеру в области работы с данными.
Билл Инмон, основоположник технологии хранилищ данных
Эта книга — отличное введение в темы передачи, обработки и преобразования данных. Исключительно рекомендую её всем, кто желает быстрее развиваться в инженерии или анализе данных, а также практикующим специалистам, которым требуется заполнить пробелы в знаниях.
Джордан Тигани, основатель и генеральный директор сайта MotherDuck, основатель и соавтор проекта BigQuery
Джо Рис (Joe Reis) — специалист по инженерии и архитектуре данных для enterprise-задач Мэтт Хоусли (Matt Housley) — консультант по инженерии данных и облачным технологиям
