Обработка больших данных

Overview

Google, IBM & Meta Certificates — All 10,000+ Courses at 40% Off

One annual plan covers every course and certificate on Coursera. 40% off for a limited time.

Ключ к успешному развитию любой компании в современном мире — это умение делать быстрые и правильные решения, основываясь на данных. С каждым годом этих данных становится всё больше, при этом старые методы анализа перестают адекватно работать на таких объемах.

На этом онлайн-курсе НИУ ВШЭ мы изучим основные технологии и приемы, позволяющие эффективно хранить и обрабатывать огромные массивы информации. Мы также обсудим, откуда данные вообще возникают, как их собирать и какая инженерная подготовка требуется для безболезненной работы с этими технологиями.

Syllabus

Базовые подходы к хранению и извлечению информации

На этой неделе мы познакомимся с SQL и NoSQL базами данных и извлечением информации из Интернета. Ведь большие данные откуда-то нужно брать.

Bash для инженера данных

На этой неделе мы научимся работать с командной строкой в bash. Это очень полезное умение, которое пригодится на протяжении всего курса.

Начало работы с большим объемом данных: Hadoop, MapReduce

В этом модуле разберемся, как устроены два важных компонента экосистемы Hadoop: файловая система HDFS и API для вычислений MapReduce. Посмотрим, почему они устроены именно так и почему горизонтальная масштабируемость – это хорошо.