Что такое отчетность dwh
Как проходит интервью системных аналитиков DWH в Тинькофф
Привет! Я Мария Фоменко, заместитель руководителя управления хранилищ данных и отчетности в Тинькофф. Расскажу о направлении DWH и о том, как попасть к нам в команду, что спрашивают на скрининге HR и на секциях системного анализа DWH.
Статья будет полезна тем, кто планирует расти в профессии, интересуется работой в большой компании или хочет работать именно в Тинькофф. Если узнали себя в любом из пунктов, добро пожаловать под кат 😊
Data Warehouse в Тинькофф
Наша команда занимается данными в компании. Наша миссия — распространять data-driven подход в компании, создавать единую платформу и пространство работы с данными.
Команда DWH делится на два блока:
Технический или core-блок создает платформу данных как продукт. Ключевая задача специалистов этого блока — создавать и развивать инфраструктуру нашей платформы.
Мы пишем собственные инструменты загрузки и преобразования данных и внедряем лучшие из существующих на рынке. Развиваем методологии работы с данными и их визуализации. Делимся best practice с компанией, предоставляем self-service для 3000+ пользователей платформы.
Команда состоит из разработчиков, SRE-инженеров, продакт-менеджеров и архитекторов. Мы любим open source, многое пишем с нуля на Java, Python, Scala и Golang
Бизнес-блок с помощью платформы данных, разработанной core-специалистами, предоставляет data as a product для всех бизнес-направлений Тинькофф.
Бизнес-блок состоит из команд, каждая из которых закреплена за какой-то бизнес-линией Тинькофф. Команды строят аналитическую модель данных, создают ключевую управленческую и операционную отчетность для своего направления, занимаются data governance и решают вопросы качества данных.
Команда состоит из системных аналитиков DWH, разработчиков ETL, data-инженеров, QA-инженеров, бизнес-аналитиков BI
Несмотря на то что большая команда DWH разделена на микрокоманды по задачам, у всех общий фокус на результат. При этом у каждой специализации есть не только свои стандарты, но и общие гайды и матрицы развития, все команды действуют в едином пространстве и на единой платформе.
Системные аналитики DWH входят в бизнес-блок и занимаются исследованием источников, проработкой требований заказчика, проектированием модели данных, составлением ТЗ для разработчиков, развитием data governance и разработкой data quality правил.
Этапы отбора
В Тинькофф отбор проходит в три этапа: HR-скрининг, техническое интервью из двух частей и финальное интервью. Вот как они выглядят в таблице:
Этап
Секция
Время
2. Техническое интервью
Секция SQL + логика
Секция системный анализ DWH
3. Финальное интервью
Знакомство с командой
Первый этап — интервью с рекрутером по телефону. Он спрашивает об опыте, мотивации, желаемом уровне дохода, ожиданиях, технических интересах. Уточняет опыт работы с СУБД, какие задачи с данными приходилось решать, какие с ними были сложности. Интересуется планами на ближайшее время: с чем хочется поработать, что нравится в работе.
Второй этап — техническое интервью. Состоит из двух секций: по SQL и логике и секции системного анализа DWH. На них проверяют базовые знания и уровень погружения в область хранилищ данных. Тех, кто успешно прошел первые два шага, приглашают на финальное интервью с командой.
Третий этап — финальное интервью. Там кандидаты знакомятся с командами, обсуждают особенности проекта и конкретные задачи, над которыми предстоит работать в первое время.
Техническое интервью — секция SQL + логика
На этом этапе проверяются знания и навыки по работе с данными. DWH — это петабайты данных, тысячи пользователей и сотни тысяч аналитических запросов в день. Нам важно знать, на каком уровне человек умеет работать с данными, какие конструкции приходилось писать, есть ли опыт оптимизации запросов.
Задача секции SQL — узнать уровень владения SQL, понять, что человек мыслит данными. Сложность задач, которые будут на собеседовании, определяются уровнем знаний системного аналитика. Начальный уровень он определяет самостоятельно, а потом подтверждает знание обязательных конструкций для этого и следующих уровней.
На уровне Junior собеседование всегда начинается с задач уровня Junior, а вот на уровнях Middle или Senior — с уровня Middle и продолжается по ситуации: вверх или вниз.
Часть секции отведена логическим задачам, по ходу которых отмечается, как системный аналитик раскручивает алгоритм решения, его аналитические способности.
Техническое интервью — секция системный анализ DWH
Цель этой секции — проверить на реальном кейсе навыки общения с бизнес-заказчиками: может ли системный аналитик переложить бизнес-процесс на сущности хранилища.
Решение задач проходит в формате диалога. Есть несколько сценариев, с которыми работаем на собеседовании: если у кандидата был опыт работы с DWH, то идут вопросы по платформе, а потом задачи. Если опыта нет — только задачи. В секцию входят вопросы про опыт работы с хранилищами данных, основные понятия, с какими подходами и методологиями приходилось сталкиваться.
Тайминг: сколько времени идет каждый этап
Первичный телефонный разговор длится 20–30 минут. Если все пройдет хорошо, то рекрутер согласует дату и время для технического интервью.
Техническое интервью разбито по двум разным дням и занимают около 90 минут каждое. На секцию системного анализа DWH проходят те, кто успешно справился с секцией по логике и SQL. После секций рекрутер собирает информацию по результатам технического интервью и направляет их заинтересованным командам. У них есть день, чтобы дать обратную связь, но на практике они отвечают в течение пары часов. Заинтересованные команды практически сразу присылают отклики. Тогда рекрутер возвращается к системному аналитику и зовет его на следующий этап — итоговое интервью. Это уже не собеседование, а знакомство с командами. После созвона рекрутер попросит назвать, какой проект понравился больше всего, а через день возвращается с финальным решением. Если аналитику подходят задачи и нравится команда, он получает оффер. Обычно процесс его согласования длится 1–2 дня.
Как быстрее получить оффер
Компании, для отбора в которые нужно пройти несколько этапов интервью, все чаще проводят One Day Offer — формат, когда на все эти этапы отводится один день. Для компании это возможность быстро нанять специалистов, а для кандидата — получить оффер. За один день можно пообщаться с командой, узнать о проектах, пройти технические секции и принять оффер, если работа подойдет по условиям, а задачи — по скиллам.
В декабре Тинькофф проводит первый One Day Offer для системных аналитиков DWH. Если любите данные и вам интересен такой формат, присоединяйтесь.
Что такое DWH и почему без них данные компании почти бесполезны
Тем, кто работает в крупном бизнесе, периодически приходится слышать три магические буквы — DWH. Узнав расшифровку этой аббревиатуры — data warehouse, можно догадаться, что это имеет отношение к данным. А вот чем DWH отличается от простых баз данных, почему вокруг них снуют рои бизнес-аналитиков и зачем вашей компании иметь такую штуку — это всё еще непонятно. Разбираемся в статье.
DWH — что это и в чем отличие от баз данных
Data warehouse — склад всех нужных и важных для принятия решений данных компании.
Но есть же всякие базы данных внутри фирмы, разве они не DWH? Например, СУБД с клиентами, складскими запасами или покупками. Где разница между обычной базой данных и DWH?
Короче говоря, DWH — это система данных, отдельная от оперативной системы обработки данных. В корпоративных хранилищах в удобном для анализа виде хранятся архивные данные из разных, иногда очень разнородных источников. Эти данные предварительно обрабатываются и загружаются в хранилище в ходе процессов извлечения, преобразования и загрузки, называемых ETL. Решения ETL и DWH — это (упрощенно) одна система для работы с корпоративной информацией и ее хранения.
Что дают DWH-решения для BI и принятия решений в компании
Понятное дело, что просто так тратить деньги и время на консервирование кучи разных записей, которые и так можно накопать в других базах данных, никто не станет. Ответ заключается в том, что DWH необходима для того, чтобы делать BI — business intelligence.
Что такое BI с DWH? Бизнес-аналитика (BI) — это процесс анализа данных и получения информации, помогающей компаниям принимать решения.
Если бы такого аналитического отчета не было — управленцам пришлось бы искать проблему наугад.
Логичный вопрос: казалось бы, зачем держать для этого всего DWH? Аналитики вполне могут ходить в базы данных разных систем и просто выдергивать оттуда то, что им надо.
Ответ: так, конечно, тоже можно делать. Но — не нужно. И вот почему:
Для работы с большими данными используют различные решения, обрабатывающие информацию из DWH. SAS, VK Cloud Solutions (бывш. MCS) и другие компании предлагают различные варианты коробочных и облачных решений под такие задачи.
Что такое DWH
Стойкая потребность в корпоративных хранилищах данных появилась еще в 90-х годах 20-го столетия. В этот период в бизнес-среде активно стали применяться информационные системы. Они применялись компаниями для контроля многих показателей эффективности работы, обеспечивая возможность мгновенно реагировать на их изменения. Каждое из приложений локально автоматизировало процесс производства или продажи товара, выполнение бухгалтерских расчетов, проведение банковских операций, позволяло составлять аналитику. Основные сложности на этом этапе состояли в разных рабочих схемах различных систем, что приводило к расхождению информации. Не было возможности получать консолидированные данные, позволяющие создать полноценную картину из отдельных прикладных систем.
Решить данную проблему призвано корпоративное хранилище данных – Data Warehouse, или DWH. Это предметно-ориентированная база данных, позволяющая автоматически готовить консолидированные отчеты и выполнять интеграцию бизнес-анализа. Благодаря ей пользователь получает возможность своевременно принимать правильные решения по управлению на основе целостной информационной картины. Так в чем отличие DWH от обычных баз данных? Почему она настолько привлекает внимание бизнес-аналитиков? Нужна ли она вашей компании? Постараемся найти ответы на эти вопросы.
Отличия DWH от других баз данных
Data Warehouse – это хранилище данных, которые нужны вашей компании для принятия решений. От обычных баз они отличаются:
То есть ответ запрос: DWH что это прост – это отдельная от оперативной системы база для хранения архивной информации от разных источников. Она работает совместно с процессами извлечения, загрузки или преобразования корпоративных данных (ETL). В результате получается единая система для хранения корпоративных сведений и работы с ними.
Зачем нужен DWH нужен бизнесу?
DWH хранилище – обязательный спутник любой бизнес-аналитики (BI, Business Intelligence). Оно принимает непосредственное участие в анализе данных и позволяет получать информацию, которая потребуется персоналу или руководителю при принятии соответствующих решений. На примере это выглядит так:
Если не использовать Data Warehouse, причину падения прибыли пришлось бы искать наугад, каждый раз проверяя теорию на практике до тех пор, пока не будет выявлена проблема. А это все заняло бы очень много времени. Ненамного быстрее была бы и работа с классическими базами данных. Маркетологу пришлось бы заходить в разные хранилища, пытаясь отыскать в них нужную информацию, сопоставлять ее.
Но это не единственные преимущества применения DWH. Единое хранилище данных обеспечивает:
На основе Data Warehous создаются и индивидуальные решения под большие объемы данных. Многие разработчики создают персональные коробочные и облачные проекты специально под такие задачи.
Структура DWH
Хранилище данных – это сложная технология с непростой архитектурой, состоящая из нескольких уровней:
Разработкой DWH должны заниматься опытные люди. Те, кто обладает глубокими профессиональными знаниями в данной области. Только так можно будет получить продукт, простой и эффективный в использовании.
Эффективность DWH в бизнес-аналитике
Современная бизнес-аналитика в комплексе с единым хранилищем данных открывает новые возможности для управления бизнесом. Специалисты получили уникальные ресурсы для построения теории и проведения экспериментов, подтверждающих или опровергающие ее, оперируя огромным количеством реальных показателей. В итоге в работу запускается не теоретическая модель, а реально работающий проект, который гарантированно дает высокий результат.
Правильное управление компанией – это не только повышение прибыли. Оно может быть направлено на расширение производственных мощностей, повышение благосостояния сотрудников, лояльности со стороны клиентов, формирования солидного образа и другие мероприятия, которые в перспективе будут способствовать стабильности бизнеса. И все эти показатели позволяет анализировать комплекс из Business Intelligence и Data Warehous. А что было бы без них? Как правило, это попадание пальцем в небо, тория вероятности, которую можно проверить только на практике. А это трата времени и денег, нанесение ущерба бизнесу.
Более подробные консультации из данной области, нюансах создания продукта высокого качества и техническую поддержку можно получить у специалистов компании Xelent.
Системный аналитик DWH и его отличия от других подобных профессий
Аналитик DWH — э то специализированный системный аналитик, который выполняет практически те же функции, но с ориентацией на DWH.
DWH — это Data WareHouse, по своей сути это специализированная система управления и обработки данных в бизнес-кругах. Почему именно в бизнесе? Потому что там в базы данных стекается информация различного рода, но не вся она одинаково полезна для бизнес-решений. Поэтому такую информацию делят : в DWH-хранилища отправляют только ту информацию, которая необходима будет компании для принятия важных стратегических бизнес-решений.
DWH и обычные базы данных
Прежде че м объяснить, кто такой аналитик DWH, важно отметить основные отличия между обычными базами данных и DWH.
Итак, эти два вида хранилищ отличаются между собой по следующим пунктам:
Объем сохраняемых данных. Обычные базы данных сохраняют только актуальную информацию касаемо деятельности компании. Поэтому объем сохраняемой информации будет не очень велик, если сравнивать с DWH. Потому что в DWH она нужна для анализа. А чтобы анализ был успешным, нужно сохранять прошлые достижения и показатели компании, чтобы было с чем сравнивать. А это значит, что в DWH могут храниться большие объемы данных, включающие в себя все самое важно е с момента создания компании.
Получается, что DWH не участвует в хранении оперативной информации — в нее попада ю т только уже предварительно проанализированные сведения из разных баз данных для дальнейшей работы с ними.
Нужны ли базы DWH бизнесу?
У вас может сложит ь ся такое впечатление, что DWH — это просто дублирование информации, которая и так есть в других базах данных. Для чего она нужна, если можно извлечь ту же самую информацию из других БД?
DWH дают компаниям следующее:
Быстрый доступ к необходимым данным. Разница в скорости доступа к данным с DWH и без DWH ощущается с ростом компании. Чем крупнее компания, тем медленнее у нее будет доступ к необходимым данным без DWH.
Хранение. В DWH хранится вся важная информация о компании, которая не «затеряется» в тоннах информа ционного мусора.
Устойчивость к отказам. Когда разрабатывают DWH, то их изначально готовят к тому, что в них будет хранит ь ся большое количество сведений и с этим «большим количество м » нужно будет оперативно работать. То есть DWH изначально подготавливают к большим нагрузкам.
Современный большой бизнес строится на аналитике. Бизнес-аналитика невозможна без DWH и специалистов, работающих с такими данными. Поэтому важность DWH для большого бизнеса даже не обсуждается. Однако, чтобы такие базы данных приносили бизнесу эффективность и успех, в компании должен быть «сильный» аналитик DWH.
Аналитик DWH
Аналитик DWH — это специалист, который умело оперирует бизнес-данными и способен на их основе оптимизировать эффективность работы компании. Для этого аналитик DWH должен уметь не только хорошо обрабатывать данные, но и быть экспертом в той области, где функционирует компания, в которой он работает.
Кто такой аналитик DWH
Основная задача аналитика DWH — это работа с уже полученными данными для баз данных типа DWH. Он должен уметь:
собирать, выявлять, извлекать, анализировать и правильно использовать данные для DWH-хранилищ;
выявлять потребности бизнеса в данных, которыми он управляет;
правильно распределять данные в DWH;
подготавливать необходимые отчеты по требованию вышестоящего руководства;
следить за целостностью и сохранностью DWH-баз;
работать со специализированным программным обеспечением и языками программирования для DWH-баз;
визуализировать отчеты для понимания « не профессионалами»;
работать с современными методиками и инструментами для описания бизнес-процессов;
Необходимые навыки и умения аналитика DWH формируются требованиями компании, где он работает. Но в обще м а налитик DWH должен понимать аналитические процессы, уметь работать с базами данных типа DWH и отлично знать сферу деятельности компании, где он трудится.
Заключение
Мы будем очень благодарны
если под понравившемся материалом Вы нажмёте одну из кнопок социальных сетей и поделитесь с друзьями.
Отличия OLTP баз данных от DWH
Приветствую Вас на сайте Info-Comp.ru! По своей природе и OLTP система, и хранилище данных (DWH) являются обычными базами данных, но между ними существуют отличия, в этом материале мы как раз и поговорим о том, чем же отличаются OLTP системы от DWH.
Итак, чтобы разобраться в том, чем же отличаются OLTP базы данных от хранилищ данных, необходимо знать, что такое OLTP, и что такое DWH, поэтому сначала давайте поговорим именно об этом.
Что такое OLTP
OLTP (Online Transaction Processing) – это транзакционная система, т.е. операционная база данных, в которой обработка транзакций происходит в реальном времени.
Иными словами, такие базы данных предназначены для хранения и обработки информации в режиме реального времени. Например, ввод данных пользователями компании, расчет и регистрация различных операций клиентов и т.д.
Особенностями OLTP систем являются:
К OLTP системам можно отнести:
Таким образом, как Вы понимаете, OLTP систем и, соответственно, баз данных в компании может быть несколько, каждая из которых предназначена для хранения и обработки определенного типа информации, т.е. для определенных бизнес-процессов, например, одна система может вести учет продаж и всего, что с этим связано, другая — кадровый учет сотрудников, а третья — учет логистических процессов.
Что такое DWH (Data Warehouse)
Data Warehouse (DWH, хранилище данных) – это база данных, которая служит источником для подготовки аналитических отчетов и бизнес-анализа.
Отсюда следует, что хранилища данных предназначены для формирования отчетности.
Необходимость в DWH появляется как раз тогда, когда в компании используется несколько OLTP систем или несколько разных способов генерации новых данных (т.е. разных источников новых данных), которые необходимо впоследствии централизованно анализировать.
Особенности DWH:
Чем отличается OLTP от DWH
Ну, а теперь можно выделить несколько основных отличий OLTP баз данных от DWH.
Характеристика
Заметка! Если Вас интересует язык SQL, то рекомендую почитать книгу «SQL код» – это самоучитель по языку SQL для начинающих программистов. В ней язык SQL рассматривается как стандарт, чтобы после прочтения данной книги можно было работать с языком SQL в любой системе управления базами данных.
На сегодня это все, надеюсь, материал был Вам полезен, пока!