Мой доклад будет состоять из нескольких мини-докладов, в которых я постараюсь рассказать про новую функциональность/улучшение/исправление и добавлю немного бэкграунда для лучшего понимания. Например, в 12 версии ожидаются поддержка KNN для SP-GiST и B-tree, но все ли знают или помнят, что такое SP-GiST и что такое KNN и как им пользоваться?
…
— Нашли ошибку в видео? Пишите нам на support@ontico.ru
Сергей Михалев, VIAcode — Оптимизация SQL-запросов, часть 1
Встреча CodeFreeze в Петербурге, 28.08.2013
В среду, 28 августа в бизнес-инкубаторе «Ингрия» состоялась встреча с разработчиком компании VIACode Сергеем Михалевым. Из доклада слушатели узнали о том, какие проблемы с производительностью могут возникнуть при работе с самыми, казалось бы, обыкновенными SQL-запросами и об оптимизации этих запросов.
По ходу доклада мы последовательно рассмотрим несколько весьма непростых ситуаций, все глубже и глубже вникая в область оптимизации запросов. Для этого нам потребуется определённый уровень понимания устройства и работы SQL Server-а, а также глубокие знания в области оптимизации запросов. Несмотря на то, что основой для примеров служит MS SQL, многие аспекты могут быть применены и к другим СУБД.
Мы разберемся с такими вопросами как:
— жизненный цикл запросов — механизм подготовки, кеширования и исполнения запросов в MS SQL;
— основы чтения планов выполнения запросов;
— влияние внешних ключей, кластерных представлений и вычислимых столбцов на производительность запроса;
— проблема неявного преобразования типов;
— статистика сервера и как она может влиять на скорость исполнения запроса.
Материал для доклада собран из реальных проектов и задач. Многие примеры выстраданы долгими часами, днями (а то и месяцами) напряженной работы. Доклад будет полезен всем, кто работает с базами данных.
Во время доклада Павел ответит на главный вопрос — почему Python стал языком № 1 в области Data Science! Чем вам могут помочь NumPy и Pandas, а главное — как визуализировать данные за две минуты.
ДОКЛАДЧИК: Павел Кнорр, Team Lead, DataArt.
Язык доклада: русский.
Язык презентации: английский.
Описательные статистики. Квантили, квартили. Гистограммы. Ядерные оценки плотности.
Лекция №1 в курсе «Анализ данных на Python в примерах и задачах. Часть 1» (весна 2018).
Преподаватель курса: Вадим Леонардович Аббакумов
Лекция читается в рамках образовательного проекта «Технопарк Mail.ru Group» при МГТУ им.Баумана.
Описание лекции:
Лекция посвящена нереляционным (NoSQL) базам данных.
Рассматриваются следующие темы:
— История СУБД
— Реляционные БД
— NoSQL БД
— Теорема CAP
— Модели согласованности (консистентности) данных
— СУБД Tarantool
— Недостатки NoSQL решений
Хронометраж:
00:00:05 О теме лекции
00:02:37 Профессиональные цели и задачи изучения NoSQL
00:06:18 Список литературы, интернет ресурсы по теме лекции
00:12:29 Почему NoSQL? Причины появления концепции NoSQL
00:12:59 Реляционные БД: исторический экскурс
00:13:20 Статистика: наиболее используемые технологии среди разработчиков
00:17:06 Реляционные СУБД: предварительные выводы
00:20:41 Реляционные СУБД: рассмотрение проблем
00:21:31 История СУБД: 80-е — мейнфреймы
00:22:17 История СУБД: 90-е — shared database
00:23:40 История СУБД: XXI век — данных стало больше
00:25:13 История СУБД: XXI век — данные стали сложнее
00:27:51 Производительность реляционных БД
00:30:42 Реляционные БД: проблема Impedance Mismatch
00:33:43 NoSQL: исторический экскурс
00:35:42 NoSQL: история происхождения самого термина
00:38:06 NoSQL: общие характеристики
00:40:55 NoSQL: агрегатно-ориентированные БД (aggregate orientation)
00:44:48 NoSQL: нормализация данных vs данные в виде агрегатов
00:48:10 Пример агрегатов для реляционной модели e-commerce (подробней: habrahabr.ru/post/152477/)
00:49:38 Диаграмма эволюции существующих концепций и реализаций БД
00:53:41 Базы данных NewSQL
00:54:49 Базы данных NewSQL: FoundationDB
00:57:59 Базы данных временных рядов (Time series database (TSDB))
01:00:41 Встраиваемые базы данных (Embedded database)
01:05:00 Базы данных очередей (Queues database)
01:07:12 Хранилище данных ключ-значение (Key-Value Store)
01:12:38 Документно-ориентированное хранилище (Document-Oriented Store)
01:14:01 Хранилище типа «большая таблица» (BigTable-like Store)
01:16:58 Колоночно-ориентированные БД (Column-Oriented database)
01:19:23 Вопрос из зала по изучаемому материалу
01:21:43 OLTP