Шифруем и бэкапим PostgreSQL в Яндекс Object Storage / S3 на Python


Запускаем мощную платную обучающую программу, интересно принять участие? Пройдите опрос — simpoll.ru/run/survey/c44b6a04

Поддержать канал и получить доступ к закрытым видео — boosty.to/digitalize.team

Резервное копирование баз данных — всегда актуально. В этом видео мы покажем, как написать два Python скрипта, один снимает полный дамп с PostgreSQL, затем архивирует, шифрует и загружает его в Яндекс Object Storage (S3-совместимое хранилище); а второй — выкачивает последний по времени дамп базы из хранилища, расшифровывает его, распаковывает и накатывает на БД.
Исходники — github.com/alexey-goloburdin/postgres-s3-backuper (прочтите описание, код из видео и в репозитории несколько отличаются).
Яндекс утилиту WAL-G здесь не используем, только стандартный pg_dump. Возможно, в следующих видео расскажем о WAL-G:)

0:00 О скриптах резервного копирования PostgreSQL
0:30 О Яндекс Object Storage / S3
1:07 Обзор скрипта бэкапа
4:44 Шифрование бэкапов с openssl
5:40 Продолжение обзора скрипта бэкапа
10:48 Emoji и разноцветный текст в консоли
11:45 Просмотр всех бэкапов в браузере
12:08 Обзор скрипта автоматической распаковки бэкапа в PostgreSQL
18:45 Выводы

/****************** about ******************/

Меня зовут Алексей Голобурдин, я программирую с 2004 года и на этом канале делюсь своим опытом. Я основатель и руководитель компаний:

— Диджитализируй digitalize.team, разрабатываем сложные IT системы для бизнеса;
— Salesbeat salesbeat.pro, комплексный модуль доставки для интернет магазинов.

Если у вас есть проект на разработку, пишите нам на hi@digitalize.team.

С другими предложениями, а также если вам нужна одна или несколько индивидуальных консультаций/уроков по разработке (3000 руб/час), пишите мне на alexey@salesbeat.pro.

Мои соц сети:
www.facebook.com/a.goloburdin
www.instagram.com/alexeygoloburdin/
vk.com/a.goloburdin

---

Reindexer - очень быстрая in-memory БД с полнотекстовым поиском / Олег Герасимов (Рестрим)


Backend Conf, РИТ 2018

Тезисы и презентация:
backendconf.ru/2018/abstracts/3472

Мы разрабатываем платформу IPTV/OTT-телевидения. У платформы около 10 миллионов пользователей.
Требования к backend платформы: в условиях высокой нагрузки обеспечить API «тонкого» клиента — платформа должна отдавать срезы данных, отфильтрованные и отсортированные для отображения на каждом экране/странице с учетом очень непростой бизнес-логики.

— Нашли ошибку в видео? Пишите нам на support@ontico.ru

Наш опыт с Kubernetes в небольших проектах (Флант, RootConf 2017)


Доклад Дмитрия Столярова, технического директора компании «Флант» (https://flant.ru/), на конференции RootConf, проходившей в рамках фестиваля РИТ 2017 (6 июня 2017 г.). Посвящён устройству и основным возможностями Kubernetes и практике использования этой контейнерной системы в небольших проектах…

* Текстовый обзор доклада: habrahabr.ru/company/flant/blog/331188/
* Презентация: speakerdeck.com/flant/nash-opyt-s-kubernetes-v-niebol-shikh-proiektakh
* Анонс доклада на сайте конференции: rootconf.ru/2017/abstracts/2701

P.S. Мы всегда рады новым инженерам! Подробности см. на job.flant.ru/

Тренировка памяти и телепатия


Аудиоверсия: oper.ru/video/audio/perelman_memory.mp3

Сайт Тупичок Гоблина: oper.ru
Гоблин в Twitter: twitter.com/goblin_oper
Гоблин Вконтакте: vk.com/goblin
Гоблин в Instagram: www.instagram.com/goblin_oper/
Гоблин в Facebook: goo.gl/GK13pD
Группа Вконтакте: vk.com/goblin_oper_ru

Data Science, черные ящики – и почему вам сильно повезло


Я расскажу, почему именно сейчас Data Science оказывается одной из главных причин радикального изменения информационных технологий – а через них, в свою очередь, промышленности и жизни людей в целом. Ситуации, когда алгоритмы эффективно заменяют людей и меняют целые отрасли рассмотрены на примерах как сервисов Яндекса, так и некоторых других крупнейших мировых компаний. При этом наряду с повышением эффективности и другими достижениями возникают и неприятные побочные эффекты, способные в итоге повлиять на веками складывавшиеся в человеческом обществе институты – об этом тоже важно знать.

Лекция 1. Описательные статистики. Квантили, квартили. Гистограммы


compscicenter.ru/

Описательные статистики. Квантили, квартили. Гистограммы. Ядерные оценки плотности.
Лекция №1 в курсе «Анализ данных на Python в примерах и задачах. Часть 1» (весна 2018).
Преподаватель курса: Вадим Леонардович Аббакумов

Функциональное программирование в продуктовой разработке (Алексей Фомкин) - TK Conf


Алексей Фомкин
Data Monsters, CTO

В продуктовой разработке непрерывное улучшение качества важно, как хлеб насущный. Меньше ошибок, выше скорость работы, быстрая доставка обновлений. Существует множество подходов позволяющих этого достигнуть и сделать пользователей счастливей. В своем докладе я расскажу о подходе к проблеме со стороны функционального программирования.

Максим Дорофеев — Воспитай свою обезьяну


. Максим Дорофеев, mnogosdelal.ru — Воспитай свою обезьяну
Международная Java-конференция JPoint 2016
Москва, 22-23 апреля 2016

Рассказ о том, как приспособиться к себе и окружающим нас людям, чтобы успевать выполнять возложенные на вас задачи и при этом уходить с работы вовремя.