— Как войти в сообщество data science?
— О различиях data scientist, data analyst, data engineer, кто из них чем занимается?
— В чём отличия между Machine Learning и Data Science?
— Что у них общего и чем их работа отличается?
* 21 октября 2018 г. в московском офисе Яндекса прошла встреча сообщества Open Data Science. Мы испытали новый формат: программа не была определена заранее, а составлялась по запросам аудитории.
Мы собрали больше 500 заявок от участников и ответили на самые популярные и интересные вопросы.
Алексей Натёкин
Выпускнинк МатМех СПБГУ, аспирант TUM. Основатель и добродушный диктатор Open Data Science (2015). Основатель площадки соревнований по machine learning Data Souls. Ранее основатель DM Labs, CDO Diginetica, ex-Deloitte, ex-Siemens.
Наша команда обычно делает технические выступления о том, как работать с PostgreSQL. В данном случае я хочу раскрыть тему того, как построен рабочий процесс, когда у тебя несколько сотен баз данных с абсолютно разной нагрузкой, но 99% баз критически важные для бизнеса, потому что принадлежат они разным клиентам.
Расскажу о том, что автоматизировано в нашей работе и что хотелось бы автоматизировать. Каким образом строится диалог между администратором и разработчиком приложения. Какие задачи решаем и как планируем свой рабочий день. Как следим за состоянием такой большой и разрозненной инфраструктуры с базами. Рутина как она есть, без приукрашиваний.
— Нашли ошибку в видео? Пишите нам на support@ontico.ru
Я расскажу, почему именно сейчас Data Science оказывается одной из главных причин радикального изменения информационных технологий – а через них, в свою очередь, промышленности и жизни людей в целом. Ситуации, когда алгоритмы эффективно заменяют людей и меняют целые отрасли рассмотрены на примерах как сервисов Яндекса, так и некоторых других крупнейших мировых компаний. При этом наряду с повышением эффективности и другими достижениями возникают и неприятные побочные эффекты, способные в итоге повлиять на веками складывавшиеся в человеческом обществе институты – об этом тоже важно знать.
0:00 – Интро
0:58 – Про бизнес-идеи
3:07 – О тюремном прошлом Сергея
5:45 – Об избирательности законов в СНГ
6:52 – Как США борется с преступностью
9:03 – Как воруют деньги с банковских карт
10:46 – О сделке с правосудием
11:40 – Об американских тюрьмах
12:51 – О компромиссах с властями США
15:47 – Об отечественных журналистах
18:05 – О необычных профессиях
27:52 – Правила безопасности в интернете
33:05 – Какие файлы не стоит открывать
34:45 – Как пытались угнать YouTube-канал «Книжный чел»
38:10 – О мошеннических схемах
39:50 – Как продвигаться на YouTube
41:37 – О книге «Как я украл миллион»
43:34 – Об ущербе в миллиард долларов
47:10 – О написании книги
49:50 – О росте киберпреступности
51:42 – На какой зоне комфортнее сидеть
56:05 – О популяризации мошенничества
59:59 – Ещё советы по интернет-безопасности
1:02:23 – О тюремных колл-центрах
1:06:58 – О воровстве по номеру карты
1:09:07 – Конкурс
1:10:25 – Фристайл
Лекция 1 | Курс: Архитектура ЭВМ и основы ОС | Лектор: Кирилл Кринкин | Организатор: Computer Science Center
Смотрите это видео на Лекториуме: lektorium.tv/lecture/14649
В этом видео мы поговорим про:
• Слежка ВКонтакте
• Слежка в Телеграме
• Как восстановить переписку в интернете
• Что такое GDPR
• Как просмотреть удаленные записи вконтакте
С мая 2018 года в ЕС действует протокол о защите персональных данных (General Data Protection Regulation, GDPR), согласно которому все жители Евросоюза могут запросить информацию о себе и своих данных у организаций которые ими владеют.
Моим глазам попалась информация про Кристиана Шинкевича. Парень был поражен тем, как много данных о нем сохраняет социальная сеть. Он выложил всю эту информацию в Facebook, чтобы другие могли узнать, что именно хранит соцсеть.
Хранению подвергается вся история привязки и отвязки телефонных номеров, восстановления паролей, а также все комментарии и публикации со стены, включая удаленные когда-либо. Кроме того, сохраняются изменения имени и фамилии на странице. Соцсеть хранит абсолютно всю переписку, включая удаленную, а также прямые ссылки на все файлы и голосовые сообщения, а также IP-адреса, с которых отправлялись и загружались файлы. Более того, хранятся даже адреса фотографий из открытых и закрытых альбомов.
После этого случая мы подали запрос согласно регламенту GDPR. Результат был на лицо — информация на серверах ВКонтакте хранилась с момента регистрации, т.е. с 2012 года. Хотя закон, который обязал всех провайдер, сотовых операторов, соц.сети хранить данные пользователей вступил в силу с 1 июля 2018 года, а первое обсуждение этого закона было в 2016. То есть за период с 2012 — 2018 год — 6 лет велась нелегальная слежка?
Что вы думаете по этому поводу, быть может я не прав и неправильно всё понял?
Основные задачи канального уровня:
1. Передача сообщений по каналам связи – кадров (frame). Определение начала/конца кадра в потоке бит
2. Обнаружение и коррекция ошибок
3. Множественный доступ к каналу связи:
— Адресация
— Согласованный доступ к каналу связи
Методы выделения кадров:
— Указатель количества байт
— Вставка байтов (byte stuffing)
— Вставка битов (bit stuffing)
— Средства физического уровня
Обнаружение и исправление ошибок:
1. Обнаружение ошибок
— Контрольная сумма
2. Исправление ошибок
— Коды исправляющие ошибки (с избыточной информацией)
— Позволяют обнаруживать и исправлять ошибки
3. Повторная отправка данных
— Если в кадре обнаружена ошибка, его можно отправить заново.
— Повторная отправка кадра, который не дошел до получателя
Типы повторной отправки:
1. Остановка и ожидание.
2. Скользящее окно.
Канальный уровень в модели OSI состоит из двух подуровней:
1. Подуровень управления логическим каналом (LLC)
— Отвечает за передачу данных (создание кадров, обработка ошибок и т.д.)
— Общий для разных технологий
2. Подуровень управления доступом к среде (MAC):
— Совместное использование разделяемой среды
— Адресация
— Специфичный для разных технологий
— Не является обязательным