«4 свадьбы и одни похороны» или линейная регрессия для анализа открытых данных правительства Москвы

Несмотря на множество замечательных материалов по Data Science например, от Open Data Science, я продолжаю собирать объедки с пиршества разума и продолжаю делится с вами, своим опытом по освоению навыков машинного обучения и анализа данных с нуля. В последних статьях мы рассмотрели пару задачек по классификации, в процессе потом и кровью добывая себе данные, теперь пришло время регрессии. Поскольку ничего светотехнического в этот раз под рукой не оказалось, я решил поскрести по другим сусекам. Помнится, в одной из статей я агитировал читателей посмотреть в сторону отечественных открытых данных. Но поскольку я не барышня из рекламы «кефирчика для пищеварения» или шампуня с лошадиной силой, совесть не позволяла советовать что-либо, не испытав на себе. С чего начать? Конечно с открытых данных правительства РФ, там же ведь целое министерство есть. Мое знакомство с открытыми данными правительства РФ, было примерно, такое же как на иллюстрации к этой статье. Нет ну не то чтобы мне совсем не был интересен реестр Кинозалов города Новый Уренгой или перечень прокатного оборудования катка в Туле, просто для задачи регрессии они не очень подходят. Если порыться думаю и на сайте ОД правительства РФ можно найти, что-то путное, просто не очень легко. Данные Минфина...Далее...

Как мы участвовали в хакатоне М.Видео

В последние выходные сентября наша команда приняла участие в хакатоне М.Видео по анализу данных. На выбор было предложено два задания: первое — генерировать описание продукта на основе отзывов о товарах, второе — выделять важнейшие характеристики товаров на основе справочника, данных о совместных просмотрах и добавлении в корзину. Мы решали оба задания. Под катом история, почему мы завалили этот хакатон и чему научились.


Читать дальше →

Agent Intelligence от ServiceNow — нейронные сети на службе у техподдержки

По данным опроса ServiceNow, 89% ИТ-руководителей используют либо внедряют технологии машинного обучения в своих организациях. Из них 87% отмечают, что автоматизация бизнес-процессов приносит большую пользу для бизнеса: экономит время, средства и человеческие ресурсы.

Внедрение машинного обучения требует серьезных изменений в работе организации. Однако на эти изменения — согласно тому же опросу — решились пойти только 48% респондентов. Помимо организационных изменений использование машинного обучения требует привлечения специалистов — в частности, аналитиков по данным. А спрос на них, согласно исследованию IBM, намного превышает предложение. По прогнозам, к 2020 году ситуация станет ещё хуже. Расскажем, чем в этой ситуации может помочь решение от ServiceNow.

Читать дальше →

Практика анализа данных в прикладной психологии



1. Вступление


Показан процесс анализа информации в сфере прикладной психологии. Если быть более точным, то я поделюсь своим опытом поиска различий между двумя группами людей. Будет показан один из самых популярных сценариев решения подобной задачи, а также приведены примеры исходного кода на языках программирования R и Python. Важно понимать, что вся изложенная информация является моим личным субъективным мнением.

Читать дальше →

“Без data engineer-а ценность модели аналитика стремится к нулю” — интервью с дата инженером Николаем Марковым

Привет, Хабр! Data Engineering становится все более популярным, многие компании постепенно открывают соответствующие вакансии. В связи с этим мы взяли интервью у дата инженера и преподавателя на программах “Специалист по большим данным” и “Data Engineer” Николая Маркова о том, что должны уметь data scientist-ы и data engineer-ы, чего им чаще всего не хватает и как найти свое место в анализе данных.


Читать дальше →

Открытая трансляция из главного зала SmartData 2017: речь не про решения — речь про эволюцию



Как мы уже неоднократно сообщали ранее, в этом году компания JUG.ru Group решила заглянуть в будущее и разобраться, какая необходимость двум серым ящикам взаимодействовать друг с другом впустить в наш мир дозу сакральных знаний по Big Data и машинному обучению — мы сделали конференцию SmartData 2017, которая пройдёт в Питере 21 октября.

Зачем мы собираем конференцию по Big Data и машинному обучению? Потому что не можем не собрать. И чтобы обратить в наше братство как можно большее количество разработчиков, мы традиционно открываем бесплатную онлайн-трансляцию из первого зала конференции.

Итак, бесплатная онлайн-трансляция из главного зала SmartData 2017 начнётся 21 октября 2017 года в 9:30 утра по московскому времени. Только вы, мы и будущее. В этот раз трансляция будет доступна в 2k — доставайте ваши 4k мониторы!



Ссылка на онлайн-трансляцию первого трека конференции SmartData 2017 и краткое описание докладов — под катом.
Читать дальше →

Цена вопроса — 10 млн. Softline Venture Partners принимает заявки в бизнес-акселератор по ИТ

Привет, Хабр. Отдел инвестиций Softline совместно с несколькими вендорами и институтами развития решил раздать немного денег (до 10 млн. на каждый стартап) молодым компаниям за долю в проектах. Где, как не здесь, рассказать об этой затее? Если вы создаете (или знаете, где найти) проекты в области клауда, мобильных решений, кибербезопасностьи, IoT, технологий лидогенерации, легалтехом и финтехом, машинным обучением и искусственным интеллектом, нам надо серьезно поговорить.

Читать дальше →

Старт конкурса MERC-2017 от Neurodata Lab

Всем привет! Конкурс по машинному обучению Multimodal Emotion Recognition Challenge от Neurodata Lab (MERC 2017) стартовал вечером в среду, 18 октября. Подробное описание задачи, сопроводительные материалы и данные доступны для зарегистрированных пользователей.
Добро пожаловать на Dataсombats!
Успехов!
image

Приглашение на Meetup по компьютерному зрению в Avito, 28 октября

Мы рады пригласить вас на встречу специалистов по анализу данных, которая пройдет в московском офисе Avito 28-го октября. Митап посвящен компьютерному зрению. Вы сможете узнать о передовых достижениях в задачах распознавания лиц и сегментации изображений, о real-time адаптации нейросетевых и классических алгоритмов, а также мы представим наш сервис — AvitoNet. Подробная программа и ссылка на регистрацию под катом.


Читать дальше →

Microsoft и Amazon представили новую библиотеку для машинного обучения — Gluon

На прошлой неделе Amazon Web Services (AWS) и Microsoft представили открытую библиотеку Gluon для машинного обучения. Создатели утверждают, что она позволит разработчикам легко прототипировать и развёртывать сложные модели машинного обучения в облаке.

Читать дальше →


Последние посты