Контроль данных обязательной отчетности: как мы снизили число ошибок в 30 раз

Здравствуйте, меня зовут Даниил и я занимаюсь развитием аналитических систем в банке «Ренессанс Кредит». В этой статье я расскажу о том, как мы создавали систему контроля качества данных для хранилища обязательной отчетности. Такой контроль необходим, чтобы утвердительно ответить на простой, но чрезвычайно важный вопрос бизнеса: «Могу ли я доверять этому источнику информации?». Возможно, какие-нибудь из описанных приемов помогут и вам в решении разных задач.


Читать дальше →

Методика проекционного моделирования

Методика моделирования


Проекции поверхности в 3-Д пространстве на три проекционные плоскости позволяют инженеру представить моделируемый объект, будь то деталь или конструкция. Для этого надо соотнести точки на чертеже с точками в пространстве. Этому умению обучают на уроках начертательной геометрии. Но полученное в результате этого представление о поверхности ничего не говорит инженеру ни о том, из чего сделан объект, ни о его свойствах. Чтобы представить деталь, поверхность надо трактовать (интерпретировать). Для этого нужно знать стандарты, выработанные в специальных областях деятельности. Только, если чертеж выполнен в соответствии с этими стандартами, его смогут прочитать и однозначно трактовать другие специалисты. Эти стандарты не относятся к предмету начертательной геометрии, они относятся к таким областям знаний, как архитектура, машиностроение, технология обработки материалов. Поэтому первое, что надо научиться делать, это разделять проекции и трактовку проецируемого объекта.


Ровно то же можно сказать про проекционное моделирование. Проекции 4-Д объема на пространство и на время позволяют представить моделируемый 4-Д объем. Но для трактовки этого объема нужны знания в специальных областях.

Читать дальше →

Проекционное моделирование. Тезисы для начинающих

Введение


Пусть стоит задача создания такой информационной системы, в которой каждый желающий может зарегистрироваться, чтобы создавать модели своих представлений о реальном или воображаемом мире. К этой задаче добавим следующие условия:


  1. Модели должны быть масштабируемы. Это значит, что любой объект может стать частью синтезированного объекта (результат процесса синтеза), или быть разделенным на части (результат процесса анализа). При этом синтез и анализ можно делать разными способами. Это значит, что один и тот же объект может стать частью разных конструкций, или объект может быть поделен на части множеством способов.
  2. Один и тот же объект может быть назван разными субъектами по-разному. ИС должна поддерживать возможность моделировать представлений воображаемого или реального мира с разных точек зрения.
  3. Модели должны удовлетворять условию расширяемости. Это значит, что любая модель может быть продолжена тем же, или другим субъектом в любую сторону с учетом смены точки зрения.
  4. Модели должны удовлетворять принципу антропоцентричности. То есть, нельзя придумывать представления, отличные от тех, к которым привык человек. То есть, мы не рассматриваем представления, созданные искусственным интеллектом и языки, созданные им для описания этих представлений.
Читать дальше →

Моделирование простейших высказываний

Я продолжаю комментировать статью по проекционному моделированию.

Рассмотрим утверждение «красная машина едет»

Заметим, что в языке нет точного указания на то, как трактовать данное высказывание. Ведь и «машина» и «красный» и «едет» могут трактоваться как: конкретный 4-Д объем (конкретная машина), тип 4-Д объемов (тип транспортных средств – машина), любой из возможных 4-Д объемов (любая машина), часть 4-Д объема (часть большого красного объема). Последний кейс скорее экзотика, но он случается, когда большое красное полотно делится на части. И тогда один красный может обозначать часть большого полотна.

Сделаю предположение, что в данном тезисе речь идет о конкретной машине. То есть, не любая машина и не какая-то, а конкретная машина. Это значит, что для нее мы можем завести объект в БД, моделирующий данную машину.
Читать дальше →

Понятие связи в проекционном моделировании

Продолжаю рассказывать про проекционное моделирование. Следующая тема, которую я хочу затронуть, — это объяснение, почему мы определили связь в конструкции как 4-Д объект. Напомню, что в проекционном моделировании связь – это общая часть элементов конструкта. Поскольку элементы конструкта – это 4-Д объекты, то связи – тоже 4-Д объекты. То есть, для существования связи между двумя 4-Д объектами должен быть общий 4-Д объем, принадлежащий обоим этим объектам. Мы привыкли считать связью нечто, что существует между двумя объектами, но никто в аналитике еще не давал еще точного определения этому понятию. Мы сделали это впервые. Я расскажу, почему в данной дисциплине связь определена так, а не иначе.

Пространственные связи

Начнем с простого: пусть объекты связаны общим положением в пространстве или во времени. Это связи типа «справа», «выше», «после», «вместе» и т.д. Для моделирования такого рода связей нам нужно рассмотреть 4-Д пространство, в котором помещены рассматриваемые нами 4-Д объекты. 4-Д пространство играет такую же роль, как и другие 4-Д объекты. Обычно моделирование начинается именно с того, что мы формируем границы модели, то есть, 4-Д пространство, в котором потом размещаем 4-Д объекты. Почему-то про этот самый первый 4-Д объект забывают сразу после его определения. Но именно его свойства позволяют нам описать указанные мной связи. Читать дальше →...Далее...

Баннерная реклама расширяет границы

image

Баннерная реклама давно уже не та, какой была буквально несколько лет назад.

Сегодня медийные баннеры сложно выделить как отдельно взятый формат рекламы в интернете – происходит своеобразный симбиоз технического исполнения и визуализации, и всё это накладывается на технологии нацеливания на нужную аудиторию.

Товарные предложения выглядят, как баннеры, объявления контекстной рекламы аналогичны картинкам или видео. Формат баннерной рекламы размыл свои границы, а сами баннеры стали «умнее» Читать дальше →

Как мы создавали новый тип тарифов «Включайся»

Мы постоянно и в деталях оцениваем то, как наши абоненты потребляют различные услуги, и собираем большие-большие данные. В конце весны по итогам анализа этих данных была запущена новая тарифная линейка «Включайся!». В ней мы пошли дальше простого предложения определенных пакетов смс/минут/мегабайт, а наполнили тарифы сервисами в зависимости от использования этих гигабайтов. В этом посте мы поделимся интересными наблюдениями, которые сподвигли нас на эти шаги.


Читать дальше →

Ту биг ор нот ту биг: как начать карьеру в больших данных

Big Data и Machine learning — это не просто модные словечки, а технологии, которые уже применяются и влияют на бизнес крупнейших компаний. Потребность в крутых специалистах растет, их зарплаты могут нам только сниться, а значит — пора бы разобраться в теме. Мы поможем: посмотрим на хайповые профессии, расскажем, где учиться и как построить карьеру в области больших данных.



Читать дальше →

Контекстные интервью. Заметки для разработки дизайна исследования

В интервью люди не всегда говорят правду о том, что они делают. Причина этого — не злой умысел. Такова специфика восприятия привычных рутинных действий. Не важно, что это за действия, главное, что они повторяются постоянно. Попробуйте с ходу описать свой типичный рабочий день. Насколько подробной получится история? Наверняка вы упустите массу деталей — трудно вспомнить подробности, или информация кажется вам не слишком ценной.

Проблема в том, что для разработки IT-продуктов нам нужно, чтобы пользователь подробно описал свои повседневные действия. Созданный продукт должен решать реальные задачи и органично вписаться в социальную и физическую среду пользователя. Как получить такое описание? Один из методов — это контекстные интервью (contextual interviews, contextual inquiry).
Читать дальше →

Как собрать статистику с веб-сайта и не набить себе шишек

enter image description here


Привет, Хабр! Меня зовут Слава Волков, и я фронтенд-разработчик в Badoo. Сегодня я хотел бы немного рассказать про сбор статистики с фронтенда.


Мы знаем, что аналитика позволяет оценить эффективность работы любого веб-сайта, улучшить его работу, а значит, повысить уровень продаж и усовершенствовать взаимодействие пользователей с сайтом. Проще говоря, аналитика – это способ контроля над процессами, происходящими на веб-сайте. В большинстве случаев для обычных сайтов достаточно установить Google Analytics или «Яндекс.Метрику» – их возможностей вполне достаточно.


Но как быть, когда стандартных средств мониторинга недостаточно? Или когда собираемая статистика должна быть интегрирована в вашу собственную систему аналитики для отображения полноценной картины происходящего между разными компонентами? В таком случае, скорее всего, вам придется разработать свою систему. А вот как лучше отправлять статистику с ваших веб-сайтов, какие проблемы могут при этом возникнуть и как их избежать, я расскажу в этой статье. Заинтересовались? Добро пожаловать под кат.

Читать дальше →


Последние посты