Avito в русскоязычном PostgreSQL комьюнити: открываем 2018, вспоминаем 2017

Всем привет! Прошедший год для пользователей и разработчиков Postgres был очень насыщенным. И 2018-й обещает быть не менее интересным и ярким. Под катом я расскажу об одном из первых громких событий для сообщества — PGConf.Russia 2018, и о том, чем запомнился прошедший год для DBA-команды Avito.


Читать дальше →

Контроль данных обязательной отчетности: как мы снизили число ошибок в 30 раз

Здравствуйте, меня зовут Даниил и я занимаюсь развитием аналитических систем в банке «Ренессанс Кредит». В этой статье я расскажу о том, как мы создавали систему контроля качества данных для хранилища обязательной отчетности. Такой контроль необходим, чтобы утвердительно ответить на простой, но чрезвычайно важный вопрос бизнеса: «Могу ли я доверять этому источнику информации?». Возможно, какие-нибудь из описанных приемов помогут и вам в решении разных задач.


Читать дальше →

[Перевод] Определение аномалий с использованием анализа поведения пользователей

image

В течение последних 10 лет центры оперативного управления информационной безопасности (Security Operation Center, SOC) и аналитики оперировали такими понятиями как индикаторы компрометации (Indicators of Compromise, IoC), сигнатуры, пороговые (threshold-based) признаки проникновения или попыток проникновения в попытке угнаться за темпом постоянно меняющихся угроз. Это было проигрышное противостояние.
Читать дальше →

Семинар «Экосистемы для бизнеса. Производительность приложений в облаке», 25 января, Санкт-Петербург



В «Университетах DataLine» начинается зимний семестр.

Первый семинар курса «Управление виртуальной инфраструктурой» в 2018 году пройдет в Санкт-Петербурге 25 января. Мы поговорим о том, какие системы могут работать в облаке, и что влияет на их производительность.

Ведущий курса: Михаил Соловьев, руководитель направления виртуализации DataLine.

Осталось всего несколько мест, будем рады видеть ИТ-директоров, инженеров и всех тех, кто занимается вопросами обслуживания информационных систем компании.
Читать дальше →

KDB

кдвп


Привет, Хабр !


В статье я опишу идею хранения в достаточно известной колоночной базе данных KDB, а так же примеры того, как к этим данным обращаться. База существует еще с 2001 года, и на данный момент занимает высокие места на сайтах со сравнением подобных систем (см., например, тут)

Читать дальше →

Балансировка S3 хранилища с помощью GoBetween+VRRP

Используя Ceph для хранения бэкапов c помощью их S3-совместимого хранилища RadosGW, мы пришли к тому, что один radosGW не справляется с возложенной на него нагрузкой и решили, что пора бы его разбалансировать с сопутствующей отказоустойчивостью. В итоге пришли к решению балансировки с помощью GoBetween (очень лёгкий L4 балансировщик, подробнее на gobetween.io), а отказоустойчивость организовали с помощью VRRP.

Вышла такая схема:
  1. master нода vrrp получает поток данных по http(s);
  2. gobetween раскидывает весь трафик на себя же и backup ноду vrrp;
  3. radosgw в свою очередь пишут непосредственно в ceph;
  4. в случае падения master ноды vrrp, backup нода берёт всю нагрузку на себя до тех пор, пока мастер не поднимется

Нашу реализацию данного действа читайте ниже
Читать дальше →

[Из песочницы] Apache Ignite vs Oracle СУБД

Apache Ignite – распределенная база данных в памяти, подобные БД получают распространение и хочется сравнить с тем что уже есть и зарекомендовало себя, например реляционная СУБД Oracle. Ignite имеет широкие возможности распределенных вычислений, также есть поддержка SQL на уровне ANSI-99, в производительности SQL и хочется сделать некоторое сравнение. Настройка БД будет в обоих случаях во многом по умолчанию, в случае Oracle это XE, а в случае Ignite это два узла(node) на одном компьютере. Компьютер i5 7400 (4-ядра) 3.5Ггц, 8Гб ОЗУ, SSD диск.
В качестве тестовых данных буду использовать данные КЛАДР (~223 тыс. записей) в качестве среды выполнения запросов DBeaver в котором настроены два подключения к Ignite и Oracle. И первое что сделаю импортирую данные в таблицы, Данные КЛАДР из DBF переведу в CSV, а затем средствами DBeaver выполню импорт в таблицы.
Читать дальше →

Третья космическая скорость для MS SQL Server



В сентябре компания DataCore представила новую линейку продуктов MaxParallel и первый продукт из серии — MaxParallel for SQL Server. MaxParallel делает простую вещь – ускоряет работу базы данных MS SQL, не требуя для этого никаких изменений самой базы (ее оптимизации и тп.) или аппаратной части (увеличения числа процессоров, памяти и тп.).

В чем идея: практически все современные сервер БД являются многоядерными, и приложения с успехом используют эти ядра для параллелизации вычислений. Но процесс ввода-вывода остается последовательным и использует одно процессорное ядро. И если заставить планировщик ввода-вывода использовать больше процессорных ресурсов, БД будет работать быстрее. По крайней мере, сможет работать быстрее. Уникальность MaxParallel состоит не только в том, что она ускоряет БД без серьезного вмешательства, но также в том, что она устраняет «узкое место», которое по-другому не устранить. Читать дальше →

Накопители WD Red — сбалансированное решение для использования в составе малых и средних NAS

Согласно подсчетам аналитиков компании IBM, 90% всей информации, хранящейся в настоящее время в цифровом виде, было создано только за последние два года и каждый день ее объем увеличивается еще на 2,5 квинтиллиона байт. Размеры баз данных растут экспоненциально, и удивляться тут совершенно нечему: в современном мире информация имеет стратегически важное значение для любого бизнеса, независимо от сферы деятельности. Но возникает и другая проблема: чем больше данные, которыми вы оперируете, тем больше ресурсов вам потребуется для их обработки и хранения, а также для обслуживания корпоративного ЦОДа. И как быть в такой ситуации малым предприятиям, где буквально каждая копейка на счету?
Читать дальше →

Технологии защиты данных от Dell ЕМС

О сохранности данных необходимо заботиться независимо от того, где они находятся: в облаке или физическом или виртуальном хранилище. Нередко данные являются самым ценным активом компании, однако их защита остается для многих из них слабым звеном. По данным IDC, до 20% операций резервного копирования не укладываются в отведенное время, а 32% попыток восстановления данных оказываются неудачными. Технологии Dell EMC позволяют уменьшить окно бэкапа до 90% по сравнению с традиционными методами, снизить требования к емкости хранения резервных копий до 30 раз, а нагрузку на сеть — почти вдвое. Эти технологии обеспечивают быстрое восстановление как физических, так и виртуальных сред.


Читать дальше →


Последние посты