Avito в русскоязычном PostgreSQL комьюнити: открываем 2018, вспоминаем 2017

Всем привет! Прошедший год для пользователей и разработчиков Postgres был очень насыщенным. И 2018-й обещает быть не менее интересным и ярким. Под катом я расскажу об одном из первых громких событий для сообщества — PGConf.Russia 2018, и о том, чем запомнился прошедший год для DBA-команды Avito.


Читать дальше →

Контроль данных обязательной отчетности: как мы снизили число ошибок в 30 раз

Здравствуйте, меня зовут Даниил и я занимаюсь развитием аналитических систем в банке «Ренессанс Кредит». В этой статье я расскажу о том, как мы создавали систему контроля качества данных для хранилища обязательной отчетности. Такой контроль необходим, чтобы утвердительно ответить на простой, но чрезвычайно важный вопрос бизнеса: «Могу ли я доверять этому источнику информации?». Возможно, какие-нибудь из описанных приемов помогут и вам в решении разных задач.


Читать дальше →

[Перевод] Определение аномалий с использованием анализа поведения пользователей

image

В течение последних 10 лет центры оперативного управления информационной безопасности (Security Operation Center, SOC) и аналитики оперировали такими понятиями как индикаторы компрометации (Indicators of Compromise, IoC), сигнатуры, пороговые (threshold-based) признаки проникновения или попыток проникновения в попытке угнаться за темпом постоянно меняющихся угроз. Это было проигрышное противостояние.
Читать дальше →

Семинар «Экосистемы для бизнеса. Производительность приложений в облаке», 25 января, Санкт-Петербург



В «Университетах DataLine» начинается зимний семестр.

Первый семинар курса «Управление виртуальной инфраструктурой» в 2018 году пройдет в Санкт-Петербурге 25 января. Мы поговорим о том, какие системы могут работать в облаке, и что влияет на их производительность.

Ведущий курса: Михаил Соловьев, руководитель направления виртуализации DataLine.

Осталось всего несколько мест, будем рады видеть ИТ-директоров, инженеров и всех тех, кто занимается вопросами обслуживания информационных систем компании.
Читать дальше →

Третья космическая скорость для MS SQL Server



В сентябре компания DataCore представила новую линейку продуктов MaxParallel и первый продукт из серии — MaxParallel for SQL Server. MaxParallel делает простую вещь – ускоряет работу базы данных MS SQL, не требуя для этого никаких изменений самой базы (ее оптимизации и тп.) или аппаратной части (увеличения числа процессоров, памяти и тп.).

В чем идея: практически все современные сервер БД являются многоядерными, и приложения с успехом используют эти ядра для параллелизации вычислений. Но процесс ввода-вывода остается последовательным и использует одно процессорное ядро. И если заставить планировщик ввода-вывода использовать больше процессорных ресурсов, БД будет работать быстрее. По крайней мере, сможет работать быстрее. Уникальность MaxParallel состоит не только в том, что она ускоряет БД без серьезного вмешательства, но также в том, что она устраняет «узкое место», которое по-другому не устранить. Читать дальше →

Перспективы эволюции жестких дисков: передовые технологии и трудности реализации

Для Western Digital 2017 год ознаменовался целым рядом громких премьер. 6 апреля мы анонсировали обновленный флагман в линейке специализированных накопителей для видеонаблюдения WD Purple емкостью 10 ТБ, а уже 19 мая были представлены 10-терабайтные модели серий WD Red и WD Red Pro, ориентированные на персональное использование и эксплуатацию в составе корпоративных NAS. Осень также не осталась без свежих релизов: в сентябре начались продажи WD Gold на 12 ТБ, а уже в октябре мир увидел первые винчестеры на 14 ТБ, выпущенные на рынок под маркой HGST Ultrastar Hs14.

Все это стало ответной реакцией на растущие потребности ИТ-предприятий: бизнес остро нуждается в увеличении плотности хранения информации, и с каждым годом аппетиты компаний лишь растут. Вопрос в том, где тот предел, достигнув которого мы сможем уверенно заявить: «Пришло время искать принципиально иное решение задачи, потенциал жестких дисков полностью исчерпан». Об этом мы и поговорим в сегодняшней статье.

Читать дальше →

Поиск документов в сетевых шарах и файловых помойках

Помойка


Почти каждый из нас когда-либо работал в компании, где есть всеми ненавистная "файлопомойка" — шара с тысячами документов без какой-либо структуры. И наверняка у каждого был момент, когда ему нужно было что-то в этой помойке отыскать. "А Василич этот отчёт на шару кидал в прошлом месяце, глянь там" — слышали мы от коллеги, а тот самый Василич на вопрос "А в какой папке?" конечно же отвечал "А х… не помню, в общем, сам ищи". И мы погружались в многочасовой ад — бродили по папкам с документами из 90-х, фотографиями котов, договорами вперемешку с анекдотами и прочим шлаком в надежде найти заветный документ.

Читать дальше →

Импортозамещение в нефтегазовом секторе: как добывающие компании на «Эльбрус» собрались

Импортозамещение в нефтегазовом секторе: как добывающие компании собрались на «Эльбрус»
Найти замену импортным решениям из русских аналогов важно по двум причинам. Во-первых, в современных условиях никто не может гарантировать доступность технологий, а во-вторых, встает вопрос информационной безопасности на национальном уровне. Как «потенциальному противнику» многие западные компании не хотят поставлять в Россию новейшую технику и технологии, а ведущие российские нефтегазовые компании опасаются наличия «закладок» в поставляемых системах – то есть промышленного шпионажа, искажения результатов работы и возможности взлома сетей.


Читать дальше →

Как защитить корпоративный NAS от вирусов RansomWare

Вирусы шифровальщики не первый год сотрясают ИТ общественность последствиями своей подпольной работы. Скрываясь за ссылкой в email или в JavaScript коде на странице веб сайта, они молчаливо инсталлируются на рабочие компьютеры или сервера и начинают тихо зашифровывать всю информацию. После окончания шифрования, некоторые просто удаляют ключ шифрования, а не которые требуют выкуп, но далеко не все заплатившие выкуп получают ключ шифрования. Как же с ними можно бороться? Самое главное средство борьбы – быть подготовленным к борьбе.



Защитить данные при помощи Снэпшотов

История хранилища картинок Avito



А что если вам дадут задачу организовать хранение и раздачу статических файлов? Наверняка многие подумают, что тут все просто. А если таких файлов миллиард, несколько сотен терабайт и запросов к ним несколько миллиардов в сутки. Также много разных систем будут отправлять на хранение файлы разных форматов и размеров. Этот квест уже не кажется таким простым. Под катом история о том, как мы решили такую задачу, какие сложности при этом возникли, и как мы их преодолели.

Avito развивался стремительно с первых дней. Например, скорость загрузки новых картинок для объявлений выросла в первые годы в несколько раз. Это требовало от нас на начальном этапе решать вопросы, связанные с архитектурой, максимально оперативно и эффективно, в условиях ограниченных ресурсов. Кроме того, мы всегда отдавали предпочтение простым решениям, требующим мало ресурсов на поддержку. Принцип KISS («Keep it short and simple») — это до сих пор одна из ценностей нашей компании.
Читать дальше →


Последние посты