Контроль данных обязательной отчетности: как мы снизили число ошибок в 30 раз

Здравствуйте, меня зовут Даниил и я занимаюсь развитием аналитических систем в банке «Ренессанс Кредит». В этой статье я расскажу о том, как мы создавали систему контроля качества данных для хранилища обязательной отчетности. Такой контроль необходим, чтобы утвердительно ответить на простой, но чрезвычайно важный вопрос бизнеса: «Могу ли я доверять этому источнику информации?». Возможно, какие-нибудь из описанных приемов помогут и вам в решении разных задач.


Читать дальше →

Семинар «Экосистемы для бизнеса. Производительность приложений в облаке», 25 января, Санкт-Петербург



В «Университетах DataLine» начинается зимний семестр.

Первый семинар курса «Управление виртуальной инфраструктурой» в 2018 году пройдет в Санкт-Петербурге 25 января. Мы поговорим о том, какие системы могут работать в облаке, и что влияет на их производительность.

Ведущий курса: Михаил Соловьев, руководитель направления виртуализации DataLine.

Осталось всего несколько мест, будем рады видеть ИТ-директоров, инженеров и всех тех, кто занимается вопросами обслуживания информационных систем компании.
Читать дальше →

[Перевод] Рассказ о том, как создать хранилище и понять Redux

Redux — это интересный шаблон, и, по своей сути, он очень прост. Но почему его сложно понять? В этом материале мы рассмотрим базовые концепции Redux и разберёмся с внутренними механизмами хранилищ. Поняв эти механизмы, вы сможете освоиться со всем тем, что происходит, что называется, «под капотом» Redux, а именно — с тем, как работают хранилища, редьюсеры и действия. Это поможет вам вывести на новый уровень отладку приложений, поможет писать более качественный код. Вы будете точно знать, какие именно функции выполняет та или иная строка вашей программы. Мы будем идти к пониманию Redux через практический пример, который заключается в создании собственного хранилища с использованием TypeScript.

Этот материал основан на исходном коде хранилища Redux, написанном на чистом TypeScript. Автор предлагает всем желающим взглянуть на этот код и разобраться с ним. Однако, он указывает на то, что этот проект предназначен для учебных целей.
Читать дальше →

Эволюция жестких дисков: как изменились винчестеры за 60 лет существования?

Современные жесткие диски являются сложнейшими высокотехнологичными приборами. Только представьте: размер пишущей части магнитной головки составляет всего 120 нанометров, а считывающей — лишь 70 нанометров. Чтобы вообразить подобный масштаб, достаточно посмотреть на то, как выглядит блок головок под 39-кратным увеличением на фоне монеты достоинством в 10 центов. Сравнение размеров блока головок и монеты в 10 центов При этом магнитные головки парят над пластинами на высоте около 12–15 нанометров, что достигается за счет экранного эффекта: под каждой из них, словно под крылом боинга на взлете, образуется воздушная (или гелиевая, если речь идет о решениях на платформе HelioSeal) подушка, обеспечивающая необходимую подъемную силу. С учетом столь мизерного расстояния, поверхность самих блинов должна быть идеально гладкой, ведь малейшая неровность приведет к необратимому повреждению компонентов устройства. Точность изготовления пластин легко оценить на следующем примере. Если бы мы могли увеличить 2,5-дюймовый накопитель приблизительно в 13 миллионов раз так, чтобы зазор между пластиной и магнитной головкой достиг 1 метра, то последняя преодолевала бы путь, сопоставимый с расстоянием между Нью-Йорком и Сан-Франциско (> 4000 километров), причем перепад высот на всем его протяжении не превышал бы 4 сантиметров. ...Далее...

Препарируем Veritas Access: плюсы, минусы, подводные камни

Программно-определяемый подход к хранению данных

В этой статье мы рассмотрим и протестируем новую версию программно-определяемой системы хранения данных (Software-Defined Storage, SDS) Veritas Access 7.3 — многоцелевого масштабируемого хранилища данных на базе обычных серверов архитектуры x86 с поддержкой файлового, блочного и объектного доступа. Наша основная задача — познакомиться с продуктом, c его функционалом и возможностями. Компания Veritas — это синонимом надежности и опыта в сфере управления информацией, владеющая многолетней традицией лидерства на рынке резервного копирования, производящая решения для анализа информации и обеспечения ее высокой доступности. В Software-Defined Storage решении Veritas Access мы видим будущее и уверены, что через некоторое время продукт обретет популярность и займёт одну из ключевых позиций на рынке SDS решений. В качестве платформы, на которой был создан Access, выступил продукт с давней историей InfoScale (Veritas Storage Foundation), который во времена отсутствия виртуализации был на пике популярности в Highly Аvailable (HA) решениях. И от младшего брата Veritas Access мы ожидаем продолжение истории успеха НА в виде Software-Defined Storage. Один из плюсов Veritas Access — это цена. Продукт лицензируется по числу активных ядер (примерно 1000$/1 CORE в GPL (global price list)), стоимость совершенно не зависит от количества дисков и общего объема системы хранения. За узлы разумно использовать малоядерные высокопроизводительные однопроцессорные сервера. Грубо говоря, лицензия Access на 4х узловой кластер будет стоить $20 000–$30 000, что на фоне других SDS решений, где стоимость начинается от 1500 долларов за терабайт сырого места в GPL, выглядит очень привлекательно. ...Далее...

Greenplum 5: первые шаги в Open Source

Вот уже два года как одна из лучших распределённых аналитических СУБД enterprise-уровня вышла в open source. Что изменилось за это время? Что дало открытие исходников проекту? Как дальше будет развиваться Greenplum?

Под катом я расскажу о том, что нового появилось в первом мажорном open source релизе СУБД, как развивается проект в текущих минорных версиях и каких нововведений стоит ждать в будущем.
Читать дальше →

Перспективы эволюции жестких дисков: передовые технологии и трудности реализации

Для Western Digital 2017 год ознаменовался целым рядом громких премьер. 6 апреля мы анонсировали обновленный флагман в линейке специализированных накопителей для видеонаблюдения WD Purple емкостью 10 ТБ, а уже 19 мая были представлены 10-терабайтные модели серий WD Red и WD Red Pro, ориентированные на персональное использование и эксплуатацию в составе корпоративных NAS. Осень также не осталась без свежих релизов: в сентябре начались продажи WD Gold на 12 ТБ, а уже в октябре мир увидел первые винчестеры на 14 ТБ, выпущенные на рынок под маркой HGST Ultrastar Hs14.

Все это стало ответной реакцией на растущие потребности ИТ-предприятий: бизнес остро нуждается в увеличении плотности хранения информации, и с каждым годом аппетиты компаний лишь растут. Вопрос в том, где тот предел, достигнув которого мы сможем уверенно заявить: «Пришло время искать принципиально иное решение задачи, потенциал жестких дисков полностью исчерпан». Об этом мы и поговорим в сегодняшней статье.

Читать дальше →

У CDROM’а век не долог?

DVD [диск] начнет умирать уже лет через 5. […] Я опираюсь на информацию из сети про условия и максимальный срок жизни, вполне может быть и лажа. Но фильмы на DVD[,] купленные ~10 лет назад[,] сейчас не запускаются ни один из нескольких десятков.
Из обсуждения


За многие годы у меня скопилась значительная коллекция CD и DVD ROM, выпущенных массовыми тиражами, кроме того, периодически архивирую на одноразовые болванки свои файлы. Поэтому утверждение, приведенное в эпиграфе, не могло меня не заинтересовать.
Читать дальше →

Топ-3 анонсов с NetApp Insight 2017



Привет, Хабр! На этой неделе я в Берлине на конференции NetApp Insight и подготовил для вас репортаж о том, что успел увидеть и пощупать.

NetApp Insight традиционно проходит в Европе в середине ноября. Это большая конференция, на которой компания NetApp представляет свое видение технологий работы с данными и анонсирует обновления линеек продуктов. Каждый день проходят сотни (!) технологических сессий с детальной информацией из первых рук. Можно сравнить эту конференцию с VMWorld, а из проходящих в России – с Highload++.

В конференции принимают участие тысячи людей – покупатели, партнеры, сотрудники NetApp из разных стран. В этом году здесь представлено 80 стран.
Читать дальше →

Каждому по вебинару: узнайте о новых продуктах и решениях HPE

Свежая доставка вебинаров HPE: продолжаем знакомить вас с новинками в нашем портфеле серверных и сетевых решений, систем хранения данных и сервисов. Немного тизеров: представляем программно-аппаратный комплекс HPE ProLiant for Microsoft Azure Stack, серверы Gen10 для компонуемой инфраструктуры HPE Synergy и BladeSystem c-Class, расширение портфеля флеш-СХД HPE Nimble Storage, решения HPE OfficeConnect и HPE Aruba Instant для построения беспроводной сети для организаций разных масштабов. Регистрируйтесь и подключайтесь!

Читать дальше →


Последние посты