• English
  • Русский

Новости

10 петабайт — объем нормальный: история о резиденте Бизнес-инкубатора проекте Noxa Data Lab

15 июня 2017

 
Сегодня в мире наблюдается лавинообразный рост объемов данных. Растет не только число фотографий, видео и постов в социальных сетях, но и количество бизнес-данных. Сюда относятся информация о банковских транзакциях, покупках, движении транспорта и грузов, данные биллинга у операторов связи и т.д. И каждый из нас вносит лепту в генерацию данных, совершая покупки, отыскивая информацию в интернете, пользуясь мобильной связью и путешествуя. Объем их настолько велик, что требует принципиально новых технологических решений для хранения и обработки. Это целая индустрия, в число ключевых игроков которой имеет все шансы войти молодая татарстанская компания, резидент Бизнес-инкубатоар ИТ-парка «Нокса Дата Лаб».
 
Пета incognito
 У стартапа, возникшего чуть больше года назад, три сооснователя: Алексей Мергасов, за плечами которого, в числе прочего, руководство проектами в Informatica Corp — мировом лидере на рынке услуг по хранению и обработке данных; Аркадий Терзи — специалист по бизнес-процессам с большим опытом внедрения продуктов SAP в России и Максим Антоненко. У последнего опыт работы в компании NetCracker Technology и руководство магистратурой в Innopolis University в роли декана. Алексей как технический директор руководит R&D, Аркадий отвечает за работу с клиентами и бизнес- аналитику, а Максим занимается продажами и отвечает за развитие компании в роли ее директора.
 
«Транзакционные данные, — объясняет Максим, — это такие данные, которые не просто насыпаны где-то, а постоянно динамически изменяются. Ваш счет в банке — это пример транзакционных данных. Меняется состояние счета — меняется состояние ваших данных. Мы уже сегодня умеем работать с такими объемами данных, с которыми не справляются стандартные системы: 1 петабайт и, выше, верхний порог не определен. На системах, построенных на используемых нами технологиях, достигнута цифра в 50 петабайт. Для сведения, 1 петабайт — это тысяча терабайт, терабайт — это стандартный объем жесткого диска персонального компьютера. Для сравнения, флагманские решения Exadata от Oracle лимитированы объемом данных в 1,7 петабайта в оперативной обработке. Если требуется обрабатывать больше данных и быстрее, придется ставить две таких системы, объединив их специальными средствами. В результате вы заплатите при- мерно в три раза дороже, а производительность возрастет только раза в полтора».
 
Oracle, IBM, SAP, EMC, HP — вот неполный перечень глобальных компаний, действующих на рынке хранения и обработки транзакционных данных. Конкуренцию им может составить компания из Иннополиса. Под стать конкурентам и ключевой партнер — японский IT-интегратор Nomura Research Institute. Это его подход к работе с данными лег в основу продуктов компании NoXA. Говоря о влиянии японцев на продукт своей компании, Максим прибегает к срав- нению: «Это как если бы они разработали принцип работы инжектора современного автомобильного двигателя, а мы бы построили автомобиль, используя этот принцип».
 
Примите как данность
Что же это за прорывная технология? Если очень коротко, татарстанской фирме удалось реализовать неблокирующую транзакцию. При стандартном подходе всегда происходит блокировка данных, и пока транзакция не закончится, другие системы не могут получить доступ к требуемым данным. Возникает задержка, тормозящая бизнес-процессы. Например, по заблокированным данным нельзя посчитать аналитику. Еще «Нокса Дата Лаб» применяет так называемую экстремальную нормализацию данных. На логическом (не физическом) уровне это означает, что данные не дублируются в разных таблицах, каждое значение хранится в логической системе один раз.
«За счет этого в среднем на порядок сокращается общий объем хранимых данных,— комментирует Максим,— когда нам говорят, что какая-то система уже обслуживает 1 петабайт данных, мы обычно говорим: «Окей. Давайте сравним». И окажется, что полезных данных там в десять раз меньше. Не путайте с резервными копиями данных — это у нас тоже есть.
По сути, современные системы, которые обрабатывают и хранят данные, это 10–15 модулей, связанных между собой синхронизаторами. Один модуль отвечает за транзакции, другой — за аналитику, третий — за архив и так далее. У нас данные располагаются в едином хранилище с логической централизацией и географической децентрализацией — центры обработки данных разбросаны по всему миру. В результате такие серьезные и дорогостоящие продукты, как ETL (Extract Transform Load) и MDM (Master Data Management), на продаже которых построена целая индустрия, становятся не нужны, так как мы на уровне проектирования обеспечиваем синхронизацию данных и управление мастер-данными. При этом в стандартной конфигурации у нас обеспечивается шестикратное резервирование данных.
За счет использования подходов гиб- кой методологии разработки DevOps производительность инженера нашей компании приблизительно на порядок выше, чем в среднем по отрасли. Сама технология, которую мы используем, также способствует повышению производительности за счет своей эффективности и высокого уровня абстракции, когда инженер может в нескольких строчках кода описать огромный функционал создаваемой системы».
 
Результат — по феншую
Продукт «Нокса Дата Лаб» ориентирован на компании класса Data Driven Enterprise. Это компании, в которых решения — стратегические и оперативные — принимаются на основе глубокого анализа больших массивов данных. Сюда в первую очередь относят такие предметные области, как финансы, телекоммуникации, ритейл, логистика, маркетинг и, как ни странно, производство. Но не обычное производство, а ультра- современное, описываемое понятием «цифровая фабрика». Уровень автоматизации в таких производствах экстремально высокий. К примеру, если потребитель имеет дело с автомобильным заводом, он может на сайте сконфигурировать автомобиль своей мечты, внести предоплату, и будущий автомобиль сразу займет свою очередь на конвейере и начнет производиться. При таком подходе на единой сборочной линии собираются совершенно разные автомобили по индивидуальным заказам. Такое «цифровое производство» — яркий пример индустриального интернета вещей и одно из главных направлений применения нашего продукта. К сожалению, в России производств с таким высоким уровнем автоматизации немного. Поэтому в области индустриального интернета вещей компания «Нокса Дата Лаб» в основ- ном общается с заказчиками за рубежом и для удобства в ближайший год планирует открыть представительство в Азии.
В компании полный рабочий день сегодня трудятся семь человек, включая основателей. Еще несколько человек привлекают- ся в режиме частичной занятости. Этого достаточно для выполнения текущего кон- тракта, подробности которого Максим не раскрывает. На подходе еще несколько проектов с крупными российскими компаниями в финансовой сфере, для реализации которых «Нокса Дата Лаб» подготовила несколько десятков студентов вместе с Innopolis University. По незнанию я называю этих людей программистами. Максим Антоненко возражает:
— Мы называем их инженерами или, если быть точным, software engineers. Компетенции такого специалиста гораздо шире, чем у обычного программиста. Он должен понимать, как устроен процесс разработки программного обеспечения, как осуществляется управление разработкой ПО, как собирать на стороне заказчика «сценарии использования», формулировать на их основе функциональные (и впоследствии не функциональные) требования к создаваемому продукту, применять различные методики тестирования, знать, что такое quality assurance и атрибуты качества, и применять все это и многое другое на практике. В общем, делать все «по феншую».
 
Калькулятор
Стартовые вложения в компанию составили около миллиона рублей. Эти средства пошли на разработку продукта и «немножко на маркетинг», который сводится к прямым встречам руководителей компании с потенциальными заказчиками.
 В течение полутора лет компания планирует привлечь на масштабирование бизнеса инвестиционные средства, но на текущий момент предпочитает сосредоточиться на разработке продукта и точечных пилотных внедрениях в различных предметных областях. Лучше медленно, но верно. Компания прописана в Иннополисе и одновременно является резидентом бизнес-инкубатора IT-парка. Послед- нее обстоятельство позволяет использовать удобный офис в центре Казани, развивать компетенции команды и участвовать в мероприятиях, проводимых ИТ- парком, «находиться в тусовке», выходить на клиентов.
Прибыль компании складывается из стоимости модулей программного продукта, услуг по его внедрению, кастомизации на площадке заказчика и обучения его персонала. Площадка заказчика для этого должна быть оборудована подходящими серверами. «Мы их можем сами закупить и поставить заказчику, — объясняет Максим, — а можем подсказать ему оптимальную конфигурацию оборудования с учетом роста его компании и соответствующего масштабирования инфра- структуры данных в будущем. То есть, по сути, мы выполняем функцию вендора и иногда интегратора. Стоимость каждого такого заказа сегодня на рынке измеряется десятками миллионов рублей».
 
Автор - Алексей Егоров, Эксперт Татарстана (www.expertrt.ru

Партнеры
Ассоциации