IBM InfoSphere

IBM InfoSphere DataStage позволяет интегрировать большие объемы данных между многочисленными источниками данных и целевыми приложениями. IBM InfoSphere DataStage представляет собой главный модуль платформы интеграции данных InfoSphere Information Server, которая поддерживает универсальный доступ к данным локальной сети, облачной инфраструктуре, мобильной сети, а также к структурированным и неструктурированным данным. Использование решения Huawei FusionInsight, реализованного на базе Hadoop, Oozie, и других решений для работы с большими данными, совместно с IBM InfoSphere DataStage помогает предприятиям максимизировать ценность бизнеса с помощью технологии больших данных. Продукт IBM InfoSphere DataStage поддерживает извлечение, преобразование и передачу больших объемов данных, которые могут иметь как простую, так и весьма сложную структуру. DataStage способен работать как с данными, поступающими в текущий момент времени, так и с данными, поступившими ранее на регулярной или плановой основе. DataStage позволяет компаниям решать крупномасштабные бизнес-задачи, благодаря возможности высокопроизводительной обработки больших объемов данных. С учетом необходимости обработки непрерывно растущих объемов данных, обработки в жестких условиях реального времени и пакетной обработки при постоянно сокращающихся временных окнах, DataStage использует возможности параллельного выполнения заданий и с легкостью масштабируется в широком диапазоне аппаратных платформ: от систем с симметричной мультипроцессорной обработкой (SMP) и SMP-кластеров до серверов с сотнями процессоров и поддержкой архитектуры вычислений с массовым параллелизмом (MPP). При увеличении количества процессоров или серверов, перекомпилировать задания не требуется, при этом изменяются только несколько строк в файле конфигурации.