Содержание системы стандартов больших данных сочетает в себе стандартизацию больших данных в стране и за рубежом, статус-кво развития отечественных технологий больших данных, эталонную архитектуру больших данных и требования к стандартизации в соответствии с полным циклом управления данными. , характеристики стандартизации самих данных,текущая предварительная практика применения больших данных в различных областях, и будущие тенденции развития больших данных,сформулировали структуру стандартной системы больших данных. Система стандартов больших данных состоит из пяти частей: 1. Базовые стандарты. Предоставьте базовые стандарты для всей стандартной системы, включая общие принципы, термины, социальные модели, технические модели и т. д. Общие положения представляют собой руководство по стандартизации больших данных, и этот стандарт является неотъемлемой частью Общих положений. Терминология определяет понятия различных элементов больших данных. Социальная модель — это концептуальная модель социальных отношений, которая может отражать развитие, эксплуатацию и создание социальной ценности больших данных в экологической цепочке индустрии больших данных.Поставщик приложения,поставщик инфраструктуры и потребитель данных. Техническая модель определяет процесс жизненного цикла данных в системе больших данных и проходит через процессы сбора данных, хранения, управления и обработки, анализа и извлечения данных, представления и применения. 2. Технические стандарты. Этот тип стандарта в основном регулирует технологии, связанные с большими данными, включая ключевые технологии, такие как сбор данных, обработка данных, хранение данных, анализ данных, представление данных и обмен данными. Сбор данных подразумевает сбор данных разных типов и разных форматов из широкого спектра источников данных и отправку их в системы хранения или системы промежуточного программного обеспечения данных для последующей обработки. Обработка данных включает в себя два процесса предварительной обработки данных и обработки данных. Предварительная обработка данных заключается в предварительной обработке и классификации различных данных, повышении качества данных и повышении эффективности последующей обработки, хранения и анализа данных, включая очистку данных, интеграцию данных, сокращение и преобразование данных. этапы. Технология обработки данных связана с формой распределенного хранения, с одной стороны, с другой стороны, с температурным типом данных (холодные данные, горячие данные).;DAGмодель вычислений, Модель расчета BSP и т. д. Хранилище больших данных - это хранилище данных, а его ключевой технологией является технология распределенного хранения. Различные носители данных и формы организационного управления соответствуют различным характеристикам больших данных, обычно включая распределенные файловые системы, хранилище документов, столбчатое хранилище, Хранилище «ключ-значение», графовая база данных, реляционная база данных и хранилище в памяти. Анализ данных относится к анализу распределенной статистики существующей информации о данных посредством кластеризации, классификации, анализа ассоциаций и глубокого обучения, а также технологии распределенного анализа и глубокого изучения информации о местоположении. Отображение данных — это использование технологии компьютерной обработки изображений для преобразования данных в графику или изображения и отображения их на экране для обработки. Обмен данными относится к технологии взаимодействия данных между различными системами и устройствами для завершения процесса жизненного цикла данных. 3. Стандарты управления. Этот тип стандарта в основном управляет системами больших данных, включая использование данных, управление совместным использованием данных, управление продуктами, управление платформами, управление проектами и управление отраслью. Использование данных относится к технологиям использования больших данных, включая управление жизненным циклом данных, методы классификации данных, оценку качества данных, оценку возможностей данных и технологии управления идентификацией. Управление жизненным циклом данных охватывает все процессы обработки в жизненном цикле больших данных, и его цель — гарантировать, что каждый процесс данных в жизненном цикле может быть правильно обработан системой больших данных. Метод классификации данных заключается в классификации и обработке данных из разных источников по их структуре и характеру, уменьшении масштаба данных, повышении качества данных и повышении эффективности последующего процесса обработки данных. Оценка качества данных оценивает качество данных по четырем аспектам: полнота, последовательность, точность и своевременность, отличает данные низкого качества от высококачественных и обеспечивает основу для последующей обработки данных. Оценка возможностей данных относится к оценке возможностей управления данными и приложений на основе стратегии данных, управления данными, архитектуры данных, приложений данных, безопасности данных, управления качеством данных и стандартов данных. управление жизненным циклом данных и другие аспекты оценивают зрелость возможностей данных. Управление идентификацией подразумевает идентификацию, управление и анализ данных, а также повышение эффективности использования данных системами обработки данных. Управление совместным использованием данных подразумевает предоставление интерфейса доступа к совместному использованию данных, предоставление внешних услуг совместного использования и предотвращение дублирования построения данных при обеспечении безопасности и конфиденциальности данных,в основном включая управление открытыми данными, Управление каталогами данных и отслеживание данных. Управление продукцией относится к управлению продуктами с большими данными, в основном включая управление жизненным циклом продукта и оценку стоимости продукта. Управление жизненным циклом продукта — это собирательный термин, обозначающий процесс управления всеми аспектами жизненного цикла продукта, от приобретения на рынке, разработки продукта, эксплуатации и обслуживания до его устранения и переработки на рынке. Оценка ценности продукта — это оценка ценности, создаваемой функциями, характеристиками, качеством, разнообразием и стилем продукта. Управление платформой заключается в управлении платформой больших данных, управлении средствами среды платформы, средствами связи, аппаратным и программным обеспечением платформы и т. д. Управление проектами в основном включает в себя шесть аспектов: управление жизненным циклом системы, управление утверждением проекта, управление реализацией, управление приемкой, управление эксплуатацией и техническим обслуживанием и управление производительностью. 4. Стандарты безопасности. Безопасность данных, являясь поддерживающей системой стандартов данных, проходит через все этапы всего жизненного цикла данных. Помимо традиционной системной безопасности и сетевой безопасности, стандарты безопасности данных в эпоху больших данных в основном включают общие требования безопасности, снижение чувствительности данных, безопасность транзакций и защиту конфиденциальности. Общие требования безопасности в основном гарантируют безопасность платформы больших данных с четырех аспектов: безопасность сети, безопасность хоста, безопасность приложений и безопасность данных. 5. Применяйте стандарты. Стандарты приложений в основном предназначены для сервисов приложений, которые могут предоставлять большие данные, а также специальные стандарты для различных сфер общества в соответствии с их характеристиками, в основном включая государственные дела, финансы, транспорт, телекоммуникации, коммерцию и т. д. Здравоохранение, образование, туризм, промышленные и сельскохозяйственные стандарты. Для различных областей применения необходимо создать соответствующую стандартную систему в соответствии с реальной ситуацией и регулировать поведение больших данных.
T/QBDA 1001-2017 История
2017T/QBDA 1001-2017 Стандартная система больших данных, версия 1.0