ATIS - Alliance for Telecommunications Industry Solutions
сфера применения
«В этом документе описан план испытаний для проверки объективных моделей качества восприятия в контексте услуг Интернет-телевидения (IPTV) (см. [2]). В частности, этот документ определяет: ? Процедуру оценки эффективности моделей объективного качества восприятия@. далее именуемые "модели""@ "модели качества"@ и "объективные модели". В нем описываются методы испытаний@, выбор испытательного материала и условий@, а также оценочные показатели для изучения прогностической эффективности моделей. . Критерии эффективности, используемые для оценки модели (пороги приемлемости для этих критериев не входят в сферу применения данного документа). ? Методика документирования данных и результатов испытаний стандартизированным способом. В контексте этого документа@ Качество опыта ( QoE) относится к тому, как конечный пользователь ?C, т.е.@ потребитель IPTV ?C будет классифицировать/ощущать качество потокового аудио-видео контента услуги IPTV (см. также раздел 3.2). Эффективность объективных моделей будет основана на сравнение среднего балла мнения (MOS), полученного в результате контролируемых субъективных тестов, и прогнозируемого среднего балла мнения (MOSp) на основе моделей. Целью тестирования является изучение и документирование производительности предлагаемых показателей качества видео или аудиовидео в репрезентативных условиях передачи и отображения. Следующие аспекты QoE в настоящее время рассматриваются в этом документе: ? Воспринимаемое качество видео@ воспринимаемое качество аудио@ и воспринимаемое качество аудио и видео. ? Модели QoE для непрерывного мониторинга (т. е. сквозного @, включая головной мониторинг) в операционных средах. Автономное тестирование ?C подходит для целей предварительного обслуживания и/или планирования и проектирования сети (т.е. лабораторные испытания) ?C подлежит дальнейшему изучению. При оценке также учитывается вычислительная сложность моделей. ? Этот план испытаний можно использовать для моделей без эталонных моделей, с уменьшенными эталонами и с полным эталонными моделями. ? Модели, использующие пакетированный транспортный поток (в открытом или зашифрованном виде) и битовый поток в качестве входных данных. Принимая во внимание, что видео и аудио могут быть первыми аспектами, которые будут рассмотрены@, последующие версии плана тестирования также будут решать такие проблемы, как синхронизация аудио-видео (также известная как@ "синхронизация губ"")@ субтитры@ скрытые субтитры@ и индикаторы QoE транзакций? C, например, задержка смены канала (переключение канала). В этой версии рассматривается использование моделей качества для услуг IPTV. Связанный с этим документом@ необходим документ, описывающий различные модели качества, которые Форум совместимости IPTV ATIS (IIF) рекомендует для мониторинга (и других возможных) приложений потоков IPTV в процессе эксплуатации. ATIS-0800031@ Требования QoE IPTV@ предоставит область применения и требования к таким моделям. Этот план испытаний не является исчерпывающим. Предполагается, что пользователь этого документа с планом тестирования знает и использует соответствующие документы по стандартам и общепринятые отраслевые практики субъективного и объективного тестирования алгоритмов качества мультимедиа. Этот документ является дополнением к существующим стандартным документам, относящимся к этой области. Список таких документов представлен в разделе 2. Цель Объективные модели предлагают практическую альтернативу субъективным измерениям. Хотя данные, собранные в ходе субъективных тестов, остаются наиболее достоверным методом оценки качества, формальные субъективные тесты имеют существенные ограничения. В частности, @ любой отдельный субъективный тест является дорогостоящим и требует много времени для подготовки и проведения. Для этого требуется большое количество участников, и в одном тесте можно оценить лишь небольшой набор тестовых последовательностей. Напротив, объективные модели могут на постоянной основе предсказывать мнение среднего зрителя-неспециалиста. Целью тестирования объективных моделей является изучение производительности предлагаемых моделей в широком диапазоне условий, которые являются репрезентативными для операционной среды IPTV с точки зрения кодеков@битрейта@ и транспортных механизмов, но ограничиваются теми, которые включены в архитектуру IPTV, определенную ATIS IIF (которая включает фиксированную и мобильную/беспроводную среду). Различные поставщики предлагают продукты, которые включают в себя метрику качества видео (а иногда и аудио), которая «предсказывает» воспринимаемое человеком качество видео (и качество звука) в форме прогнозируемого/оцениваемого MOS. Метрика качества видео (алгоритм) либо разрабатывается самим поставщиком средств измерения@, либо права на использование алгоритма приобретаются у производителя оригинального оборудования (OEM), где эта метрика была разработана. Альтернативно@ некоторые показатели были разработаны в академической среде. Поставщики сетевых услуг и контента IPTV являются наиболее очевидными покупателями измерительных продуктов, которые поддерживают эти показатели качества видео (и качества звука). Однако@ не существует стандартизированных средств, позволяющих пользователям понять, насколько хорошо работают@ эти продукты, если такой показатель не прошел независимую и формальную проверку. В настоящее время@ существует очень мало стандартов в этой области@, и поэтому имеющиеся решения в основном нестандартизированы. Кроме того, текущая практика стандартов заключается в стандартизации этих моделей; однако планы тестирования не стандартизированы. Обычно@ каждая организация по разработке стандартов (SDO) создает свой собственный план тестирования, который@ весьма вероятно@ немного отличается от плана тестирования другой SDO. Однако @ использование единого стандартизированного плана тестирования для услуг IPTV позволяет тестировать различные алгоритмы одинаковым способом @ и позволяет проводить перекрестные сравнения. В этом документе также удобно представлены условия тестирования системы IPTV, определенной ATIS IIF, в одном документе. Применение Ниже описан список применений этого документа: ? Критерии, описанные в этом документе, могут использоваться в качестве входных данных для процесса тестирования (например, как они используются в Группе экспертов по качеству видео [VQEG] @ Международного союза электросвязи - Сектора стандартизации электросвязи [ITU-T] Исследовательской группы [SG]-9@ SG -12@ Форум видеоуслуг [VSF]@ или рабочая группа 3GPP по сервисным и системным аспектам [SA] [WG] 4). Обратите внимание, что в этом документе не указан процесс тестирования @, а только план тестирования (см. ATIS-0800021 @ Стандарт пробного использования EPSNR). ? Этот документ предоставляет формат отчетности, который позволяет пользователям проверенных моделей сравнивать «подобные» модели (см. объяснение в разделе 4). Это включает в себя вычислительную сложность как один из факторов. ? Этот документ может использоваться вместе с «процессом тестирования» (например, ATIS-0800021, стандарт пробного использования EPSNR, который описывает предлагаемый процесс тестирования для проверки модели). ПРИМЕЧАНИЕ ?C. Этот план испытаний не отменяет стандартизации рекомендуемых моделей. ATIS IIF предоставляет этот план испытаний в качестве отраслевого стандарта для оценки моделей качества IPTV».