ETSI TS 126 254 V18.1.0 (2024-07)-2024
LTE; 5G; Кодек для голосовых и аудиосервисов с эффектом погружения — Рендеринг (3GPP TS 26.254 версия 18.1.0 выпуск 18)
- Стандартный №
- ETSI TS 126 254 V18.1.0 (2024-07)-2024
- Дата публикации
- 2024
- Разместил
- European Telecommunications Standards Institute (ETSI)
- сфера применения
-
Обзор стандартной структуры технологии рендеринга IVAS
Стандарт 3GPP TS 26.254 V18.1.0, являющийся ключевым компонентом кодека IVAS (Immersive Voice and Audio Services), специально определяет подробные технические характеристики функциональности рендеринга. Выпущенный в июле 2024 года в составе 3GPP Release 18, этот стандарт знаменует собой значительный прогресс в технологии рендеринга иммерсивного звука для эпохи 5G.
Предпосылки разработки стандарта и технологическое развитие
Разработка стандарта рендеринга IVAS обусловлена острой потребностью в иммерсивном аудиоопыте по мере развития мобильной связи в направлении 5G/6G. Традиционные технологии стерео и объемного звука больше не способны удовлетворить аудиотребования новых сценариев приложений, таких как VR/AR, удаленные конференции и облачные игры. Стандарт развился из EVS (Enhanced Voice Services), внедрив передовые технологии бинаурального рендеринга, отслеживания положения головы и синтеза акустики помещения, сохранив при этом обратную совместимость. Стандарт рендеринга IVAS прошел три основных этапа развития: начальный этап, основанный на параметрическом рендеринге (2018–2020 гг.), среднесрочное внедрение быстрого сверточного рендеринга (2021–2022 гг.) и последняя версия, в которой усовершенствована отдельная архитектура рендеринга и поддерживается поддержка дорожек ISAR (Immersive Spatial Audio Rendering) (2023–2024 гг.). Основная архитектура рендеринга и технические характеристики Архитектура внутреннего рендерера Внутренний рендерер IVAS глубоко интегрирован в декодер, поддерживая режимы рендеринга как динамика, так и наушников. В сценарии рендеринга наушников предусмотрены три режима бинаурального вывода: чистый бинауральный вывод без синтеза акустики помещения, синтез акустики помещения на основе импульсной характеристики и синтез акустики помещения на основе параметрической реверберации.
Входной формат Диапазон битрейта (кбит/с) Режим рендеринга Применимые рендереры SBA 13.2-80 Все режимы Параметрический бинауральный рендерер SBA 96-512 Все режимы Быстрый сверточный рендерер MASA 13.2-512 Все режимы Параметрический бинауральный рендерер ISM (3-4 объекта) 24.4-32 Режим ParamISM Параметрический бинауральный рендерер ISM 13.2-512 Режим DiscISM Временной рендерер объектов Возможности внешнего рендерера
Внешний рендерер, как независимый компонент, поддерживает функции многопотокового микширования и предварительного рендеринга. Он может принимать входные потоки в форматах Ambisonics, ISM, многоканальном и MASA и рендерить их в бинауральном, Ambisonics, многоканальном или MASA формате.
Углубленный анализ ключевых технологий
Рендерер временной области (TD-рендер)
Рендерер TD играет ключевую роль в бинауральном рендеринге дискретных сигналов ISM и многоканальных сигналов, особенно в сценариях с отслеживанием положения головы. Его основные технологии включают генерацию пар фильтров HRIR, синтез параметров ITD (Interaural Time Difference) и временную свёртку.
Параметрический бинауральный рендерер
Этот рендерер совместим с форматами MASA, OMASA, многоканальным (режим McMASA), SBA, OSBA и ISM. Он использует параметрический подход для достижения эффективного пространственного аудиорендеринга, сохраняя хорошее пространственное качество восприятия при низких битрейтах.
Быстрый сверточный бинауральный рендерер
Основанный на операциях в области CLDFB (Complex Low Delay Filter Bank), он подходит для сценариев SBA с высокой битрейтом (выше 96 кбит/с), OSBA и многоканальных (режимы ParamMC и ParamUpmix) сценариев, обеспечивая высококачественный бинауральный рендеринг.
Бинауральный рендерер Crend
реализован с использованием блочного ДПФ с нулевой задержкой, подходящего для многоканальных дискретных режимов кодирования и сценариев акустического синтеза помещения на основе импульсной характеристики. MDFT/IMDFT используется для согласования размера буфера с размером декодированного кадра.
Инновации в раздельной архитектуре рендеринга
Стандарт IVAS впервые применил раздельную архитектуру рендеринга, разделив процесс рендеринга на два этапа: предварительный рендеринг и пост-рендеринг:
- Этап пред-рендеринга: большинство вычислений декодирования и рендеринга выполняются на основном устройстве (например, мобильном телефоне или облаке) для создания промежуточного представления с отслеживанием головы
- Этап пост-рендеринга: окончательная адаптация отслеживания головы и вывод рендеринга выполняются на легкой гарнитуре
Эта архитектура значительно снижает сложность обработки и требования к памяти конечного устройства, обеспечивая при этом погружение в аудио в реальном времени.
Рекомендации по реализации и передовой опыт
Конфигурация ресурсов оборудования
Для различных сценариев применения рекомендуются следующие конфигурации оборудования: для мобильных устройств рекомендуется параметризованный рендерер для экономии энергии; для высокопроизводительных VR-устройств можно использовать быстрый сверточный рендерер для оптимального качества звука; для облачных сервисов рендеринга рекомендуется рендерер Crend для обработки большого количества одновременных запросов.
Руководство по разработке программного обеспечения
Разработчикам следует отдавать приоритет использованию стандартных API-интерфейсов библиотеки рендеринга (TS 26.251 с фиксированной точкой и TS 26.258 с плавающей точкой) для обеспечения стандартизированной реализации и совместимости. Обратите особое внимание на поддержание частоты обработки данных отслеживания головы выше 100 Гц для обеспечения точности отслеживания.
Методология тестирования и проверки
Создайте комплексную систему оценки качества рендеринга, включая объективные метрики (такие как PESQ и POLQA) и субъективную оценку (тестирование MUSHRA), уделяя особое внимание ключевым показателям, таким как точность пространственного восприятия и задержка ответа отслеживания головы.
Тенденции и перспективы развития стандарта
Основываясь на текущей технической базе версии 18, стандарт рендеринга IVAS может развиваться в следующих направлениях: поддержка рендеринга Ambisonics более высокого порядка (HOA), внедрение персонализированных HRTF, оптимизированных с помощью машинного обучения, расширение возможностей акустического моделирования в реальном времени в динамических сценах и дальнейшая оптимизация эффективности и показателей задержки отдельной архитектуры рендеринга.
С развитием исследований в области технологии 6G стандарт рендеринга IVAS продолжит развиваться, обеспечивая мощную поддержку аудиотехнологий для будущих приложений, таких как голографическая связь и цифровые двойники.
