Научная
деятельность
Университет ИТМО

Специалисты Университета ИТМО разработали AR-решение для шоу открытия WorldSkills в Казани

С 22 по 27 августа в Казани прошел 45-й чемпионат по профессиональному мастерству, в котором участвовали 1300 конкурсантов из 63 стран мира. Грандиозное шоу-открытие WorldSkills сопровождалось не только классическими музыкальными номерами и световыми эффектами, но и AR-образами, которые создали специалисты Университета ИТМО. О том, кто и как занимался дополненной реальностью для шоу-открытия в материале ITMO.NEWS.

Чемпионат WorldSkills

WorldSkills — международная некоммерческая ассоциация, созданная в 1953 году для привлечения внимания к рабочим профессиям и создания условий для развития высоких профессиональных стандартов. Раз в два года организация проводит международные соревнования по 56 компетенциям среди молодых представителей рабочих профессий. В 2019 году 45-й чемпионат WorldSkills состоялся в Казани.

Основным постановщиком открытия WorldSkills в России выступила компания Sechenov.com, имеющая большой опыт в проведении больших шоу-программ мирового уровня. Кроме традиционных музыкальных номеров, гости открытия могли наблюдать эффекты дополненной реальности: над стадионом плыл кит, по залу летели лепестки цветов, а с неба сыпался ярко-синий звездопад.

Открытие 45-го чемпионата WorldSkills. Источник: Sechenov.com
Открытие 45-го чемпионата WorldSkills. Источник: Sechenov.com

Командная работа

Над созданием комплекса AR-эффектов трудился огромный коллектив профессионалов. Сценарий был продуман основным постановщиком шоу — компанией Sechenov.com, техническое обеспечение для системы дополненной реальности: оборудование, системы трекинга, связь — предоставила компания LYM.pro. А программное обеспечение и сами эффекты создавал коллектив Лаборатории интерактивной визуализации Национального центра когнитивных разработок Университета ИТМО.

«Суть работы была близка к той, что мы делали в Минске. Нашей задачей было создание эффектов дополненной реальности во время шоу церемонии открытия для телевещания и посетителей на стадионе через мобильные приложения. Оба программных решения — это наша разработка. Основным отличием было то, что в этот раз у нас было больше свободы для творчества с точки зрения графического контента, так как его мы разрабатывали сами. Я считаю, что эта свобода в реализации позволила нам найти правильный компромисс между качеством графики и техническими возможностями платформы для телевещания», — рассказал Андрей Карсаков, руководитель лаборатории и сотрудник Национального центра когнитивных разработок.

Полную запись трансляции церемонии открытия можно посмотреть по ссылке. Шоу начинается в 1:02:00

Коллектив Лаборатории интерактивной визуализации Национального центра когнитивных разработок Университета ИТМО на шоу в Казани
Коллектив Лаборатории интерактивной визуализации Национального центра когнитивных разработок Университета ИТМО на шоу в Казани

Трудности и новинки шоу в Казани

На WorldSkills специалисты Университета ИТМО представили пять образов: «Познание» (выступление кондитера Анны Прокопеня, представительницы Европы в WorldSkills Champion Trust) — монумент на сцене преображался в плитку воздушного шоколада, «Эксперимент» (Пранав Мистри, Samsung) — над монументом возникала коробка с Котом Шрёдингера, «Совершенствование» (Екатерина Березий, CEO Exoatlet) — огромный кит, олицетворявший совершенство природы, проплывал по стадиону над зрителями, «Создание» (выступление д-р Хэнсона и робота Софии, Hanson Robotics) — из образа, создаваемого VR художником и транслировавшегося на экранах монумента, вылетали, разносясь по стадиону, лепестки роз, а также эпизод во время представления компетенций — «Концентрация энергии монумента».

По словам Андрея Карсакова, шоу в Казани стало закреплением полученного на Европейских играх в Минске опыта, поэтому в этот раз команда скорее оттачивала навыки, нежели выступала с дебютом. Но свои трудности, конечно, были.

Основная сложность — это правильный UX-дизайн мобильного приложения. Интерфейс должен быть максимально понятным и простым, чтобы тысячи людей одновременно могли им воспользоваться, не упустив самые яркие эпизоды шоу.

Открытие 45-го чемпионата WorldSkills. Источник: Sechenov.com
Открытие 45-го чемпионата WorldSkills. Источник: Sechenov.com

«Пользователь хочет результат в три клика: установил — запустил — посмотрел! Тебе надо учесть, что пользователь может быть не знаком с технологией, мог не услышать инструкцию на самом стадионе перед шоу, не понял, как это работает. Удивительно, но сколько бы мы не писали инструкций и пояснений, на каких устройствах приложение работает, а на каких нет, как пользоваться программой — все равно будет много людей, которые не смогли разобраться. За три проведенные этим летом мероприятия мы собрали огромное количество обратной связи и замечаний от пользователей и уже формируем целый фреймворк для сборки подобных приложений», — поделился Андрей Карсаков.

Коллектив Лаборатории интерактивной визуализации Национального центра когнитивных разработок Университета ИТМО на шоу в Казани впервые протестировал свой новый инструментарий по калибровке объективов и позиций камер на основе компьютерного зрения. Это был только эксперимент и не все системы сработали именно так, как это видели специалисты, однако это стало одним из шагов на пути к полной автоматизации данного процесса.

Коллектив Лаборатории интерактивной визуализации Национального центра когнитивных разработок Университета ИТМО на шоу в Казани
Коллектив Лаборатории интерактивной визуализации Национального центра когнитивных разработок Университета ИТМО на шоу в Казани

Еще одним достижением этого проекта стало существенное сокращение времени на создание Lens Files калибровочных параметров, описывающих оптико-механические свойства объективов (FoV, distortions, lens breathing, zoom axis shift), которого добилась команда исследователей.

По словам Андрея Карсакова, планы на дальнейшую перспективу у коллектива грандиозные, ведь интерес к дополненной реальности только растет, а на российском рынке пока нет ни одного программного продукта, позволяющего создавать дополненную реальность и виртуальные студии для телевещания. Работа лаборатории продолжится именно в этом направлении.