Виртуальная реальность и осязаемые человеко-машинные интерфейсы на основе технологий Интернета вещей и онтологического инжиниринга
Четвертая промышленная революция открывает новые горизонты использования вычислительной техники для эффективного решения огромного множества разнородных задач, включая не только инженерные и научно-технические, но и гуманитарные, и даже повседневные бытовые.
В этой связи остро встает вопрос эргономики человеко-машинного взаимодействия, о тесной интеграции вычислительной среды со средой жизни человека. Ярким примером является Интернет вещей: внедрение вычислительных модулей в предметы повседневного использования.
Традиционные кнопочные или командные интерфейсы в таком контексте не обеспечивают должной эргономики использования. Альтернативой выступают т. н. «осязаемые интерфейсы», основной идеей которых является управление объектами виртуального мира через их физические аватары.
В этой связи остро встает вопрос эргономики человеко-машинного взаимодействия, о тесной интеграции вычислительной среды со средой жизни человека. Ярким примером является Интернет вещей: внедрение вычислительных модулей в предметы повседневного использования.
Традиционные кнопочные или командные интерфейсы в таком контексте не обеспечивают должной эргономики использования. Альтернативой выступают т. н. «осязаемые интерфейсы», основной идеей которых является управление объектами виртуального мира через их физические аватары.
Основные задачи, стоящие перед научной группой
Моделирование процессов социальной коммуникации в среде виртуальной реальности
4
Разработка VR-стендов для проведения экспериментов, направленных на изучение поведения человека в среде виртуальной реальности
2
Автоматизация создания осязаемых человеко-машинных интерфейсов путем объединения технологий Интернета вещей и онтологического инжиниринга
1
Исследование процессов чтения и понимания текстов разных разной семиотической природы
3
РЕЗУЛЬТАТЫ
- Принципы и инструментарий для организации онтологически-управляемых периферийных вычислений
- Разработка концепции и апробация методов мультимодальной аналитики данных
- Разработка управляемой онтологиями платформы SciVi. Платформа автоматизирует генерацию прошивок для микроконтроллеров, создание программных средств визуального мониторинга и калибровки устройств, а также промежуточного программного обеспечения для управления сторонними программно-аппаратными средствами
- SciVi применяется в задачах интеллектуального анализа данных в созданных экспериментальных VR-стендах (VRSciVi), продуктах Интернета вещей (EdgeSciVi) и при решении задач визуализации, требующих специфических аппаратных интерфейсов
- Новые методы исследования процессов чтения и понимания текстов разных семиотических систем (текстов на естественном языке, креолизованных текстов, графических текстов)
- Новые методы анализа поведения человека в среде виртуальной реальности (ориентация в пространстве, вербальная и пространственная память, социальное взаимодействие)
Онтологический инжиниринг
Направление когнитивного искусственного интеллекта, включающее в себя комплекс методов и технологий представления, хранения и манипулирования знаниями о некоторой предметной области посредством онтологий. Методы и средства онтологического инжиниринга, среди прочего, позволяют автоматизировать и унифицировать процессы управления электронно-вычислительными устройствами разного уровня (от суперкомпьютеров до микроконтроллеров), обеспечивая возможность интеллектуального учета контекста работы и прозрачную интеграцию разных вычислительных ресурсов и экосистем в единый комплекс.
Платформа SciVi была представлена на нескольких международных конференциях, включая ежегодные конференции по вычислительным наукам «International Conference on Computational Science» и ежегодные конференции по компьютерной графике «GraphiCon».
Платформа SciVi протестирована при решении реальных прикладных задач в области создания различных программно-аппаратных комплексов.
Платформа SciVi протестирована при решении реальных прикладных задач в области создания различных программно-аппаратных комплексов.
ПЛАТФОРМА SCIVI TOOLS
ОБОРУДОВАНИЕ
Участники направления
- Кафедра математического обеспечения вычислительных систем ПГНИУК. В. Рябинин, С. И. Чуприна, И. Рожков
- Кафедра теоретического и прикладного языкознания ПГНИУК. И. Белоусов, Е.В. Ерофеева, А. Талески
- Ryabinin K., Chuprina S. High-Level Toolset For Comprehensive Visual Data Analysis and Model Validation https://doi.org/10.1016/j.procs.2017.05.050
- Ryabinin K., Chuprina S., Kolesnik M. Calibration and Monitoring of IoT Devices by Means of Embedded Scientific Visualization Tools https://doi.org/10.1007/978-3-319-93701-4_52
- Ryabinin K.V., Chuprina S.I. Using Scientific Visualization Systems to Automate Monitoring of Data Generated by Lightweight Programmable Electronic Devices https://doi.org/10.1134/S0361768818040102
- Ryabinin K., Chuprina S., Belousov K. Ontology-Driven Automation of IoT-Based Human-Machine Interfaces Development https://doi.org/10.1007/978-3-030-22750-0_9.
- Ryabinin K.V., Kolesnik M.A. Adaptive Scientific Visualization Tools for a Smart Paleontological Museum https://doi.org/10.1134/S0361768819040066.
- Ryabinin K.V., Kolesnik M.A., Akhtamzyan A.I., Sudarikova E.V. Cyber-Physical Museum Exhibits Based on Additive Technologies, Tangible Interfaces and Scientific Visualization https://doi.org/10.26583/sv.11.4.03.
- Ryabinin K.V., Belousov K.I., Chuprina S.I., Zelyanskaya N.L. Human-Oriented IoT-Based Interfaces for Multimodal Visual Analytics Systems https://doi.org/10.26583/sv.11.4.05.
- Ryabinin K., Chuprina S. Ontology-Driven Edge Computing https://doi.org/10.1007/978-3-030-50436-6_23.
- Ryabinin K., Kolesnik M. Using IoT Devices Powered by Scientific Visualization Tools to Create Interactive Paleontological Museum Exhibitions
614068, г. Пермь, ул. Букирева, 15, корп. 5, ауд. 159