Направление посвящено исследованию коммуникации как мультимодального процесса: языкового материала, движения тела, жестов, положения и траекторий частей тела, их синхронизации с речью и другими событиями эксперимента.
Для описания движений развивается собственная система нотации. Аппаратный контур может дополняться инерциальным захватом движения Perception Neuron 32, видеозаписью и другими синхронизированными каналами.