Resumen

This dissertation proposes a haptic nonverbal communication environment, supported by wearable technology, aiming to assist people in transferring motor skills to others. Current challenges in transmitting motor skills from experts to learners include the inherent complexity of certain movements and the difficulties of explaining verbally complex movements, which adds comprehension difficulties for learners. Additionally, traditional motor-skill lessons barely use technology, not for a lack of enthusiasm from experts, but for a lack of adequate devices designed for the task of transmitting motor-skills. The basic concepts and components of nonverbal communication are discussed, with specific emphasis on haptic nonverbal communication (HNVC). Based upon a thorough review of the literature, a taxonomy has been derived that organizes related work that has focused on HNVC assisted by technology during the last five years. The taxonomy provides insights on current gaps in knowledge of utilizing haptic technology for nonverbal communication purposes. The taxonomy?s main categories consider the intent of using HNVC. Applications aiming to convey meaning are classified under interpretive HNVC; those aiming to either identify of promote certain sentiments or moods in users are classified under affective HNVC, whereas applications aiming to produce an action as a result are classified under active HNVC. Each category has sub-categories to further refine the classification. Findings include which technologies are preferred for each category, which haptic approach is common, and future research directions based on each category. Research directions set the foundation for the conceptual proposal of an environment aimed to support transferring of motor skills. The proposed environment achieves human-human interaction mediated by wearable devices through the sense of touch. The environment is a conceptual proposal that comprises elements that are essential to achieve a technology-enhanced interaction in conventional motor-skill instruction settings. The main components of the proposed environment are wearable actuators and sensors, an autonomous movement classifier, a tactile encoder, and a database of reference movements. The interaction flow between the expert and learners is mediated through wearable devices and the autonomous classifier. The flow begins when the expert performs a movement, which the wearable sensors deliver to the autonomous classifier. The autonomous classifier identifies which movement it is, and sends, through the tactile encoder, a tactile-instruction to the learners? wearable actuators. Learners identify the instructions, and perform the movement, delivered to the autonomous classifier through their wearable sensors. The classifier identifies the movement, and provides a quality measurement, comparing the received movement against a reference database. The database contains movements performed by experts, which are the basis to determine movement quality. A step-by-step methodology on how to instantiate the environment is also proposed. As a first target skill, leader-follower dance was chosen. The decision is based on the haptic communication occurring between leader and follower in this dance style, providing a relevant scenario to test a HNVC mediated through wearable devices. Initial user research with experts on leader-follower dance guided the instantiation of our proposed environment, also reflecting on experts? approval of our approach. Three experiments were undertaken to instantiate and validate three essential components of the environment: tactile communication between learners and wearable devices, experts? interaction with wearable sensors to gather movement data, and an autonomous software component capable of classifying signals into movement categories, and providing quantitative quality measurements. The experiments show that the proposed environment has acceptance potential from both experts and learners, as well as competitive results on classifying movement signals. Our research advances knowledge in the following areas: First, in human-computer interaction, by providing alternative interactions through the sense of touch and nonverbal communication. Second, in motor skill transfer assisted by technology, by introducing haptic wearable technologies into an environment that enhances conventional instruction settings, and providing tools for both experts and learners. Third, we advance the application of classification techniques from signals obtained by wearable sensors. Resumen. Esta disertación propone un ambiente de comunicación no verbal háptica, soportada por tecnología portable, con el objetivo de asistir personas transfiriendo habilidades motoras a otros. Los desafíos actuales de transmitir habilidades motoras de expertos a aprendices incluyen la complejidad inherente de ciertos movimientos, y las dificultades de explicar verbalmente movimientos complejos, añadiendo dificultades de comprensión para los aprendices. Adicionalmente, las clases de habilidades motoras casi no usan tecnología, no por falta de iniciativa de los expertos, sino por la falta de dispositivos adecuados diseñados para transmitir habilidades motoras. Se discuten los componentes básicos de la comunicación no verbal, con especial énfasis en la comunicación no verbal háptica (CNVH). Basándonos en una revisión de la literatura a profundidad, se derive una taxonomía que organiza trabajos relacionados con enfoque en CHVH asistida por tecnología en los últimos cinco años. La taxonomía muestra los vacíos en el conocimiento de utilizar tecnología háptica con propósitos de comunicación no verbal. Las principales categorías de la taxonomía consideran la motivación de utilizar CNVH. Las aplicaciones cuya motivación sea transmitir un significado son clasificadas como CNVH interpretativa; aquellas motivadas a identificar o promover sentimientos o emociones en usuarios son clasificadas como CNVH afectiva, mientras que las aplicaciones motivadas a provocar una acción son clasificadas como CNVH activa. Cada categoría cuanta con sub-categorías para refinar más la clasificación. Los hallazgos de la clasificación incluyen qué tecnologías son más adecuadas para cada categoría, cuál método háptico es el más común, y direcciones de investigación a futuro para cada categoría. Las líneas de investigación son el fundamento de la propuesta conceptual de un ambiente cuyo objetivo es ayudar a la transferencia de habilidades motoras. Nuestro ambiente propuesto logra una interacción entre humanos mediada por dispositivos portables a través del sentido del tacto. El ambiente es una propuesta conceptual que incluye elementos esenciales para conseguir una interacción mejorada por tecnología en escenarios de transferencia de habilidades motoras convencionales. Los principales componentes del ambiente propuesto son actuadores y sensores portables, un clasificador de movimientos autónomo, un codificador táctil, y una base de datos con movimientos de referencia. Los dispositivos portables y el clasificador autónomo son los mediadores del flujo de interacción entre el experto y los aprendices. El experto inicia el flujo de interacción al realizar un movimiento, cuyos sensores portables mandan al clasificador autónomo. El clasificador autónomo identifica de qué movimiento se trata, y envía a través del codificador táctil, una instrucción táctil a los actuadores portables de los aprendices. Los aprendices interpretan la instrucción y realizan el movimiento, enviado al clasificador autónomo a través de los sensores portables. El clasificador identifica el movimiento, además de proveer una medida de calidad, comparando el movimiento recibido contra la base de datos de referencia. Dicha base de datos contiene movimientos realizados por expertos, los cuales son la base para determinar la calidad de un movimiento. Se propone una metodología paso a paso de cómo instanciar el ambiente. Como primer habilidad objetivo, se eligió baile de parejas. La decisión se basó en la comunicación háptica que ocurre entre el líder y el seguidor en un baile de parejas, dándonos un escenario relevante para evaluar una CNVH mediada por dispositivos portables. Una investigación de usuario inicial con expertos en baile guió la implementación de nuestro ambiente propuesto, reflejando la aprobación de los expertos de nuestra propuesta. Se realizaron tres experimentos para instanciar y validar los componentes esenciales del ambiente: la comunicación táctil entre aprendices y dispositivos portables, la interacción de los expertos con sensores portables para registrar datos de movimiento, y un software autónomo capaz de clasificar señales en categorías de movimiento, dando mediciones cualitativas y cuantitativas. Los experimentos muestran que el ambiente propuesto tiene potencial de aceptación tanto de expertos como de aprendices, mostrando resultados competitivos clasificando señales de movimiento. Nuestra investigación avanza el conocimiento en las siguientes áreas: primero, en interacción humano computadora, dando interacciones alternativas a través del sentido del tacto y la comunicación no verbal. Segundo, en la transferencia asistida por tecnología de habilidades motoras, introduciendo tecnología háptica y portable en un ambiente que mejora la enseñanza convencional a través de herramientas tanto para expertos como aprendices. Tercero, avanzamos en el área de técnicas para clasificar señales obtenidas de dispositivos portables.

Palabras clave: Skill transfer, Haptic communication, Wearable technology, technology-mediated learning.

El acceso a esta tesis es restringido.

Camarillo Abad, H. M. 2020. Transfer of Motor Skills mediated through Wearable Technology by means of Haptic Nonverbal Communication. Tesis Doctorado. Sistemas Inteligentes. Departamento de Ingeniería en Computación, Electrónica y Mecatrónica, Escuela de Ingeniería, Universidad de las Américas Puebla. Mayo. Derechos Reservados © 2020.