Scientific Area: Sciences and technology engineering > Electrical engineering, electronics and computer science
Supervisors: Rui Pedro Amaral Rodrigues; Hugo Machado da Silva
Virtual Reality (VR) is a technology that has been gradually developed since the early on the last
century, where people can interact in a multi-sensorial immersive experience with a synthetized
three-dimensional Virtual Environment. Although the first applications were simple or did not
work very well due to several hardware limitations, lots of new technologies and techniques have
been researched and developed since then. In the last decade, due to the significant evolution of the hardware and software, a new rise of interest in VR has been experienced. Nowadays, there are several companies researching and devel-oping devices dedicated to virtual reality experiences.
While devices that cover our visual and auditory senses are relatively well developed, hard-ware that focuses on the remaining three senses (haptic, olfactory and gustatory) is in its childhood. Only recently, there has been a rise of interest in researching technologies that provide solutions to handle those senses.
Over the years, there have been different approaches to solve the problem of providing haptic feedback from virtual objects. These attempts were mostly based on devices like gloves or surfaces that resorted at different stimulation techniques in order to provide the user with the sense of touch as well as to limit his hand or fingers movement.
These devices, however, face significant limitations, as the current understanding of the human haptic perception is quite limited. Hence, the need for alternatives to these devices is identified. The same way, there is a lack of solutions capable of providing haptic feedback to the users in a transparent way when they touch virtual objects.
Related research confirms that the use of real objects in virtual environments affects positively VR experiences. Therefore, this dissertation addresses those problems by proposing a solution for developing an interaction framework based on direct haptics, where real objects are used to provide haptic feedback to the users. Thus, the solution will be capable of redirecting the user to the object that he intends to touch and, when in contact with virtual objects, the haptic feedback will be delivered from equivalent real objects, without the user realizing the manipulation or losing his sense of presence.
The solution was specified in terms of functionality and an approach to implement and test it was followed. A generic architecture is described so that the guidelines for implementing the solution in future work can be followed. In addition, the implementations details of the solution are described and discussed.
A functional prototype, implementing a subset of features specified was developed and validated through user testing sessions. The insights gathered from these tests established guidelines for future work on this solution. It is expected that future iterations of the work here initiated are done and the contributions of this work can help and inspire researchers and enthusiasts on this area.
This dissertation addresses the Human-Computer Interaction (HCI) area, under the following topics: Haptic Feedback, Virtual Reality, Mixed/Augmented Reality and Interaction Design.
A realidade virtual é uma tecnologia que tem vindo a ser desenvolvida gradualemente desde o
início do século passado, onde se pode interagir, numa experiência multi-sensorial e imersiva, com
um ambiente virtual tridimensional sintetizado. Apesar das primeiras aplicações serem simples ou
pouco funcionais devido a grandes limitações, novas tecnologias e técnicas foram investigadas e desenvolvidas desde então. Na última década, devido a uma grande evolução a nível de hardware e software, houve um crescimento do interesse na realidade virtual. Hoje em dia, existem várias empresas a investigar e desenvolver dispositios dedicados a experiências de realidade virtual.
Enquanto dispositivos que suportam os sentidos visual e auditivo estão relativamente bem desenvolvidos, hardware que suporte os restantes três sentidos (hápticos, olfativo and gustativo) estão ainda na sua infância. Apenas recentemente, houve um surto de interesse na investigação de tecnologias que provideciem soluções para tratar esses sentidos.
Ao longo dos anos tem havido diferentes formas de resolver o problema de providenciar feedback háptico a partir de objetos virtuais. A maioria destas tentativas são baseadas em dispositivos como luvas de realidade virtual or superfícies que assentam em diferentes técnicas de estimulação de forma a providenciar ao utilizador a sensação de toque ou limitar o movimento das suas mãos ou dedos.
Contudo, estes dispositivos apresentam limitações significativas, uma vez que o atual conhecimento da perceção háptica humana é ainda limitado. Assim, a necessidade de uma alternativa a estes dispositivos é identificada. Da mesma forma, existe uma necessidade de soluções capazes de providenciar feedback háptico aos utilizadores de forma transparente, aquando do toque de objetos virtuais.
Investigação relacionada confirma que o uso de objetos reais em ambientes virtuais afeta positivamente as experiências de realidade virtual. Assim, esta dissertação aborda os problemas propondo o desenvolvimento de uma framework de interação baseada em háptica direta, onde objetos reais são usados como forma de providenciar feedback háptico aos utilizadores. Desta forma, a solução será capaz de redirecionar o utilizador para o objeto que este pretende tocar e, uma vez em contacto com os objetos virtuais, o feedback háptico será transmitido a partir dos objetos reais equivalentes, sem que o utilizador se aperceba da manipulação ou perca a sua sensação de presença.
A solução foi especificada em termos de funcionalidade e uma abordagem para a implementar e testar foi seguida. Uma arquitetura genérica é descrita de forma a que as orientações para implementar a solução possam ser seguidas no trabalho a realizar no futuro. Também, os detalhes de implementação da solução são descrito e discutidos.
Um protótipo funcional, que implementa um subconjunto das funcionalidades especificadas foi desenvolvido e validado através de sessões de teste com utilizadores. As impressões obtidas nestes testes estabeleceram orientações para o trabalho a realizar no futuro. É esperado que sejam feitas futuras iterações de desenvolvimento do trabalho aqui iniciado e que as contribuições do mesmo possam ajudar e inspirar os investigadores e entusiastas nesta área.
Esta dissertação aborda a área Interação Pessoa-Computador nos seguintes tópicos: Feedback háptico, Realidade Virtual, Realidade Aumentada/Mista e Design de Interação.