• Interaktionen mit dem Technik-Interface der VR InstallationenInteractions with the administrative interface of a virtual reality installation
  • ... sind nicht im Fokus unserer Betrachtungare not in our focus
• Wir beschäftigen uns mit Interaktionen mit der dreidimensionalen Simulation (Welt)We are targeting at interactions in a three-dimensional simulation (virtual world)

Anforderungen an Interaktionen in der Virtuellen RealitätRequirements for interactions in virtual reality

• Räumlichkeit (z.B. 3D) soll voll unterstützt werdenSpatiality (e.g. 3D) should be fully supported
• Immersion soll bewahrt oder gar gefördert werdenImmersion should be maintained or even improved
  • Auf jeden Fall aber nicht zerstört!In no case should the interaction destroy immersion!
• Bedienung soll intuitivseinUsage should be intuitive, in particular if real-world actions are simulated
• Interaktion soll funktional seinInteraction should be functional
• Am besten soll die Interaktionstechnik dabei nicht erkannt werden bzw. im Vordergrund stehen! The interaction technology (typically) should not put itself too much into focus. The more it stays in the background, the better.

Definition: Freiheitsgrad (DoF, degree of freedom)Definition: Degree of Freedom (DoF)

Ganz grundlegend lassen sich Anforderungen über die notwendigen Eingabedimensionen definieren. Dies führt uns zum Konzept des Freiheitsgrads. A fundamental requirement are the required input dimensions. This leads to the concept of degree of freedom (DoF).

• Freiheitsgrad: variabler Parameter eines Systems (z.B. eines Eingabegerätes) Degree of Freedom: variable parameter of a system (e.g. of an input device)
  • Menge der Freiheitsgrade beschreibt das System eindeutig Set of degrees of freedom describes the system
  • echte Freiheitsgrade sind unabhängig voneinander real degrees of freedom are independent from each other
  • Menge der echten Freiheitsgrade minimal The set of real degrees of freedom is minimal
    • mit weniger kann das System nicht beschrieben werden the particular system cannot be fully described with less degrees of freedom
• kann technisch als Dimension verstanden werdentechnically it can be thought of as a dimension

BeispieleExamples

• Massepunkt besitzt drei translatorische Freiheitsgrade Center of mass has three translatory degrees of freedom (X/Y/Z)
• Körper besitzt zusätzlich drei rotatorische Freiheitsgrade Body has in addition to that three rotatory degrees of freedom (R/P/Y)
• Man liest oft: Datenhandschuhe haben 18 bis 22 Freiheitsgrade Often you read, for example, that data gloves have 18 to 22 degrees of freedom
  • Datenhandschuhe messen 18 bis 22 GelenkstellungenData gloves measure 18 to 22 joint orientations
  • aber: nicht alle Gelenkstellungen unabhängigbut not all joint orientations are indendent from each other
  • daher: weniger tatsächliche Freiheitsgradea data glove attached to a hand provides thus less degrees of freedom

1. Basisinteraktion: Selektion1st Basic Interaction: Selection

• Ziel: Objekt als Ziel der Interaktion dem System bekannt machenGoal: Object should be made known to the system as target of the interaction
• Alternative Bezeichnung: Auswahl, PickingAlternative names: Picking
• FragenQuestions
  • Wie wird gezielt? (Aiming)How is aiming realized?
  • Wie wird Selektion ausgelöst? (Trigger)How is the selection triggered?
  • Wie erfährt der Nutzer über den Status der beiden Prozesse? (Feedback)How does the user know about the state of the processes? (feedback)

2. Basisinteraktion: Navigation2nd Basic Interaction: Navigation

• Ziel: Position (und damit Perspektive) in der virtuellen Welt ändernGoal: alter the position (and thus perspective) in the virtual world
• Alternative Bezeichnungen: Travelling, Orientierung und FortbewegungAlternative names: Travelling, Orientation, Movement
• FragenQuestions
  • Erfolgt Navigation physisch oder rein virtuell?Is navigation done physically or pure virtually?
    • Bewegt sich der Körper mit, oder nicht?Does the body also move, or not?
  • Wie wird eine Navigation ausgelöst?How is the navigation triggered?
  • Wie wird die Interaktion auf die Bewegung in der virtuellen Welt abgebildet?How is the interaction mapped to a movement in the virtual world?

3. Basisinteraktion: Manipulation3rd Basic Interaction: Manipulation

• Ziele:Goals:
  • Auslösen von Aktionen/Reaktionen in der WeltTriggering actions/reactions in the world
  • Greifen von ObjektenGrasping of objects
  • Verschieben/Drehen von ObjektenTranslating/rotating objects
  • Kombinieren von ObjektenCombining objects
• FragenQuestions
  • Wie wird die Manipulation ausgewählt?How is the particular manipulation selected?
  • Welche Modifikationen an der virtuellen Realität sollen vorgenommen werden können? (Rotation, Translation, komplexe Änderungen, ...)What modifications should be applied (rotation, translation, more complex changes,...)
  • Wie werden die Freiheitsgrade der Interaktion auf die Modifikationen abgebildet?How are the degrees of freedom of the interaction/interaction device mapped to the degrees of freedom of the manipulation

Wie viele Freiheitsgrade werden für die Basisinteraktionen benötigt? How many degrees of freedom are required to support the basic interactions?

• Wie viele Freiheitsgrade (DoF) hat die Selektion? How much DoF has the selection?
• Wie viele Freiheitsgrade (DoF) hat die Navigation? How much DoF has the navigation?
• Wie viele Freiheitsgrade (DoF) hat die Manipulation? How much DoF has the manipulation?

ZwischenfazitInterims Summary

• Interaktionstypen und -geräte können über ihre Freiheitsgrade klassifiziert werdenInteractiontypes and -devices can be classified according to their required or supported degrees of freedom
• Es gibt drei typische InteraktionstypenThere are three basic interaction types
  • SelektionSelection
  • Navigation
  • Manipulation

Warum Evaluieren?Why evaluating interactions?

• Anforderungen der Benutzer aus der Interaktion heraus identifizierenIdentify requirements of the user during the interaction
• Benutzungsprobleme identifizierenIdentify usage problems
• Probleme quantifizieren ($\to$ gezielte Anpassung)Quantify problems ($\to$ to allow for a directed optimization)

Meta-ZieleMeta Goals

• Design Richtlinien entwerfenDevise a design guide
• Performanz-Modelle entwickeln um Voraussagen über Leistung/Nutzen treffen zu könnenDevelop performance models to allow for predictions about usage

Methoden zur Konkretisierung der Nutzerinteraktionen Methods for the specification of the user interaction

• Aufgabenanalyse (User Task Analysis)User Task Analysis
• Szenarien (Komposition von Aufgaben)Scenarios (composition of tasks)
• Personas (Nutzer mit best. Anforderungen und Hintergrund)Personas to describe users with certain requirements, backgrounds, usage scenarios
• PrototypenPrototypes

EvaluationsansätzeApproaches to Evaluation

Von theoretisch/abstrakt zu angewandt/konkret From more abstractm theoretical approaches to the more specific, practical

• Cognitive Walkthrough
• Expertenreview (Heuristic Evaluation)Expert Review (Heuristic Evaluation)
• FragebögenQuestionnaires
• Interviews
• BenutzertestsUser Studies (Formative Evaluation)
• Vergleichsstudien (Vorher/Nachher, A-B Test)Comparison Studies, A-B Tests

Messen/Bewerten der InteraktionMeasuring/Quantifying Interaction

• Eigenschaften des Systems (Wiederholrate, Latenz, techn. Schwierigkeiten, Last, Wärmeentwicklung, Geräuschentwicklung, ...)Properties of the system (refresh rate, latency, technical problems, load, heat development, noise level, ...)
• Aufgabenbezogene Eigenschaften (Bearbeitungszeit, Durchführbarkeit, Fehlerrate, Genauigkeit, ...)Task-related properties (time-on-task, feasibility, error rate, precision, ...)
• User Experience (Einfachheit der Bedienung, Transparenz der Schnittstelle, Affordanz, Erlernbarkeit, Zufriedenheit, Präsenz, Simulationskrankheit, ...) User Experience (ease of use, transparency of the interface, affordance, learnability, satisfaction, presence, simulator sickness, ...)

Spezielle HerausforderungenSpecific Challenges

• Interaktion in nicht-natürlicher Umgebung kann zu extremen Reaktionen führen, da unter Umständen wenig vertraut. $\to$ Es besteht daher eine besondere Sorgfaltspflicht gegenüber den Testpersonen! Interaction in non-natural environments may lead to extreme reactions, as users might not be accustomed to them. $\to$ The operator of such a simulation has an obligation to care for the test persons!
• Inhalte können auf Grund der Perspektive unter Umständen nicht von Testperson und Untersuchungsleiter gleichzeitig wahrgenommen werden (insbesondere bei der Verwendung von HMDs)Content may not be perceived at the same time or in a similar way by both test person and experimenter, e.g. due to the perspective projection (in particular when HMDs are used).
• Komplexe Interaktionen generell schwer zu beurteilen, da viele Pfade zum Ziel existieren Complex interactions are difficult to evaluate, as often many ways can lead to the same goal.
• Vermittlung von Präsenz steht im Gegensatz zum Untersuchungscharakter (beobachtet fühlen, Interventionen) The goal of creating a feeling of presence might interfere with the presence of the experimentor (feeling of being observed)
• Forschungs-Hardware wird eingesetzt und keine Konsumer-Hardware, d.h. die Geräte sind noch nicht sehr robust Often research-hardware is used instead of consumer-hardware, and thus devices might not be too robust
• Andersartigkeit der Virtuellen Realität kann Effekt des Gesamtkonzepts überschatten, Staunen über die Möglichkeiten $\to$ Die Nutzer sollten Zeit haben, sich an die Simulation zu gewöhnen. The otherness of the virtual world may overshadow particular effects, e.g. astonishment. $\to$ allow participants to get used to the simulation!

Merkmale von GerätenProperties of input devices

• verfolgt oder nicht-verfolgt ("getrackt")tracked or non-tracked
  • d.h. solche mit eigener Position/Orientierung im Raum und solche ohne i.e. devices that have a monitored position and orientation in space and such without
  • man spricht auch von Tracking-Technologie such devices are called tracking devices
• einhändig, beidhändig oder anderweitig bedienbar handedness: single-handed, dual-handed or otherwise operated
• Anzahl der unterstützen Freiheitsgrade number of supported degrees of freedom
• Eignung für Einsatzgebiete, z.B. Desktop, HMD oder CAVE applicability to specific fields of application, e.g. desktop, HMD, CAVE

SelektionSelection

• Auch bekannt als Picking oder Zielauswahl (target acquisition) Also known as picking or target acquisition
• Auswahl eines Objektes in der Virtuellen Realität Selecting of an object in virtual reality
• Ziel abhängig vom KontextGoal depends on interaction context
  • Bekanntmachen einer Objektinstanz als Reaktion auf eine Anfrage vom System Making an object instance known to the system as a response to a system request
  • Anstoßen von internen Prozessen, die dann z.B. zu Reaktionen wie der Anzeige von zusätzlichen Informationen oder funktionalen Änderungen der Welt führen (Schalter, etc) Triggering internal processes, which may then lead to reactions, such as the display of additional information or functional changes in the world (buttons, etc. $\to$ Manipulation)
  • Interaktionsfokus setzen für weiterführende Manipulationsprozesse Setting the interaction focus for subsequent manipulations

Selektion: TeilaufgabenSelection: Subtasks

• Indikation des ObjektesIndication of an object
  • Voraktivierung des gewünschten Objektes für die Selektion durch geeignete Interaktion Preactivation of the desired object for the selection by means of a suitable interaction
• Bestätigung der SelektionTriggering the selection
  • In der Regel: Nutzer löst Selektion über dedizierte Aktion (z.B. Klick) aus. Alternative: kontinuierliche Indikation (Dwelling) bis ein Schwellwert erreicht ist Most commonly the user triggers the selection by means of a dedicated action (e.g. click). Alternatively: continuous indication (dwelling) until a threshold is reached
• Rückmeldung des SystemsFeedback of the system
  • Rückmeldung während der Indikation: Feedback welches Objekt selektiert werden würde, wenn der Benutzer in diesem Moment bestätigt Feedback during the indication: feedback which object has been indicated and would be selected if the user would trigger the selection
  • !!Wichtig!! Rückmeldung nach der Bestätigung: Dies kann auch durch eine ausgelöste Aktion (z.B. bei Schaltern) geschehen und muss nicht immer ein gesondertes Selektionsfeedback sein. Falls eine Aktion nicht direkt nach dem Auslösen wahrnehmbar startet, kann ein zusätzliches direktes Feedback-Signal hilfreich sein. !!Important!! Feedback after triggering the selection: this can also be achieved by means of the triggered action (e.g. in the case of a switch). In other cases, a specific feedback signal might be required. This might also be the case if the action does not start immediately.

Parameter der SelektionParameter of the selection

• ObjekteigenschaftenProperties of the object
  • Entfernung und Richtung des ZielobjektesDistance and direction of the target object
  • Größe des ZielobjektesSize of the target object
• KontexteigenschaftenProperties of the context
  • Dichte der Objekte in der lokalen Umgebung des ZielsDensity of the objects in the vicinity of the target
  • Anzahl der ZielobjekteNumber of target objects
  • Sichtbarkeit des ZielobjektesVisibility of the target object

Eigenschaften der EingabegeräteProperties of input devices

• FreiheitsgradeDegrees of freedom
• Grad der Integration der FreiheitsgradeDegree of integration of the degrees of freedom
  • Wieviele Freiheitsgrade können gleichzeitig manipuliert werden? How many degrees of freedom can be manipulated simultaneously?
  • Typischerweise gilt: je besser die Integration, desto einfacher zu bedienen Rule of thumb: the better the integration, the easier to use is the interaction method

Typische Probleme bei der SelektionTypical problems of the selection

• Zittern (durch Tracking-System oder natürliches Zittern) Jitter (based on the tracking system or natural jitter)
• Unterscheidung zwischen Vordergrund und Hintergrund Distinction between foreground and background
• mehrere Vordergrund-Objekte hintereinander multiple foreground objects behind each other
• kleines Vordergrund-Objekt vor großem Vordergrund-Objekt smaller foreground object in front of larger foreground object
• kein Objekt getroffen, aber nahe dran an mehreren no direct hit to a particular object, but close to many

Berühren / TouchingTouching

• InformationenInformation
  • isomorphe Bewegung eines Berührpunktesisomorphic control of a point of contact
  • Indikation und Auswahl durch "Berührung" des Zielobjektes (technisch: Kollision des Berührpunktes mit dem Objekt) Indiciation and triggering by "touching" the target object (technically most often a collision of the contact point with the object geometry)
• VorteileAdvantage
  • intuitivintuitive
  • hohe Präzisionhigh precision
• NachteileDisadvantages
  • Midas-Touch: versehentliches Berühren, z.B. während der Navigationaccidental selections, e.g. during other tasks, such as navigation
  • nur im Nahbereich in Reichweite der Arme einsetzbarcan only be used in the closer vicinity of the user

Zeigen / PointingPointing

• InformationenInformation
  • Auswahl von Objekten jenseits der ReichweiteSelection of objects beyond arms legnth
  • erfordert Akt der Indikation über eine Positions- und Richtungsangabe requires an act of indication by providing a position and an orientation
  • erfordert eine Auswahl, z.B. über Schalter oder Sprachbefehl requires a dedicated triggering action, e.g. by pressing a button or uttering a speech command
  • Vielzahl von Verfahren bereits entwickeltMany different approaches for pointing have been developed
• Unterscheidungsmerkmale der VerfahrenDistinctive Features
  • Art der RichtungsangabeMeans of providing the orientation
  • Form des Auswahlvolumens (genereller als ein Zeigestrahl)Shape of the selection volume (more general than a pointing ray)
• VorteileAdvantages
  • höhere Reichweite als berührungsbasierte Verfahren longer interaction range than touch-based approaches
  • geringere notwendige Bewegung less movement required than with touch-based approaches
• NachteileDisadvantages
  • Operationsraum nur kreisförmig um den Nutzer Area of operation is circular around the user
  • Bei größeren Distanzen genauere visuelle Kontrolle notwendig (evtl. durch Feedback unterstützen) When selecting at larger distances an increased visual control is required (visual feedback could support that)
  • Spätere Translation erst einmal nur kreisförmig um den Nutzer und Rotation nur um zwei Achsen Later translation without further methods only possible in a circle around the user, rotation only possible around two axes

Zweihändiges Zeigen / Two-handed Pointing

• InformationenInformation
  • Variante des einhändigen ZeigensVariant of the single handed pointing
  • erste Hand gibt den Ursprung anfirst hand sets the origin
  • zweite Hand bestimmt durch relative Position zur ersten Hand die Richtungrelativ position of the second hand defines the orientation
• Definition: $\vec{p}(d) = \vec{p_{pos1}} + d (\vec{p_{pos2}} - \vec{p_{pos1}})$
• VorteileAdvantages
  • Distanz der Hände kann zur Festlegung der Entfernung verwendet werden (aktives Ende des Zeigestrahls) Distance of the hands can be used to determine the distance (active end of the pointing ray)
  • Einbezug der Orientierung der Hände kann zur Krümmung des Strahls verwendet werden, um Hindernisse zu umgehen If the individual orientation of the hand is taken into account, it can be used to bend the ray around obstacles

Flashlight

• InformationenInformation
  • Statt eines Strahls wird ein Kegel als Auswahlvolumen eingesetzt Instead of a ray a cone is used as the selection volume
  • Analogie: Taschenlampe / Analogy: Flashlight
• VorteileAdvantages
  • Höhere Toleranz bei der Indikation der Zielobjekte Tolerance increases with distance to the target during indication
• NachteileDisadvantage
  • Mit zunehmender Distanz steigt die Schwierigkeit Objekte in dichten Umgebungen auszuwählen With increasing distance it is more difficult to select objects in dense environments
  • Dann: bei mehreren Objekten das wählen, was näher an der Achse des Kegels liegt (Winkelmaß), bei gleichem Abstand zur Achse dasjenige wählen, was näher zum Zeigenden liegt As a heuristic: if there are multiple objects, chose the one closer to the axis of the cone (angular measure) or the one closer to the user

Aperture

• InformationenInformation
  • Variante des Flashlight-VerfahrensVariant of flashlight
  • ermöglicht zusätzlich noch die dynamische Veränderung des Öffnungswinkels (aperture) in addition to flashlight it allows to dynamically adjust the opening angle (aperture)
  • weiterhin wird noch eine Greiforientierung am Ende des Zeigestrahls modelliert: über die Ausrichtung zweier kleiner Blöcke (stilisierte Hand) kann zwischen verschiedenen Objekten als Ziel an Hand der Hauptachsen unterschieden werden in addition to that the orientation of grasping at the end of the volume is modelled: by changing the orientation of two small block (stylized hands) the user can disambiguate between different objects according their main axes
• VorteileAdvantages
  • Besserer Umgang mit dichten AuswahlbereichenBetter suited for dense contexts
  • Leichtere Unterscheidung zwischen sehr nahe gelegenen Objekten mit unterschiedlicher Hauptorientierung Better suited for closer objects with different axis orientation

Virtuelle HandVirtual Hand

• InformationenInformation
  • Darstellung einer virtuellen Hand an der exakten Position der realen Hand Visualization of a virtual hand at the exact position of the real hand
  • isomorphe Bewegungisomorphic movement
• VorteileAdvantages
  • intuitivintuitive
• NachteileDisadvantage
  • eingeschränkt auf Interaktion im Nahbereich (Reichweite) restricted to interactions with proximal objects

Typische NavigationsaufgabenTypical Navigation Tasks

• Exploration
  • freies, ungerichtetes Erkundenfree, undirected investigation
  • wechselnde Aufmerksamkeitopen attention
  • ausgeglichenes Interessebalanced interests
• SucheSearch
  • zielgerichtetes Interessedirected interests
  • selektive Aufmerksamkeitselective attention
• ManövrierenManeuvering
  • lokale Positions- und Perspektivenänderungenlocal position and perspective changes

Parameter der NavigationParameters of Navigation

• Distanzen (z.B. zum Ziel)Distances (e.g. to the target)
• GeschwindigkeitSpeed
• GenauigkeitPrecision
• benötigte Freiheitsgrade (DoF)Required degrees of freedom
• Sichtbarkeit des ZielsVisibility of the target
• aktive oder passive BewegungActive or passive movement
• physische oder virtuelle BewegungPhysical or virtual movement
• Ego- oder exozentrische PerspektiveEgo or exocentric perspective

Psychologische FaktorenPsychological Factors

Die folgenden psychologischen Faktoren interagieren mit der Darstellung und der Interaktionsform.The following psychological factors interact with the presentation and the interaction metaphor.

• Landmarken-Wissenknowledge of landmarks
  • charakteristische visuelle Merkmale der Umweltcharacteristic visual features of the environment
• Prozedurales Wissenprocedural knowledge
  • Abläufe von Aktionen (erst Kreuzung links, dann zweimal rechts, ...)Sequence of actions (at the first intersection turn left, then twice right, ...)
• Überblickswissensurvey knowledge
  • topologisches Wissen (z.B. Karte)topological knowledge (e.g. maps)

Eine für die Navigation gestaltete Virtuelle Welt unterstützt die Nutzer bei der Navigation, in dem sie z.B. Angebote an Landmarken bietet. Eine schlechte Interaktion auf der anderen Seite kann z.B. den Aufbau von mentalen Karten oder die Wahrnehmung von Landmarken behindern.A virtual world that has been designed for navigation supports the user in navigating, e.g., by offering landmarks. An ill-designed interaction, in contrast, might hinder the user in creating mental maps or perceiving landmarks.

Walking-VerfahrenMethods to support walking

• isomorphe Bewegung (reale Bewegung $\to$ virtuelle Bewegung)isomorphic movement (real movement $\to$ virtual movement)
• begrenzt durch physikalischen Raumlimited by physical space
• begrenzt durch Technikreichweite (Kabel)limited by technology constraints (wires)

ZielbestimmungChoosing the target

• Anwender wählt Ziel ausUser chooses the target
• System ermittelt Weg zum Ziel und bewegt den Anwender dorthinSystem determines a path to the target and moves the user along this path to the target

Manipulation - Eigene DefinitionMy own definition

Manipulation ist eine Handlung, die dazu führt, dass sich während oder nach der Manipulation der Zustand von Objekten in Relation zur Umwelt ändert.

Manipulation is any interaction that changes the states of objects in the virtual world.

Definition nach Bowman und KollegenDefinition according to Bowman et al. (2005)

Als Manipulation bezeichnet man die Handhabung räumlich steifer Objekte, d.h. ohne Verformungen.

Manipulation is any kind of interaction of spatially rigid objects, i.e. without deformation.

BemerkungenComments

• Die Effektivität einer Manipulationsinteraktionsform hängt von der Manipulationsaufgabe ab.The efficiency of a manipulation interaction metaphor depends on the task
  • Wie bei einem Werkzeug!This is similar to tools!
  • Daher Achtung: hat man erst einmal einen Hammer, könnten alle Sachen plötzlich wie Nägel aussehen...Attention: once you have created a nice hammer, everything will look like nails.
• Für viele Manipulationsaufgaben wurden daher spezialisierte reale Interaktionsgeräte geschaffen.Consequently, for many manipulation tasks special interaction devices have been created.

Manipulation: Kanonisch oder AnwendungsspezifischCanonical or application specific?

• Kanonische ManipulationsaufgabenCanonical manipulation tasks
  
  Idee: alle Manipulationsaufgaben lassen sich auf einen Kern an Basismanipulationsaufgaben zurückführenIdea: all manipulation tasks can be reduced to a core of basic manipulation tasks
  • PositionierungPositioning
  • Rotation
  • Skalierung (kann in der Regel auf Kombination der anderen Basismanipulationen abgebildet werden)Scaling (usually mapped to a combination of the other basis manipulation tasks)

Parameter der ManipulationParameters of manipulation tasks

• PositionierungPositioning
  • Distanz und Richtung der AusgangspositionDistance and orientation at the source
  • Distanz und Richtung der ZielpositionDistance and orientation at the target
  • Abstand von Ausgangs- und ZielpositionDistance between source and target
  • Sichtbarkeit von Ausgangs- und ZielpositionVisibility of source and target
  • Sichtbarkeit auf dem TranslationswegVisibility on the path between source and target
  • Angestrebte Genauigkeit der Ausführung und der ZielerreichungRequired accuracy of the execution and the reaching of the target
• Rotation
  • Distanz zum ObjektDistance to the target
  • AusgangsorientierungSource orientation
  • ZielorientierungTarget orientation
  • Umfang der RotationAmount of rotation
  • Angestrebte Genauigkeit der Ausführung und der ZielerreichungRequired accuracy of the execution and the reaching of the target

Manipulation: Kanonisch oder AnwendungsspezifischCanonical or application specific?

• Anwendungsspezifische ManipulationsaufgabenApplication specific manipulation tasks
  • Problem: kanonischer Ansatz muss zwangsmäßig Abstrahieren und kann damit nicht die maximal mögliche Leistung bringencanonical approaches have to abstract away from particularities and thus cannot achieve the optimal performance
    • wäre z.B. bei Tele-Operationen in der medizinischen Anwendung sicher nicht gewolltthis would, e.g., not be wanted in tele-operations within medical applications

Eigenschaften der EingabegeräteProperties of the input devices

• wie bei der Selektionthe same as for the selection
  • FreiheitsgradeDegrees of freedom
  • Grad der Integration der FreiheitsgradeLevel of integration of the degrees of freedom
    • Wieviele Freiheitsgrade können gleichzeitig manipuliert werden?How many degrees of freedom can be manipulated at the same time?
    • Typischerweise gilt: je besser die Integration, desto einfacher zu bedienenRule of thumb: the better the integration, the easier it is to use the interaction metaphor
• isomorphe Messung der Änderungen (z.B. Bewegung) oder isometrische (z.B. Drücken eines Joysticks)isomorphic measurement of the changes (e.g. movement) or isometric (e.g. pressing a joystick)
  • isomorpher Ansatz besser für Postionsänderungen (Zhai und Milgram 1993)isomorphic approach better for changing positions (Zhai and Milgram 1993)
• Form des GerätesShape of the device
  • Beispiel: Rotation eines Objektes mit Datenhandschuh vs. 3D Ball (im Präzisionsgriff)Example: rotation of an object with a data glove vs. 3D Ball (using precision grip)

Typische Probleme bei der ManipulationTypical Problems of Manipulation Tasks

• Zittern (durch Tracking-System oder natürliches Zittern)Jittering (as a result of measurement errors or natural jittering)
• Umschalten zwischen aktiver Manipulation und passiver, insbesondere bei physikalischer SimulationSwitch between active manipulation and passive, in particular when physical simulations are used

Zeigen / PointingPointing

• Selektionsprozess: siehe letzte VeranstaltungBasically a selection task, but with a smooth transition to a manipulation
• Nach der Selektion ist das Zielobjekt an die Bewegung des Eingabegerätes gekoppeltAfter the selection is completed, the target object is linked to the movements of the input device
• Operationsraum nur kreisförmigInteraction space spherical around the user
• Spätere Translation erst einmal nur kreisförmig um den Nutzer und Rotation nur um eine AchseThe translation is only possible on a spherical trajectory around the user and a rotation only around one axis
• Lösungsansatz: Angelrute (Distanz änderbar durch weiteres Interaktionsgerät)Solution: pole (distance can be changed, e.g. by using a second interaction device)

Virtuelle HandVirtual Hand

• Selektionsprozess: siehe letzte VeranstaltungSelection: see last lecture
• Nach der Selektion ist das Zielobjekt an die Bewegung des Eingabegerätes gekoppeltAfter the selection is completed, the movement of the target object is linked to the input device
• Leichte Positionierung und RotationSimple changes of position and orientation

HOMER

• hand-centered object manipulation extending raycasting
• entwickelt von Bowman und Hodges 1997developed by Bowman and Hodges in 1997
• Selektion mittels RaycastingSelection by Raycasting
• Manipulation dann mit Virtueller Hand, die zum Selektionspunkt springtManipiulation by a virtual hand that is appearing at the point of selection
• Reichweite der Manipulation wird durch lineare Skalierung vergrößertRange of this manipulation can be increased by linear scaling
  • linearer Faktor wird zum Zeitpunkt der Selektion als Quotient aus Abstand zum Objekt und Abstand vom Eingabegerät zum Benutzer bestimmtlinear factor is determined at the time of selection as quotient of the distance to the object and the distance of the input device from the user
  • Problem: durch die Zustandsabhängigkeit des Skalierungsfaktors ist diese Operation nicht invertierbarProblem: as the scaling factor depends on the state, this operation cannot be inverted

Scaled-World Grab

• entwickelt von Mine et al. 1997developed by Mine et al. 1997
• Selektion mittels Image Plane (andere aber auch möglich)Selection using Image Plane (but other methods are also possible)
• Dann Skalierung der Welt, so dass das selektiertes Objekt nun am Finger anliegtAfter that: scaling of the world, so that the selected object is at the tip of the finger
• Manipulation dann mit normaler Virtueller Hand geschehenManipulation then using Virtual Hand
• Interessant: solange das Zentrum der Skalierung zwischen den beiden Augen des Betrachters liegt, stellt dieser die Skalierung häufig nicht fest, da sich die Welt visuell nicht verändert.Interesting aspect: as long as the center used for scaling lies between the eyes of the observer, she will not notice any visual difference.
• Problematisch: auch hier können Objekte aus dem Nahbereich nur schwer weiter weg positioniert werden.Problem: objects in proximal space cannot easily be positioned further away

Inhalte dieser VeranstaltungTopic of this lecture

• BasisinteraktionenBasic Interactions
  • Navigation
  • SelektionSelection
  • Manipulation
• Interaktionsfähigkeit bewertenEvaluating interaction capabilities