Räumliche AuflösungSpatial resolution

• Empfindlich für elektromagnetische Strahlung ($\lambda = 400\,nm ... 760\,nm$)Sensitive for elektromagnetic radiation ($\lambda = 400\,nm ... 760\,nm$)
• Sichtfeld: $170^\circ$ horizontal und $110^\circ$ vertikalField of view: $170^\circ$ horizontally and $110^\circ$ vertically
• hohe Sehschärfe in einem Bereich von etwa $5^\circ$High visual acuity in an area of about $5^\circ$
• Fovea Centralis / Zentrum des Gelben Flecks: Region des schärfsten Sehens, viele Zapfen (ca. 1,5mm Durchmesser, Quelle Wikipedia)Fovea Centralis / Center of the yellow spot: area for high visual acuity, many rod cells (ca. 1.5mm diameter, source Wikipedia)
• Foveola: ca. 0,33mm Durchmesser (Quelle: Wikipedia, bzw. ca. 0,1mm Durchmesser oder $1^\circ$ des Field of Views, Quelle Vince 1995), Zentrum der SehachseFoveola: ca. 0.33mm diameter (source: Wikipedia, respectively ca. 0.1mm diameter or $1^\circ$ of the field of view, source Vince 1995), Origin of the line of sight
• Kleinster wahrnehmbarer Abstand: 0,4 Bogenminuten (0,0064 Grad), Bereich von 0,4 bis 1 Bogenminute im DurchschnittSmallest noticable distance: 0.4 arc minutes (0.0064 degrees), range from 0.4 to 1 arc minutes on average

Zeitliche AuflösungTemporal resolution

• Das Auge benötigt ca. 25ms um das optische Licht in elektrische Signale zu verwandeln.It takes the eye about 25ms to convert optical light into electric signals.
• Das zeitliche Auflösungsvermögen beträgt ca. 60 Hz.The temporal resolution is about 60 Hz.
• Die Bewegungsfähigkeit beträgt $50^\circ$ links und rechts, bis zu $60^\circ$ nach unten und etwa $45^\circ$ nach oben.The degrees of freedom are $50^\circ$ to the left and to the right, about $60^\circ$ downwards and about $45^\circ$ upwards.
• Das Auge ist ständig minimal in Bewegung, ca. 2-3 Mikrosakkaden pro Sekunde zur Korrektur und um einer Lokaladaption vorzubeugen.The eye is permanently moving, about 2-3 micro saccades per second for correction and to prevent a local adaption of the eye.

AkkomodationAccomodation

• Insgesamt erzielt das menschliche Auge ungefähr 60 Dioptrien ($1 dpt = 1 m{-1}$), d.h. 17mm Abstand einer virtuellen Linse vor der Retina.Alltogether the eye has about 60 diopters ($1 dpt = 1 m{-1}$), i.e. 17mm distance of a virtual lens in front of the retina.
• Der Augapfel insgesamt hat einen Durchmesser von ca. 24mmThe eyeball has a diameter of about 24mm.
• Linse selbst erzielt 20 dpt und kann um insgesamt 14 dpt durch Anspannung oder Entspannung verändert werden = Akkomodation (19 - 33 dpt).The lens itself achieves about 20 dpt and is able to modulate additional 14 dpt by contraction or relaxation = Accomodation (19 - 33 dpt).
• So können auch entfernte und sehr nahe Objekte scharf auf der Netzhaut abgebildet werden.With this mechanism, distant as well as very close objects can be projected sharply on the retina.
• Die Linse oszilliert mit 2 Hz, so dass ständig zwischen scharf und unscharf gewechselt wird.The lense oscillates with 2 Hz, permanently switching between sharp and blurred projection.

AntwortenAnswers

• Die zeitliche Auflösung von 60 Hz ist wichtig für die BildgenerierungThe temporal resolution of 60 Hz is important for the generation of new images.
• Das Sichtfeld ($170^\circ$ horizontal und $110^\circ$ vertikal) ist wichtig für die Gestaltung der Projektionseinheit.The field of view ($170^\circ$ horizontally and $110^\circ$ vertically) is important for the design of visual displays.
• Die Sehschärfe, da mit deren Hilfe die maximale Pixelbreite berechnet werden kann (so dass die Pixel dann nicht mehr identifiziert werden können).The visual acuity is important, as it can be used to determine how small the pixels have to be to prevent the human from noticing them.
• Akkomodation: Sie steht im Bezug zum Abstand der betrachteten Objekte, ähnlich wie die Konvergenz (später mehr). Die Akkomodation kann aber derzeit technisch nicht so leicht getäuscht werden.Accomodation: is related to the distance of the observed objects, similar to vergence (later more). At the moment it is technically demanding to deceive accomodation.

Monokulare Faktoren der TiefenwahrnehmungMonocular factors of depth perception

• Verdeckung - Das vordere Objekt verdeckt das hintereOcclusion - objects in front occlude parts of objects in the back
• Relative Größe/Höhe - Das größere von zwei Objekten ist näherRelative height - the larger of two similar objects is typically closer
• Erwartete GrößeExpected size
• Atmosphärische PerspektiveAtmospheric perspective
• PerspektivePerspective
• BewegungsparallaxeMotion parallaxis
• TexturgradientTexture gradient
• AkkomodationAccomodation

Binokulare Faktoren der TiefenwahrnehmungBinocular factors of depth perception

• Vergenzbewegung der AugenVergence movements of the eyes
• Binokulare DisparitätBinocular disparity
• Stereopsis / Stereoskopische SichtStereopsis

Atmosphärische PerspektiveAtmospheric Perspective

PerspektivePerspective

Projektionen von 3D $\to$ 2DProjecting from 3D $\to$ 2D

Projektionen von 3D $\to$ 2DProjecting from 3D $\to$ 2D

AkkomodationAccomodation

• Die Linse kann ihre Brechkraft zwischen 19 und 33 dpt variieren. Insgesamt hat das Auge etwa 60 dpt.The lens can vary its refractive power between 19 and 33 dpt. Alltogether the eye has about 60 dpt.
• Damit können unterschiedlich weit entfernte Ziele scharf gestellt werden.This way targets of different distances can be perceived with high acuity.
• Die Entfernung eines scharf eingestellten Punktes korreliert dann negativ mit der eingestellten Brechkraft der Linse.The distance of a focused point correlates then negatively with the adjusted refractive power of the lens.
  • Je kleiner die Distanz zu einem Objekt ist, desto größer die benötigte BrechkraftThe smaller the distance to an object, the higher the required refractive power
• Damit könnten die Informationen über die Zustände der Muskeln, die für die Akkomodation zuständig sind, als nicht-visuelles Tiefenkriterium verwendet werden.Information about the contraction state of the muscles can thus be used as non-visual criteria for estimating the depth of an object.

TiefenwahrnehmungDepth Perception

• Monokulare Faktoren der TiefenwahrnehmungMonocular Factors of Depth Perception
  • Verdeckung - Das vordere Objekt verdeckt das hintereOcclusion - objects in front occlude parts of objects in the back
  • Relative Größe/Höhe - Das größere von zwei Objekten ist näherRelative height - the larger of two similar objects is typically closer
  • Erwartete GrößeExpected size
  • Atmosphärische PerspektiveAtmospheric perspective
  • PerspektivePerspective
  • BewegungsparallaxeMotion parallaxis
  • TexturgradientTexture gradient
  • AkkomodationAccomodation
• Binokulare TiefenkriterienBinocular Factors of Depth Perception
  • Vergenzbewegung der AugenVergence movements of the eyes
  • Binokulare DisparitätBinocular disparity
  • Stereopsis / Stereoskopische SichtStereopsis

VergenzbewegungVergence movements

• Wie bei der Akkomodation könnten Informationen über die Muskelzustände als nicht-visuelles Tiefenkriterium verwendet werden.Similar to vergence, information about the muscle states of vergence movements can be used as non-visual depth criteria.
• Es besteht ein Zusammenhang zwischen Akkomodation und Vergenz, da nachgewiesen wurde, dass reine Änderungen monokularer Akkomodation auch Vergenzbewegungen nach sich ziehen.There is a coupling between accomodation and vergence. It has been shown, that pure changes in monocular accomodation result in vergence movements.

Stereopsis und Binokulare DisparitätStereopsis and binocular disparity

• Stereopsis: Durch zwei Augen vermittelter räumlicher EindruckImpression of depth caused by the combination of information provided by two eyes.
• Das Gehirn koordiniert die Augenbewegungen mit dem Ziel, die Bilder auf der Netzhaut zu fusionieren.The brain coordinates eye movements to fuse the images on the retina.
• Tiefenwirkung entsteht durch die Unterschiede bzw. die Verschiebung der Bilder auf der Netzhaut: Querdisparität bzw. Binokulare DisparitätThe perception of depth is based on differences or translations of the pictures on the retina: lateral dispartiy and binocular disparity
• Minimaler Abstand auf der Netzhaut liegt bei etwa 0,002 mm $\to$ etwa eine Objektentfernung von 1 kmThe minimum distance on the retina is about 0.002 mm $\to$ about a distance of 1 km
• Problem bei der technischen Darstellung: die Auflösung der Systeme ist geringer, daher z.B. bei 75 dpi nur bis zu einer Distanz von etwa 250 m unterschiedliche Bilder stereoskopisch darstellbarProblem of technical visualizations: the resolution of the projection is much lower, thus at 75 dpi only distances up to 250m can be differentiated based on stereoscopy
• Horopter: Fläche an Punkten, die bei der Fixation eines bestimmten Punktes noch auf korrespondierende Stellen der Netzhaut abgebildet werden.surface of points that are projected on corresponding areas on the retina when fixating a specific point.
• PanumraumPanum's Space: Volumen, das sich vor und hinter dem Horopter erstreckt, bei dem noch keine Doppelbilder entstehen, auch wenn die Stellen auf der Netzhaut nicht mehr korrespondieren. Dies ist der Bereich in dem Stereopsis funktioniert.volume extending in front of and behind of the horopter, in which no double vision occurs, even when the areas on the retina no longer correspond. This is the area in which stereopsis works.
• Panum-ArealPanum's Fusional Areal: Projektion des Panumraums auf der Netzhautprojection of the panum space on the retina

Techniken zur Präsentation von 3D Stereo BildernTechniques for the Presentation of 3D Stereo Images

• Verfahren zur Darstellung von 3D Stereo BildernMethods for presenting 3D stereo images
• Datenformate zur Darstellung von 3D Stereo BildernRepresentation formats for 3D stereo images
• Geräte zur Darstellung von 3D Stereo BildernDevices for the presentation of 3D stereo images

GütekriterienQuality Criteria

Kriterium: GhostingCriterion: Ghosting

• Bei vielen Verfahren werden zwei Bilder am gleichen Ort gezeigt, die durch Filter (aktiv, passiv) für die einzelnen Augen getrennt werden.Many approaches present two pictures at the same physical space, which are later separated for each eye using active or passive technologies.
• Die Trennung ist bei manchen Techniken jedoch nicht vollständig zu erreichen, daher sieht jedes Auge Teile des für das andere Auge gedachten Bildes. So ähnlich, wie wenn man gar keine 3D Brille aufsetzt.The separation achieved with some technologies, however, is not perfect and each eye still perceives a small amount of the image intended for the other eye. Similar to watching a 3D movie without the glasses.
• Da die Bilder durch die unterschiedlichen Perspektiven leicht versetzt sind, können so Geisterbilder wahrgenommen werden.As both images show a slightly shifted perspective, ghost images can be perceived.
• Die Stärke des Ghostings eines Verfahrens ist daher ein wichtiges Gütekriterium.The strength of the ghosting of a stereo separation technique is thus an important quality criterion.

Video zum Anaglyph-VerfahrenVideo demonstrating Anaglyph Method

Einfache FormateBasic formats

• Getrennte Kanäle (z.B. unterschiedliche Grafikkarten/-ausgänge) mit jeweils normalem BildSeparated channels (e.g. different connectors from a graphics card ), each transmitting standard full 2D image

Gemultiplexte FormateMultiplexed formats

• Frame Packaging (Side-by-Side, Top-and-Bottom) bei halber (kompatibel zu vollem 2D Format) oder voller Auflösung Frame packaging (side-by-side, top-and-bottom) with half (compatible to standard 2D format) or full resolution (twice the size of standard 2D format)
• Frame SequentialFrame sequential

3D Fernseher/Bildschirme3D televisions or computer monitors

• Verfahren: Polarisation, Shutter, Auto-StereoskopieMethods: polarization, shutter, auto-stereoscopy
• Derzeit Konkurrenz zwischen Shutter und PolarisationCurrently there is a competition between shutter- and polarisation-based techniques.
• Langfristig hat Shutter keine ChanceIn the long-run, shutter technology will not have a chance (personal opinion).
• Erste TV-Geräte mit Auto-Stereoskopie schon vorgestellt: Toshiba ZL2 Serie (Toshiba 55ZL2G) mit Quad-Full HD-Panels (3.840 x 2.160) und automatischer Linsenanpassung über KameraFirst 3D television devices with auto-stereoscopy have been presented: Toshiba ZL2 series (Toshiba 55ZL2G) with quad-full HD-panels (3.840 x 2.160) and automatic lense adaptation using camera-based tracking of the viewer's eyes

HTC Vive Teardown

HTC Vive Teardown (ifixit.com)

HTC Vive Teardown IFixit

Basisfakten der auditiven WahrnehmungBasics of acoustic perception

• Wichtigster Kanal für die KommunikationMost important channel for our communication
• Neben der visuellen Wahrnehmung die Hauptinformationsquelle des MenschenBesides visual perception our main information source
• Nimmt Schall wahrPerceives sound
  • Druckunterschiede, modelliert als WellenDifferences in pressure, modelled as waves
  • Hörbare Frequenzen der Wellen liegen zwischen 20 Hz und 20.000 HzAudible frequences in the range between 20 Hz and 20,000 Hz
  • Sprache liegt im Bereich 50 Hz bis 10.000 HzVoice lays in the range between 50 Hz and 10,000 Hz
  • Geschwindigkeit in der Luft liegt bei $340 ms^{-1}$Speed of sound in air is about $340 ms^{-1}$

Leicht zu modellierende EigenschaftenProperties that are easy to model

• Die wahrgenommene Lautstärke einer Geräuschquelle nimmt bei Verdopplung der Entfernung um 6dB ab.The perceived loudness of a sound source is reduced by 6dB when doubling the distance.
• Der Klang einer Geräuschquelle ist umso klarer, je näher sie einem ist.Sound is the clearer the closer the sound source is to the listener.

HerausforderungenChallenges

• Gehör sehr sensibel für Unterbrechungen und SynchronisationsproblemeHearing is sensitive to breaks and synchronisation problems
• Richtung, Reflektionen, Volumen von Schallquellen sind mit hohen Update-Raten zu berechnen $\to$ sehr hohe Anforderungen für Echtzeit-BerechnungDirection, reflections, and volumes of sound sources have to be computed at high frequencies $\to$ high demands for real-time computations
• Weitere Effekte: Doppler-Effekt, Druckunterschiede (z.B. Weltraum ?)Other effects: Doppler-effect, differences in air-pressure (e.g. space?)
• Gleichzeitige Einbringung von Sounderzeugern (Lautsprechern) parallel zur Installation von visuellen Displays schwierig (z.B. Geräuschdurchlässige Leinwände)Technically it may be difficult to add physical sound sources (speakers) to the installation of the visual displays (e.g. permeable canvas for projection)
• Unüberhörbare Geräusche aus der realen Welt (typischerweise Lüfter von Projektoren oder Klimaanlagen)Unmistakeable sounds from the real world (typically fans of projectors or air conditioning)

Technische KniffeTechnical Tricks

• Sound-Effekte: Nachhall (Reverb) und DelaySound effects: echo/reverberation and delay
• NachhallReverb
  • Schallreflexionen in einem begrenzenten RaumAcoustic reflections in a delimited room
  • z.B. bei Musik erwünscht, wird bei elektronischer Musik künstlich eingespielte.g. is wanted for music and is artificially added to electronic music
  • Richtwerte: Kammermusik (1,2s bis 1,6s), Orchestermusik (1,7s bis 2,2s)Recommended level: chamber music (1,2s to 1,6s), ochestral music (1,7s to 2,2s)
  • Parameter bestimmen den Klang und beschreiben die RäumlichkeitParameters determine the sound and describe the spatial environment
  • Heute kann die Raumimpulsantwort eines Raumes bestimmt und durch Faltung auf das Signal abgebildet werden. Ein akustischer "Fingerabdruck" des Raumes.Today the spatial impulse response of a room can be determined and by convolution be mapped onto the original sound signal. An acoustic fingerprint of a room.
• Delay
  • Zeitpunkt der ersten Reflektion des Nachhalls (Initial Time Delay Gap)Timestamp of the first reflection of the reverb (Initial Time Delay Gap)
  • Kann zur Modellierung der Position der Schallquelle verwendet werdenCan be used to model the position of a sound source

3D Audio Standards3D Audio Standards

• Primäre Wettbewerber Dolby und DTS Primary competitors are Dolby and DTS
• Lange Zeit wurde Audio für spezielle Kanäle (== Lautsprecher) vorgemischt, 3D Informationen sind nur noch im akustischen Signal kodiert A long time audio was mixed to dedicated channels (== speakers), 3D information is only encoded in the acoustic signal
• Dolby Atmos (2012) / DTS:X (2016): einzelne Audio-Quellen (128) können im Raum bewegt werden, 3D Informationen werden als Meta-Informationen zu Audioquellen annotiert. Dolby Atmos (2012) / DTS:X (2016): individual audio sources (128) can be moved in 3D space, 3D information is annotated to audio sources as meta-information.

Haptische und Taktile WahrnehmungHaptic and Tactile Perception

• Wahrnehmung von Signalen über die HautPerception of signals by our skin
• Umfasst mehrere Typen von SignalenIncludes several types of signals
  • Oberflächensensibilität: Mechanische Signale (Druck, Vibrationen, Berührungen, Mechanorezeptoren)Superficial sensibility: mechanical signals (pressure, vibrations, touch, mechanoreceptors)
  • Tiefensensibilität: kinäasthetische Wahrnehmung (Kraftsinn) / Propriozeption (Lagesinn)Deep sensibility (proprioception): kinesthetic perception (sense of strength) / acrognosis (sense of position)
  • Thermische Signale (heiß, kalt, Thermorezeptoren)Thermic signals (hot, cold, thermo receptors)
  • Schmerzerzeugende Signale (Nozizeptoren)Pain-inducing signals (nociceptors)
• Schmerz und Temperatur können schnell aber nur räumlich diffus wahrgenommen werdenPain and heat can be detected very fast but only spatially diffused
• Mechanische Signale können langsamer, dafür aber zum Teil sehr genau räumlich wahrgenommen werdenMechanical signals are detected more slowly, but partly with very high spatial accuracy
• Verteilung der entsprechenden Rezeptoren unterschiedlichDistribution of the corresponding receptors is different
  • Fingerkuppen sind dicht besetzt mit RezeptorenFingercups are densely packed with receptors
  • Rücken ist nur spärlich besetztThe back is only sparsely covered

Haptische WahrnehmungHaptic Perception

• Taktile Wahrnehmung ist die passive Wahrnehmung von mechanischen SignalenTactile perception is the passiv perception of mechanical signals
• Haptische Wahrnehmung ist das aktive Erfühlen von StrukturenHaptic perception is the active exploration of structures
  • Zusätzlich zur taktilen Wahrnehmung wird dabei noch die Propriozeption benötigtBesides the tactile perception the proprioception is also required
  • Propriozeption: Wahrnehmung innerer Signale wie Lage im Raum, Zustand der Muskeln und der EigenbewegungProprioception: perception of inner signals, such as position in space, state of the muscles and proper motion
• Mögliche Formen der aktiven ErfühlungPossible ways of active exploration
  • Überstreichen der OberflächeStroking the surface
  • DruckausübungExerting pressure
  • UmschließenEnclosing/Grapsing
  • Nachfahren von StrukturenTracing structures

Inhalte dieser VeranstaltungTopics covered in this lecture

• TheorieTheory
  • Visuelle Wahrnehmung des MenschenVisual perception in humans
  • Akustische Wahrnehmung des MenschenAcoustic perception in humans
  • Haptische Wahrnehmung des MenschenHaptic perception in humans
• PraxisPractical aspects
  • Techniken zur Präsentation von 3D Stereo BildernTechnologies for the presentation of 3D stereo images
  • Techniken zur Präsentation von 3D AudioTechnologies for the presentation of 3D audio
  • Techniken zur Präsentation von Haptischen StimuliTechnologies for the presentation of haptic stimuli