Deel 2: Interfaces
In dit deel zal je leren hoe mensen communiceren met computers; Welke interactieve mogelijkheden bestaan er? Hoe bouw je een gebruiksvriendelijke interface? Wat zijn programmeertalen en hoe werken ze?
Mensen en computers communiceren met elkaar. Als je op een computer werkt, dan ben je voortdurend in wisselwerking (interactie) met het digitaal systeem. Mens en machine, in dit geval alle denkbare vormen van digitale systemen, kunnen niet zonder problemen met elkaar communiceren. Informatie die voor mensen heel begrijpelijk is, zoals het herkennen van andere mensen en objecten, is voor computers onbegrijpelijk. Een computer zet alle informatie om in enen en nullen, zonder echt te begrijpen waar de inhoud over gaat. Om de communicatie en interactie mogelijk te maken, voorziet een digitaal systeem in een interface. Een interface zorgt ervoor dat de informatie van het ene systeem (mens of computer) herkenbaar en begrijpelijk wordt voor het andere.
In dit deel bekijken we hoe een mens met een computer communiceert. Welke mogelijkheden tot interactiviteit bestaan er op dit moment en wat wordt misschien ooit mogelijk? Hoe ontwerp je een gebruiksvriendelijke en aantrekkelijke interface? Hoe vertellen mensen aan computers welke taken ze moeten verrichten?
2.1 Digitale systemen in de omgang: interfaces
2.1.1 Interactiviteit
Niet alle computers staan rechtstreeks in wisselwerking met de mens. Volgens het IPOS-model definiëren we een computer als een machine die inkomende signalen verwerkt volgens een reeks instructies en op één of andere manier output doorgeeft. Die output kan naar een mens gaan, maar evenzeer naar een andere computer of een databank. In dit deel bekijken we echter die computersystemen die in directe wisselwerking staan met een mens: een smartphone, een PC, een laptop, een tablet... De laag of schil waar mensen en computers in wisselwerking treden, noemen we een interface. Omdat de wisselwerking in twee richtingen gaan spreken we van een interactieve interface. Men spreekt in dit geval van human-machine interaction (HMI), man-machine interaction (MMI) of computer-human interaction (CHI).
De interface richt zich in grote lijnen op visuele output op een display. Via grafische bedieningselementen zoals knoppen, pictogrammen, schuifbalken enz. is interactieve omgang met de computer mogelijk. We spreken daarom van een Graphical User Interface of GUI. (Bron: MERCKX, K.,)
2.1.2 Soorten interactieve interfaces
Command Line Interface (CLI)
Via een command line interface geeft de gebruiker opdrachten aan het computersysteem door het invoeren van commando's. Nadeel is dat de gebruiker de benodigde commando's moet onthouden. Om dit probleem te verhelpen voorzien veel CLI's ook in een helpfunctie met een overzicht van alle commando's. Die helpfunctie eveneens met een commando opgeroepen worden. In de meeste besturingssystemen is nog steeds een CLI verborgen. Onder Mac OS X heeft dit net zoals op tal van UNIX- en Linux-systemen de Terminal. Linuxnerds zweren bij het gebruik van de Console. Onder Windows kunnen gebruikers het opdrachtregelvenster openen, door velen nog steeds het DOS-venster genoemd (naar het oude besturingssysteem Ms DOS of Microsoft Disk Operating System).
De huidige CLI's zijn beschikbaar naast de GUI of grafische interface. Oorspronkelijk vormden ze echter de gebruikersinterface voor de meeste computersystemen. Gebruikers gaven via tekstcommando's de opdrachten in. Een CLI ondersteunt over het algemeen het gebruik van de muis niet, enkel invoer van en via het toetsenbord. De monitor toonde de invoer van de gebruiker en de uitvoer via tekstregels die onder elkaar werden weergegeven. De volledige ruimte van het scherm kan niet benut worden. De computermonitoren konden doorgaans slecht een beperkt aantal kleuren of slechts één kleur weergeven.
Text User Interface (TUI)
De volgende stap of verbetering bestond erin om het ganse scherm te benutten voor de weergave van de output en het gebruik van de muis of een ander pointing device mogelijk te maken. Primitieve vensters en knoppen werden ingezet. Zulke TUI's zijn nog steeds in gebruik voor het instellen van het basissysteem (BIOS) van computers en soms duiken ze ook nog op bij ietwat out-of-date kassasystemen. De diverse CLI-commando's werden verborgen achter “knoppen”. Een TUI kon aangestuurd worden met de muis, maar al even snel via “mnemonics”: in het tekstopschrift op de knop werd één letter onderstreept. Wanneer de gebruiker die indrukte op zijn toetsenbord werd de opdracht uitgevoerd. De eerste versies van de iPod (niet de iPad!) hadden een TUI-interface, net zoals heel wat GSM's.
Graphical User Interface (GUI) en WIMP
Een grafische gebruikersinterface of GUI verschilt van de voorgaande interfaces omdat het het scherm aanstuurt op pixelniveau via wat men omschrijft als de schermbuffer. Elke pixel kan hierdoor ingekleurd of aangestuurd worden. Dit vraagt echter veel meer rekenkracht van de processor en de grafische kaart. In onze tijd is de rekenkracht meer dan hoog genoeg om dit mogelijk te maken waardoor zelfs tablets en smartphones over een GUI beschikken.
De leercurve van een GUI is laag omdat het uitgaat van het ontwerpprincipe “herkenning boven herinnering”. De gebruiker hoeft geen commando's meer te 'kennen' of in te voeren. De meeste gebruikers maken geen onderscheid meer tussen de GUI en het achterliggende besturingssysteem. Wanneer men spreekt over MS Windows, Mac OS X, iOS... dan stelt men zich dat vooral visueel voor. In commerciële software zijn OS (besturingssysteem) en GUI inderdaad onlosmakelijk met elkaar verbonden. Onder Linux is dit niet zo. Afhankelijk van de eigen smaak of voorkeur, kan de Linuxgebruiker kiezen tussen diverse desktopomgevingen (desktopomgeving = GUI). De meest bekende GUI's voor Linux zijn Gnome en KDE. Rijzende sterren zijn ondermeer Unity (de desktop van de nieuwe Linux Ubuntu), Xfce, Cinnamon (GUI van Linux Mint). Linux GUI's zijn bijzonder configureerbaar waardoor je het echt op maat kan “versnijden”. Het is perfect bruikbaar om in te zetten als KIOSK-computer.
Een gebruiker bedient de GUI via vensters (Window), icoontjes (Icon), menu's (Menu) en bijvoorbeeld een muis en toetsenbord (Pointing Device). Daarom gebruikt men voor een GUI ook wel eens de naam WIMP. Door het gebruik van vensters is multitasking mogelijk. Je kan meerdere programma's simultaan gebruiken. Binnen een venster voorziet de software-ontwikkelaar een aantal visuele menu's en intuïtief te gebruiken bedieningselementen. Schermpictogrammen maken het mogelijk om een programma snel te starten. Heel wat besturingssystemen proberen het gebruik van pictogrammen op het virtuele bureaublad te beperken. Bij Mac OS X zijn de pictogrammen ondergebracht in de dock onderaan het scherm, maar toch houdt Apple nog meer vast aan het gebruik dan bijvoorbeeld Microsoft. In Apples iOS voor iPhone en iPad zijn schermpictogrammen de manier om het toestel te bedienen. Microsoft heeft schermpictogrammen vervangen door zijn nieuwe metro-interface waarbij ze zijn vervangen door grote aanklikbare vlakken. Toch merk je dat veel gebruikers verknocht zijn aan het gebruik van pictogrammen. Door het gebruik van menubalken en uitklapbare menu's is het oproepen van bepaalde functies en commando's heel makkelijk. In veel gevallen moet de gebruiker eerst het te bewerken onderdeel (een deel van een tekst, een stuk van een afbeelding, het ganse 'bestand'...) selecteren en vervolgens op een menuknop drukken. Met een muis of een andere “pointing device” zoals een tekentablet, een trackpad enz. kan de gebruik op schermpictogrammen of menuknoppen klikken of dubbelklikken, hij kan elementen selecteren of verslepen.
De WIMP-interface is niet bedacht door Apple of Microsoft, ook al lees je vaak het verhaal dat Microsoft de GUI is gaan “stelen” van Apple. vergeleek hun snelheid en nauwkeurigheid. Uit alle ‘kandidaten’, waaronder ook knie-, neus- en hoofdbesturingen, kwam de muis als grote overwinnaar uit de strijd. Hij bedacht ook de grafische gebruikersinterface met vensters, netwerksoftware, het knippen en plakken van tekst op een monitor, hypertekst (aanklikbare tekst) en teleconferencing. Hij vertrok vanuit het leerproces van kinderen zoals de oog-handcoördinatie en niet vanuit wat professionele computergebruikers in die tijd verwachtten. Op 8 december 1968 presenteerde hij zijn technieken in de allereerste teleconferencing ooit via het vooruitstrevende nls (oNLine System). In de vroege jaren zeventig stapten heel wat werknemers van sri over naar Xerox Parc, dat een paar jaar later startte met de ontwikkeling van een computer voor persoonlijk gebruik (pc). Het mag dan ook geen verbazing wekken dat veel ideeën van Douglas werden geïntegreerd. Het was de eerste computer met een grafische gebruikersinterface (gui) met een virtueel ‘bureaublad’ als schermmetafoor. Veel ideeën van deze eerste gui leefden en leven door in latere besturingssystemen zoals Microsoft Windows, linux kde en gnome, Mac os ... Het virtuele bureaublad had vensters, aanklikbare iconen, uitklapmenu’s voor terugkerende taken zoals het openen, verplaatsen of verwijderen van bestanden. In 1974 begon de ontwikkeling van het programma Gypsy een soort teksteditor die werkte volgens het ‘What you see is what you get’ principe (wysiwyg): wat je op het scherm zag, kun je ongewijzigd afdrukken op een ‘printer’. In 1981 kwam de Xerox Star op de markt, maar de prijs was te hoog om door te breken bij het grote publiek. Andere ontwikkelaars zoals Microsoft, Apple en Amiga (deze firma werd in 1984 opgekocht door het beroemde Commodore om een vervolg te breien aan hun Commodore64-succesverhaal) hadden op dat moment hun ogen al lang de kost gegeven. (Bron: MERCKX, K.,)
Natural User Interface (NUI): Speech, Touch and Gestures (STAG)
De manier waarop mensen een digitale interface bedienen is nog ver verwijderd van de wijze waarop mensen met elkaar communiceren: spraak, aanraking, lichaamstaal en gebaren, gevoelens herkennen... Nieuwe interfaces integreren zoals het aanraakschermen proberen die omgang herkenbaarder en natuurlijker te maken. Hierdoor bepekt het aansturen van commando's zich niet langer tot klikken en dubbelklikken, maar kan de computer ook andere “gebaren” herkennen. Apple integreerde een deel van die gebarenherkenning ook in de zogenaamde Magic Mouse en trackpad: het toestel herkent niet langer slechts één vinger, maar kan bijvoorbeeld een afbeelding roteren door met twee vingers een draaiende beweging te maken.
Het bouwen van spraakgestuurde interfaces (Voice User Interfaces of VUI) loopt inet van een leien dakje. Hoe dit komt, leer je in deel 3.
Op de consumentenmarkt raken NUI's steeds meer ingeburgerd, vooral dankzij spelcomputers. De Wii herkent de handbewegingen van de gebruikers/speler zo lang hij een pointing device (de Wiimote, een soort afstandsbediening) vasthoudt. De Kinect is een invoerapparaat voor motion sensing met ingebouwde microfoon en webcam van Microsoft voor gebruik bij de Xbox 360. Dankzij de Kinect wordt interactie mogelijk zonder game controllers. Samen met de Wiimote, tablets (iPad) en multitouch-smartphones behoort het tot de eerste generatie STAG (Speech, touch and Gestures)- toestellen. En de Kinect is al zeker zonder enige twijfel het eerste NUI (Natural User Interface)- apparaat voor de massa! Gebaren en gesproken commando's volstaan om instructies door te geven aan de (spel)computer. Sommigen noemen de Kinect ook het eerste voorbeeld van een Zero interface, omdat je niets in je “handen” hebt. De software werd ontwikkeld door Rare (een firma die eveneens in handen is van Microsoft) en de cameratechnologie door de Israëlische ontwikkelaars PrimeSense. De camera bouwt een 3D-beeld op van de omgeving aan de hand van infrarood laserprojecties. De 3D-scanner (Light Coding) gebruikt een soort image-based 3D-reconstructie. Het toestel beschikt over voice recognition, full-body 3D motion capture en gezichtsherkenning. Volgens Microsoft herkent het toestel simultaan tot 6 personen en kan het bewegingsanalyse uitvoeren op 2 actieve spelers. PrimeSense daarentegen beweert dat het aantal herkende personen enkel beperkt is door het aantal dat binnen de field-of-view van de camera valt.
De Leap Motion is een via USB aan te sluiten toestel dat gesture recognition naar de gewone computers (Linux, Windows, Mac OS X) brengt.
Tangible user interface (TUI)
De afkorting TUI kan staan voor Text User Interface zoals we kennen uit het oeroude DOS of de Terminal van Mac OS X, maar in deze context staat het voor Tangible User Interface. Bij een Tangible User Interface gebruik je echte voorwerpen als interface-elementen. Bij een TUI worden echte objecten “verhoogd” (augmented) met digitale functionaliteit! Zo kan je bijvoorbeeld een echte (fysieke) tastbare draaiknop op het scherm plaatsen in plaats van een digitale knop. Wanneer je aan die knop draait, herkent de computer de draaibeweging en voert een daaraan gekoppelde functie uit. Een TUI maakt interactie tussen fysieke objecten en computers mogelijk via markers en computer vision. De PlayStation Eye bestaat uit een digitale camera en gebruikt software en hardware voor computer vision en “gesture recognition”. Het toestel kan patronen, kleuren, markers en geluid herkennen.
Zooming/zoomable user interface (ZUI)
Jef Raskin, ontwikkelaar van de GUI voor het oorspronkelijke Mac OS-systeem, ontwierp THE (The Humane Environment), later omgedoopt tot Archy (RASKIN, J.,). Hij combineerde in die omgeving de kracht van een CLI en een GUI. Archy had geen "eindige" virtueel bureaublad (zoals we dat bij Windows en Mac OS X nog steeds terugvinden), maar een oneindige ZUI. Raskin doopte zijn zoomable interface Zoomworld. Zijn ideeën vonden hun weg naar de Canon Cat-computer en worden nu verder ontwikkeld door het Raskin Center for Humane Interfaces. Sinds zijn dood in 2005 probeert zijn team de focus te verleggen naar de integratie van de "Archy"-ideeën in andere software, zoals de Ubiquity-extensie voor Firefox.
De pogingen om een GUI te vervangen door een volledige ZUI, zijn tot nog toe niet echt succesvol te noemen (https://en.wikipedia.org/wiki/Zooming_user_interface#History).
Ook de combinatie van een ZUI met een 3D-ervaring zoals bij Sun's Looking Glass-GUI voor Solaris UNIX, leverde niet het verhoopte succes. In combinatie met een traditionele GUI raakte de ZUI wel ingeburgerd via de “zooming”-functionaliteit in Apple's iOS voor de iPhone en iPad. De zoomfunctionaliteit wordt door gebruikers als zinvol ervaren als men hierdoor bepaalde informatie in meer detail kan bekijken zoals bij Google Earth, Google Maps, het bekijken van producten in Ebay... of wanneer alle informatie niet in één keer op een “klassiek” bureaublad kan weergegeven worden zoals bij de online presentatietool Prezi.
De 3D-ZUI Looking Glass van Sun Microsystems
Augmented Reality
Het is niet zo eenvoudig om het begrip augmented reality duidelijk te omschrijven. In het Nederlands vertaalt men het vaak als 'toegevoegde realiteit', maar 'uitgebreide' of 'verhoogde werkelijkheid' dekt misschien beter de lading. In de rest van het boek zullen we de Engelstalige afkorting AR gebruiken. Bij AR worden directe of indirecte live beelden aangevuld met digitale door de computer gegenereerde informatie. Die informatie wordt als een gedeeltelijk transparante laag over de live-beelden heen gelegd. De term AR zou in 1990 voor het eerst gebruikt zijn door Thomas Caudell, een ontwikkelaar bij Boeing. Hij gebruikte de term voor een head mounted display (HMD) die de arbeiders die de bedrading in de vliegtuigen aanbrachten, moest helpen bij die ingewikkelde taak. De digitale beelden verrijken hun beeld van de werkelijkheid. De HMD zelf was geen uitvinding van Thomas Caudell, maar werd reeds in de jaren '60 van de vorige eeuw ontwikkeld door de computerwetenschappers Bob Sproull en Ivan Sutherland, voor de weergave van virtual reality-beelden. Tegenwoordig kennen we AR vooral van applicaties zoals Layar op de smartphones met iOS en Google Android. Die AR-apps nemen met de webcam een live beeld van de omgeving en voorzien dit van een extra laag informatie. Omdat de zoekopdracht niet meer door de gebruiker wordt ingegeven, maar automatisch door het toestel wordt opgevraagd en weergegeven, lijkt het alsof we hier met kunstmatige intelligentie of artificial intelligence (AI) te maken hebben. Vaak is de waarheid iets minder geavanceerd, maar je kan het gerust als een eerste stap zien in de richting van AI in de dagdagelijkse werkelijkheid. De invoer voor AR komt soms, maar lang niet altijd via user-input, maar tegenwoordig vaak via sensoren en chips. Een smartphone met AR-functionaliteit registreert via een GPS-chip de lokatie van de gebruiker en via een digitaal kompas zijn oriëntatie, vergelijkt de resultaten met de informatie in een databank en toont het eindresultaat aan de gebruiker. Bij indirecte AR zijn de gegevens vaak wel door "onzichtbare" personen ingegeven, daarom stellen gebruikers zich in dit geval minder vragen.
Wat is het verschil tussen Augmented Reality en Virtual Reality? Paul Milgram en Fumio Kishino definieerden in 1994 het "Milgram's Reality Virtuality Continuum". Ze onderscheiden in "mixed reality" vier stappen:
-
real environment (de echte omgeving)
-
augmented reality (AR)
-
augmented virtuality (AV)
-
virtual environment (volledig virtuele omgeving)
Bij "real environment" gaat het niet zo zeer over het waarnemen van de werkelijkheid, maar nog steeds over het mengen van echte met virtuele beelden. Een bekend voorbeeld zijn TUI's (Tangible User interfaces) of NUI's (natural user interfaces). Hierbij gebruik je echte voorwerpen (eventueel uitgerust met sensoren) of mensen voor de interactie met computers. Een aantal voorbeelden van TUI's vind je op http://www.guillaumeriviere.name/collection/tui.html.
Heel erg ingeburgerd zijn toestellen als de Wii en de Xbox Kinect zijn de KUI's (Kinetic User Interfaces) waarbij natuurlijke bewegingen van voorwerpen of mensen zorgen voor de interactie met computers.
Bij AR maakt men een onderscheid tussen Spatial AR, See-through AR en Projection Augmented Models (PA-models).
-
Bij Spatial AR worden door de computer gegenereerde informatie in de omgeving geprojecteerd. De gebruiker kan interactief met de projecties omgaan of de projectie/computer reageert op de gebruiker.
-
Bij See-through AR draagt de gebruiker een HMD, AR-contactlens of bril.
AV doet net het omgekeerde van AR. Het voegt echte beelden toe aan een virtuele omgeving.
Vormen van AR en de fysieke wereld als interface
De meest geavanceerde head mounted display of head-up display is in gebruik bij de Amerikaanse luchtmacht. Piloten van een F-35 kunnen de gewenste vorm van informatie selecteren. Het directe beeld van de omgeving dat ze door hun helm en door de ramen van het vliegtuig te zien krijgen, wordt aangevuld met symbolen en/of een kaart. 's Nachts toont de HUD een 3D-wireframe van de omgeving zodat de piloten letterlijk blindelings kunnen vliegen.
Oorlogvoering is gelukkig niet het enige toepassingsgebied van HUD's en HMD's. Ook voor games, extreme sporten, geneeskunde, wetenschappelijk onderzoek enz. bestaan er gelijkaardige systemen die de gebruiker bij zijn taak moeten helpen. Voor de consument is een HUD natuurlijk een beetje te veel van het goede, maar de ontwikkeling gaat ook op dit vlak razendsnel. Een simpele AR-bril of zelfs AR-contactlens behoort tot de mogelijkheden. Het idee van AR-contactlenzen stamt uit SF-verhalen. Het is misschien wel wat raar om aan de cyborg in Terminator AR-contactlenzen te geven. In het geval van een robot zullen de digitale data rechtstreeks in het virtuele brein zitten als een reeks te verwerken instructies. Maar het schept natuurlijk wel de juiste sfeer voor de film en de achtervolgingsscenes. In de boeken van de SF-schrijver, wiskundige en informaticus Vernor Vinge hebben de personages geen hersenimplantaten of smartphones voor AR-informatie, maar elektronische contactlenzen.
De Virtual Retinal Display van Microvision (www.mvis.com) is een vorm van HUD waarbij de beelden rechtstreeks op het netvlies worden geprojecteerd. Babak A. Parviz, professor bionanotechnologie aan de universiteit van Washington (Seattle) werkt samen met een team van professoren en studenten aan een AR- contactlens. Een eerste werkende versie is klaar voor "massaproductie", ook al is de functionaliteit op dit moment nog erg beperkt. Naast een glucosemonitor bouwde zijn team ook biosensoren die informatie met bepaalde molecules kunnen uitwisselen via elektrische signalen. Ze hebben m.a.w. alle technologie voor handen die nodig is voor de verdere ontwikkeling van AR-contactlenzen. De lenzen zijn ingepakt in een polymeerlaag en grondig op veiligheid getest (op konijnen!). De lens voorziet zichzelf van energie via lage radio-frequentie-signalen (RF power) waarmee een kleine hoeveelheid energie kan worden opgewekt, want slechts een paar microwatt zijn nodig om een voor het oog zichtbaar beeld op te bouwen. Het menselijk oog heeft immers geen massa licht nodig om informatie te registreren. Anders dan bij een computermonitor of smartphonescherm waar het grootste deel van de uitgezonden energie verloren gaat, helpt bij de AR-lens elk foton bij de opbouw van het AR-beeld omdat de lens meteen op het oog ligt. Eens voldoende ontwikkeld kan de lens tekst, grafieken, kaarten, afbeeldingen of zelfs film direct 'op het oog' weergeven. Uiteraard moet in dat geval nog steeds een extern draagbaar toestel zorgen voor het draadloos doorgeven van de informatie aan de lens. Maar het is niet moeilijk om toekomstige mogelijkheden voor deze vorm van nanotechnologie te bedenken. Mogelijk vervangt het in de toekomst computerschermen!
Het uitblijven van succes van Google Glass bewijst dat AR niet meteen zijn weg vindt naar het grote publiek. Toch is de vermening van de digitale en de fysieke wereld reeds ingezet: de Apple Watch verzamelt informatie over onze gezondheid en bewaart die in de "cloud" (big data). De Apple Watch behoort bij de categorie van de wearables, waar ook "intelligente kleding" ondergebracht kan worden. Ook van de Arduino-microcontroller bestaat er een wearable versie en de nodige materialen om zelf intelligente kleding samen te stellen (https://store.arduino.cc/category/30). De LilyPad Arduino is speciaal ontwikkeld voor wearables en e-textile. T. Olsson, D. Gaetano, J. Odhner en S. Wiklund beschrijven in hun boek "Open Softwear" hoe je software ontwikkelt voor e-textile.
Niet enkel kleding, maar ook in je woning of klaslokaal kan je de fysieke en de digitale wereld in elkaar laten overvloeien. Met Bare Conductive Touch Board Starter Kit en elektrisch geleidende verf kan je AR-applicaties bouwen.
Virtual Reality
Virtual Environment of Virtual Reality is het andere uiterste. Het volledige beeld wordt door de computer gegenereerd. Wel kunnen er net zoals in een 3D-programma afbeeldingen uit de echte wereld als textures (vullingen) op virtuele objecten worden 'gemapt' (virtueel geprojecteerd).
Hier maakt men een onderscheid tussen Semi immersive VR en Immersive VR. Bij Semi Immersive VR vult het VR-beeld slechts een deel van het gezichtsveld van de gebruiker. Denk bijvoorbeeld aan een "flight simulator". Een Immersive VR-beeld vult het volledige gezichtsveld door gebruik van een HMD of projecties waarbij beelden over gans de omgeving van de gebruiker.
onderschrift: Het programma Terragen is gespecialiseerd in het 'uit het niets' genereren van landschappen, zeeën, gebergtes, wolken... Het resultaat zijn hyperrealistische beelden die in vrijwel niets te onderscheiden zijn van echte foto's (Bron afbeelding: www.picolous.com).
Het onderscheid tussen de verschillende fasen in het Milgram's continuum zijn niet altijd even duidelijk en vastomlijnd. Zo vormen PA-models echt een randgeval tussen Spatial AR en TUI's. Bij een PA-model wordt op een fysisch object een computerafbeelding geprojecteerd (gemapt), op een gelijkaardige manier als in een 3D-programma een vulling op een object wordt geplaatst.
Brain Computer Interfaces
Het lijkt ontsnapt uit een goedkope SF-film, maar het kan en het is beschikbaar voor een betaalbare prijs, het eerste invoerapparaat op basis van hersengolven (een neurale interface). De Emotiv Epoc is voor een slordige 300 dollar te bestellen. Een SDK (software development kit) is beschikbaar voor de iets minder gebruikersvriendelijke prijs van ongeveer 750 dollar.
Met de open source OpenViBE-software, een C++-library voor Linux en Windows, kan je op basis van de Emotive-headset je eigen applicaties schrijven. De eveneens open source EMOKIT-software is speciaal ontworpen om samen te werken met de Emotive. OpenViBE wordt ontwikkeld door het Franse Institut national de recherche en informatique et en automatique (http://openvibe.inria.fr/) en is bestemd voor het ontwerpen, uittesten en gebruiken van Brain-Computer Interfaces (BCI). Een onwaarschijnlijke demonstratiefilm vind je op http://openvibe.inria.fr/video.php?q=video-openvibe-introduction-en.
EMOKIT daarentegen is een eenmansproject van de hacker DAEKEN en is ultrasimpel in gebruik. De softwarekit is gebaseerd op de programmeertaal Python (maakt gebruik van pywinusb en python-hid) waardoor je applicaties kan ontwikkelen voor Windows, Mac OS X en Linux. EMOKIT maakt verbinding met de Emotiv via Bluetooth via een HID-interface, leest de versleutelde data uit en stopt die in een queue die je dan weer in je eigen applicatie kan inlezen en gebruiken. Je vindt de software op http://daeken.com/emokit-hacking-the-emotiv-epoc-brain-computer-0 en https://github.com/daeken/Emokit
Japanse onderzoekers slaagden er in 2008 reeds in om op basis van een fMRI-scan van de hersenen beelden te reconstrueren. Het onderzoek naar visual image reconstruction from brain activity gaat door aan verschillende onderzoekscentra en men bereikt op dit moment al onvoorstelbare resultaten.
Links:
Leven we in een computer? (The Matrix)
De simulatiehypothese stelt dat de zichtbare realiteit niet echt is, maar dat we leven in een computersimulatie. De “gesimuleerden” (wij mensen) zijn zich er totaal niet van bewust. Dit idee vormt de basis achter SF-films zoals The Matrix. Volgens de Britse computerdeskundige Nick Bostrom zijn er argumenten om aan te nemen dat dit wel degelijk het geval is:
"A technologically mature "posthuman" civilization would have enormous computing power. Based on this empirical fact, the simulation argument shows that at least one of the following propositions is true:
1. The fraction of human-level civilizations that reach a posthuman stage is very close to zero;
2. The fraction of posthuman civilizations that are interested in running ancestor-simulations is very close to zero;
3. The fraction of all people with our kind of experiences that are living in a simulation is very close to one.
If (1) is true, then we will almost certainly go extinct before reaching posthumanity. If (2) is true, then there must be a strong convergence among the courses of advanced civilizations so that virtually none contains any relatively wealthy individuals who desire to run ancestor-simulations and are free to do so. If (3) is true, then we almost certainly live in a simulation. In the dark forest of our current ignorance, it seems sensible to apportion one’s credence roughly evenly between (1), (2), and (3). Unless we are now living in a simulation, our descendants will almost certainly never run an ancestor-simulation."
Lees het volgende onderdeel: Interface ontwerp
