4 De beoordeling
Bevoegdheid
4.1.
De Nederlandse rechter is op grond van artikel 2 jo. artikel 22 lid 4 EEX-Vo (oud) internationaal bevoegd om kennis te nemen van de vorderingen van Smart. De relatieve bevoegdheid volgt uit artikel 80 lid 2 sub a Rijksoctrooiwet 1995.
4.2.
CTouch heeft aangevoerd dat Smart niet ontvankelijk zou moeten worden verklaard omdat een deugdelijke onderbouwing van de vorderingen in de dagvaarding en ook nadien ontbreekt. Overwogen wordt dat hoewel de dagvaarding niet uitblinkt in duidelijkheid, daaruit wel voldoende duidelijk is af te leiden dat, waarom en hoe (directe) inbreuk zou worden gemaakt. Uit het door CTouch gevoerde uitgebreide verweer (bij conclusie van antwoord en nadien) valt bovendien af te leiden dat zij dat een en ander ook voldoende heeft begrepen. Smart is daarom ontvankelijk in haar vorderingen voorzover deze zien op het verwijt van directe inbreuk. Voor zover Smart stelt dat in de dagvaarding eveneens een verwijt van indirecte inbreuk op conclusie 1 en 5 als grondslag van de vorderingen is aangevoerd dan wel daarin zou moeten worden gelezen, moet evenwel de conclusie zijn dat dit op geen enkele wijze in de dagvaarding is genoemd laat staan uitgewerkt zodat die stelling moet worden gepasseerd. Op de eisvermeerdering respectievelijk eiswijziging van Smart op het pleidooi om dit verwijt als grondslag van haar vorderingen toe te voegen, waartegen door CTouch bezwaar is gemaakt, zal hierna zo nodig worden ingegaan.
Geheimhouding/mededelingenverbod art. 29 Rv
1
4.3.
Zoals hiervoor reeds aangegeven, heeft een deel van de procedure achter gesloten deuren plaatsgevonden. Het ging daarbij om de delen van het pleidooi waarbij bijlage D bij het rapport van Van Oeffelt (productie 9 bij akte van 24 april 2015) werden besproken. In aanvulling daarop heeft CTouch gevraagd om aan Smart een mededelingenverbod volgens artikel 29 lid 1 onder b Rv op te leggen. Tegen de geheimhouding noch het mededelingenverbod heeft Smart zich verzet en de rechtbank ziet geen reden om daar anders over te denken, zodat dit zal worden gehonoreerd als na te melden. Voor zover nodig zullen tevens de geheime delen uit de openbare versie van het vonnis worden weggelaten op de voet van artikel 28 lid 4 Rv.
Inleiding op de techniek
2
4.4.
De technologie die interactieve beeldschermen mogelijk maakt is in de afgelopen decennia in hoog tempo ontwikkeld. Een goed functionerend interactief beeldscherm moet in essentie twee activiteiten uitvoeren. Het moet i) accuraat vaststellen waar en hoe de gebruiker het scherm aanraakt, en ii) deze informatie vervolgens op een verwerkbare wijze doorsturen naar een daarop aangesloten verwerkingsmodule, zoals een computer, die daar vervolgens een functie aan verbindt. Voorbeelden van deze functies kunnen zijn: tekenen op het scherm, het openen van een bestandsmap, het slepen van een bestand, maximaliseren van een venster et cetera.
Elektromagnetische techniek
4.5.
Begin jaren zeventig van de vorige eeuw werd het lokaliseren van de aanraking bereikt door een elektromagnetische techniek met een speciale pen (stylus) waarmee de aanraking op het scherm werd verricht. Een belangrijk nadeel van deze technologie is de vereiste stylus zelf. Deze kan kwijtraken, moet worden overgegeven bij het bedienen van het scherm door twee personen et cetera.
Analoge-Resistieve technologie
4.6.
De volgende stap in de ontwikkeling van interactieve schermen – in de jaren tachtig van de vorige eeuw – was analoge-resistieve technologie waarbij het aanraakscherm bestaat uit meerdere lagen, waarvan de belangrijkste twee dunne transparante elektrisch geleidende lagen zijn, die worden gescheiden door een dunne ruimte. De buitenste laag (de laag die wordt aangeraakt) is voorzien van een coating aan de andere zijde van het oppervlak. Net daaronder bevindt zich een soortgelijke resistieve laag bovenop een substraat. De ene laag heeft geleidingsverbindingen aan de zijkanten, de andere aan de boven- en onderzijde. De ene laag wordt onder elektrische spanning gezet (voltage), de andere laag detecteert het voltage. Als een object, zoals een vingertop of stylus, neerwaarts drukt op de buitenste laag, worden de twee lagen op dat specifieke punt verbonden. Door het voltage uit te lezen van beiden lagen, kan worden bepaald waar precies de aanraking heeft plaatsgevonden.
4.7.
Deze resistieve techniek had een aantal nadelen. Doordat de lagen fysiek in contact moesten worden gebracht was een bepaalde druk vereist bij de aanraking van het scherm. Als er niet hard genoeg werd gedrukt, werd geen aanraking gedetecteerd. Bovendien hadden analoge resistieve schermen last van slecht contrast, vanwege additionele reflectie door de extra laag over het scherm. Voorts is het kostbaar om deze techniek toe te passen op schermen met een grote oppervlakte; de kosten stijgen evenredig met de omvang van het scherm.
4.8.
Tegenwoordig wordt capacitieve technologie veel gebruikt in moderne smartphones en tablets. Deze capacitieve schermen zijn echter relatief kostbaar om te produceren, en daarom wel geschikt voor kleinere schermen bestemd voor smartphones en tablets, maar te duur voor grote schermen zoals gebruikt bij de interactieve whiteboards zoals in deze procedure aan de orde. Daarnaast vertoont capacitieve technologie problemen met ruisgevoeligheid, en werkt het doorgaans enkel met vingers of aangepast aanraakgereedschap dat de elektrische lading kan manipuleren.
4.9.
Eind jaren negentig van de vorige eeuw werd een nieuwe weg ingeslagen in interactieve beeldscherm technologie om een aantal van de bezwaren van de bestaande technieken weg te nemen. Optische systemen bleken beter, en goedkoper, in staat de essentiële functies van een interactief scherm uit te kunnen voeren. Deze optische systemen werken als volgt.
4.10.
In de omlijsting van het scherm bevinden zich rijen van infrarood lichten. Dit licht is gericht over de oppervlakte van het scherm. Tegenover de omlijsting bevinden zich camera’s die dit licht opvangen. Als een object, zoals een vinger, het scherm aanraakt, wordt de lichtstraal die loopt van het infrarood licht uit de omlijsting naar de camera onderbroken. De camera observeert en lokaliseert de onderbreking en stuurt deze informatie naar de processor. Het is noodzakelijk voor de lokalisatie om meerdere camera’s te gebruiken. Een enkele camera kan namelijk de positie van de vinger slechts in één dimensie vaststellen. Als de informatie uit twee of meer camera’s wordt gecombineerd kan de positie in twee dimensies worden vastgesteld.
4.11.
Het gebruik van camera’s kent het voordeel dat de druk van aanraking niet meer belangrijk is voor de verkrijging van een signaal. Zij registreren namelijk het object op het scherm ook als daarop geen kracht wordt uitgeoefend. Bovendien is het een systeem dat kan worden ingezet op grotere schermen zonder dat daarmee de productiekosten voor de aanraakfunctionaliteit stijgen. Doordat hetzelfde aantal camera’s kan worden gebruikt om aanrakingen te detecteren op verschillende schermformaten, blijven de kosten voor aanraakfunctionaliteit gelijk ongeacht schermomvang. Dit in tegenstelling tot de kosten voor aanraakfunctionaliteit voor capacitieve en resistieve technieken, die evenredig stijgen met schermomvang.
4.12.
In vroege optische systemen werd gebruik gemaakt van CCD-camera’s (Charge Coupled Device) die lichtstralen omzetten in elektronische impulsen. Een CCD camera werkt als volgt: licht valt door de cameralens, op de sensor die zich achter de lens bevindt. Zoals uitgebeeld op onderstaande afbeelding is een sensor verdeeld in zogenaamde pixels die individueel registreren hoeveel licht er wordt gereflecteerd. Deze informatie wordt vervolgens omgezet in elektrische signalen; hoe meer licht wordt geregistreerd door een pixel, hoe groter de amplitude van het geproduceerde elektrische signaal.
4.13.
Het elektrische signaal van alle pixels wordt na versterking door een versterker (Output amplifier) omgezet in digitale informatie met betrekking tot de hoeveelheid licht die iedere pixel heeft gevangen. Deze conversie wordt uitgevoerd door een transformator die analoge informatie in digitale informatie kan omzetten (Analog / Digital converter of A/D converter).
4.14.
De hierboven weergegeven afbeelding van een CCD sensor is afkomstig uit een artikel van het IT bedrijf Axis Communications (productie 15 Smart). De afbeelding toont een veelvoud van pixels (de gekleurde blokken) met slechts één versterker en één transformator.
4.15.
EP 528 heeft (volgens Smart) onder meer betrekking op een aanraaksysteem met CMOS camera’s (Complementary Metal Oxide Semiconductor) die slechts een deel van de pixels van het aanraakoppervlak verwerken. Hierdoor wordt de verwerkingssnelheid van de lokalisering aanzienlijk verhoogd.
4.16.
In de stand der techniek waren enkel optische aanraaksystemen bekend die gebruik maakten van andere camera’s dan CMOS, zoals de hierboven besproken CCD camera’s. CCD camera’s sturen alle pixel informatie uit hun sensor naar de processor. Bij CMOS camera’s is het echter mogelijk om niet de gehele set pixels uit te lezen, maar slechts een klein deel daarvan dat relevant is voor de aanraking. Een belangrijk voordeel hiervan is dat willekeurige pixels in de CMOS sensor kunnen worden geselecteerd. Bovendien kan doordat slechts een deel van de pixels wordt uitgelezen, de tijd die normaal aan het uitlezen van irrelevante pixels werd besteed nu worden gewijd aan langere blootstelling van de relevante pixels aan het licht, hetgeen resulteert in betere prestaties in donkere ruimtes.
4.17.
CMOS sensoren verschillen in die zin van CCD sensoren dat er niet slechts één of een paar versterkers en A/D omvormers per sensor worden gebruikt om van iedere pixel te komen tot een corresponderend digitaal signaal, maar dat iedere pixel in CMOS sensoren een aparte A/D converter en versterker bevat die afzonderlijk deze conversie uitvoert.
4.18.
Bovenstaande afbeelding komt eveneens uit het artikel van Axis Communications (productie 15 Smart). Het toont een veelvoud van pixels die alle een eigen versterker en A/D converter in zich dragen.
4.19.
Een voordeel van een dergelijke sensor in vergelijking met een CCD sensor is dat de hoeveelheid te verwerken informatie per waargenomen beeld lager is. Het belangrijkste voordeel hiervan is dat de totale hoeveelheid informatie sneller wordt verwerkt, hetgeen leidt tot een snellere responstijd tussen aanraking en de daaraan gekoppelde functie. Bovendien wordt het risico van oververhitting gereduceerd.
4.20.
Daarnaast biedt het gecompartimenteerde karakter van de CMOS sensor mogelijkheden om niet de gehele sensor uit te lezen maar enkel een relevant deel te gebruiken. Zo is het mogelijk om enkel het deel van de sensor uit te lezen waar een verandering wordt waargenomen. Een voorbeeld van een dergelijke verandering is bijvoorbeeld een lichtobstructie vanwege een zogenaamde pointer, zoals een vinger.
4.21.
Deze maatregel maakt derhalve een verdere efficiëntiestap mogelijk. Met de vooruitgang van CCD naar CMOS werd in eerste instantie al niet meer alle informatie door een enkele versterker en omvormer geleid, maar door meerdere. Het is mogelijk om het gehele door de CMOS sensor waargenomen beeld in één keer uit te lezen, zoals bij CCD sensors. En het is dus daarnaast mogelijk om slechts selectief de informatie van een deelverzameling van deze CMOS versterkers en omvormers te verwerken.
4.22.
Voor de prioriteitsdatum van 5 juli 2000 van EP 528 waren CMOS sensoren reeds bekend en werden gebruikt in videocamera’s voor audiovisuele toepassingen. De beeldkwaliteit van CMOS camera’s was destijds evenwel inferieur aan die van CCD camera’s. De CMOS chips waren namelijk minder lichtgevoelig, waardoor deze niet geschikt waren voor detectie van het minder goed waarneembare infrarood licht dat ook destijds werd gebruikt voor aanraaksystemen.
4.23.
Conclusie 1 luidt als volgt:
1. A method of calibrating and operating digital cameras (63) in a touch system (50) having a touch surface (60) on which pointer contacts are to be made, each digital camera (63) having a selectable pixel array, said method comprising the steps of:
for each digital camera, acquiring an image looking at and across said touch surface (60);
measuring vertical coordinates (z) from the acquired images;
using the measured vertical coordinates (z) to determine the location of the touch surface (60) in each of the acquired images; and
selecting a pixel subset of the selectable pixel array of each digital camera based on the determined touch surface location so that only pixels of the pixel subsets are processed to determine the location of said pointer contacts.
4.24.
De drie meest wezenlijke aspecten van deze conclusie zijn de volgende:
a. het kalibreren;
b. de z-coördinaat;
c. het selecteren van een pixel-subset.
4.25.
In EP 528 worden twee werkwijzen beschreven om digitale camera’s in een touch systeem te kalibreren. In paragraaf [0038] wordt een zogenoemde initiële kalibratiewerkwijze (camera offset angle calibration routine) beschreven. Volgens paragraaf [0038] is deze kalibratiewerkwijze onderwerp van een andere octrooiaanvrage. In paragraaf [0039] wordt een tweede kalibratiewerkwijze (surface detection routine) beschreven, die het mogelijk maakt om nauwkeuriger vast te stellen of een pointer in aanraking is met of zich vlak boven het touch surface bevindt. Conclusie 1 van EP 528 claimt een werkwijze om digitale camera’s in een touch systeem te kalibreren en te gebruiken, waarmee volgens paragraaf [0023] het voordeel wordt bereikt dat het touch systeem zowel het aanraken van als het zweven boven het touch surface kan detecteren. Deze camera’s zijn in de hoeken van de lijst vrij dicht op het scherm geplaatst. Het ‘netvlies’ van de digitale camera is de sensor. Als de camera’s enigszins schuin in het scherm kijken, wordt het beeld van het aanraakoppervlak in een ruitvorm (parallellogram) op de sensor opgevangen. In de opinie van Hutter (productie 31 Smart, p. 11) is dit schematisch weergegeven in de volgende afbeelding:
4.26.
Vanuit de camera in de andere hoek levert dat een spiegelbeeldige situatie op:
4.27.
Omdat de camera’s door trilling tijdens bijvoorbeeld vervoer iets van positie kunnen veranderen, moeten ze voor gebruik – aan te nemen valt: door de gebruiker, i.e. de koper van het touch screen – gekalibreerd worden. Een zeer kleine verschuiving van de camera’s kan al problemen geven. Het initiële kalibreren van de digitale camera’s is dus nodig om de precieze positie van het touch surface ten opzichte van de camera’s vast te stellen. Indien het systeem na het kalibreren ‘weet’ waar het aanraakscherm zich bevindt, kan het systeem vervolgens ook vaststellen waar een pointer het aanraakscherm raakt.
Als het systeem niet weet waar het scherm begint of ophoudt, ‘weet’ het immers ook niet of de pointer bijvoorbeeld vlak aan de rand of ergens in het midden is geplaatst.
De voor dit octrooi relevante (tweede) kalibratiestap wordt ‘surface detection routine’ genoemd en ziet op het kunnen bepalen of de pointer het touch screen raakt of daar nog boven zweeft (‘hovering’). Deze stap is beschreven in paragrafen [0039]-[0041] van de beschrijving:
[0039] Following the camera offset angle calibration routine, a surface detection routine is performed to enhance determination as to whether a pointer is in contact with the touch surface 60 at a given point or hovering above the touch surface.
[0040] With rectangular coordinates of a pointer in the plane of the touch surface 60 accurately known from the camera offset angle calibration, the orientation of the touch surface 60 as seen by each digital camera 63 can be determined. This is necessary due to the fact that the digital cameras do not just see along the plane of the touch surface 60 but also in a direction perpendicular to it. To some degree, each digital camera 63 looks downward into the touch surface 60. Figure 14 generally shows the shape of the touch surface 60 as seen by a digital camera 63. Because of this, it is desired to define a "vertical" coordinate z which describes the touch surface location as a function of rectangular coordinates x and y.
[0041] The z coordinate of the pointer can be measured from a digital camera image, and hence, z coordinates for pointer positions on the touch surface 60 can be determined. This vertical calibration becomes a matter of fitting the z coordinate data for given rectangular coordinates x and y. The vertical calibration can be described as a surface of the form:
Note that if the coefficients C, D, and E are zero, this becomes a plane. The fit is easily computed as equation (0.1) represents a linear least-squares problem. The corresponding matrix takes the form:
4.28.
Een z-coördinaat is – zoals conclusie 1 al zegt – een verticale coördinaat. De
z-coördinaat voegt een derde dimensie toe. De camera/sensor ‘ziet’ het aanraakscherm immers enigszins van boven, daarom zal de z-coördinaat in de berekening moeten worden betrokken. Zie ook par [0040], r. 40-42 (r.o. 2.4):
[0040] (…) Figure 14 generally shows the shape of the touch surface 60 as seen by a digital camera 63. Because of this, it is desired to define a "vertical" coordinate z which describes the touch surface location as a function of rectangular coordinates x and y.
De verticale z-coördinaat als bedoeld in EP 528 beschrijft het aanraakscherm als een functie van de vierhoekscoördinaten x en y.
4.29.
Blijkens de conclusie gaat het om de z-coördinaat from the acquired images. Met Smart zal er veronderstellenderwijs in het navolgende van uit worden gegaan dat het zodoende gaat om de z-coördinaten van het door de respectievelijke camera’s verkregen beeld van het touch surface, derhalve het parallellogram uit de hiervoor reeds opgenomen afbeelding.
4.30.
Nadat de locatie van het aanraakvlak door kalibratie is vastgesteld, kan vervolgens de relatieve positie van de pointer bepaald worden door combinatie van de gegevens van ten minste twee camera’s.
Ad c: selecting a pixel subset of the selectable pixel array
4.31.
Het laatste aspect van conclusie 1 van EP 528 is het selecteren van pixels. De conclusie schrijft digitale camera’s voor die een selectable pixel array hebben. Een voorbeeld van dergelijke camera’s zijn de CMOS-camera’s. Met Smart zal er veronderstellenderwijs in het navolgende van worden uitgegaan dat het gaat om pixels van de sensors van de camera’s, niet om pixels op het aanraakscherm zelf.
4.32.
De pixel subset die wordt geselecteerd, bevindt zich op de horizontale pixelrijen van de sensor, waarbinnen het verkregen beeld van het touch surface valt (based on the determined touch surface location), het hiervoor reeds genoemde parallelogram. Dat betreft slechts een betrekkelijk klein deel van het totaal aantal pixels. Het systeem ‘weet’ dan dat de aanrakingen zich steeds binnen deze subset voordoen. Conclusie 1 vereist dat de subset van pixels wordt geselecteerd op basis van de locatie van de touch surface. Door alleen een subset van de pixels te selecteren, kan het uitlezen van irrelevante pixels worden voorkomen (zie paragraaf [0048] en figuur 9 van EP 528, r.o. 2.4), hetgeen zoals hiervoor in r.o. 4.19.-4.21. reeds uitgelegd een voordeel is.
4.33.
Naar het oordeel van de rechtbank is geen sprake van inbreuk op conclusie 1 en de daarvan afhankelijke conclusie 5 van EP 528. Smart heeft onvoldoende onderbouwd gesteld dat bij CTouch (software) de z-coördinaten van het schermoppervlak worden vastgesteld noch dat de pixelrijen bij CTouch geselecteerd worden aan de hand van de aldus vastgestelde z-coördinaten van het scherm. CTouch heeft dit (zeer) gemotiveerd weersproken en gesteld dat bij haar systeem die z-coördinaten niet nodig zijn.
4.34.
De redenering van Smart gaat ervan uit dat de z-coördinaat door het CTouch-systeem wel vastgesteld moet worden omdat het systeem – kort gezegd – anders niet weet “waar” het scherm is. Volgens Smart moet het systeem dit weten omdat de camera’s onder een hoek “in” het scherm kijken en zo het voor de optimale dataverwerking van belang is te weten wat de z-coördinaten van het scherm zijn (dat wil zeggen waar het parallellogram is gesitueerd) zodat slechts die pixels worden geselecteerd die binnen dat aldus vastgestelde scherm (parallellogram) vallen. Met CTouch is de rechtbank evenwel van mening dat die redenering mank gaat. Zoals ter zitting is gedemonstreerd en toegelicht, gaan in het CTouch-systeem de IR-stralen van de lampen die tegenover de camera’s liggen in hoofdzaak evenwijdig aan het scherm en worden door de camera’s aan de overkant opgevangen. Het is eenvoudig in te zien dat voor dat systeem, waar de camera’s dus in wezen niet onder een hoek maar evenwijdig aan het scherm “kijken”, de z-coördinaten van het scherm niet nodig zijn om nog steeds effectief de pixelrijen van de CMOS sensor te kiezen die het juiste en optimale signaal afgeven. Dat zijn logischerwijs de pixelrijen dicht bij het schermoppervlak. Er is zodoende dan ook bij het CTouch-systeem geen sprake van een vaststelling van (de z-coördinaten van) het parallellogram zoals hiervoor weergegeven in r.o. 4.25, althans is zulks niet komen vast te staan. Nu die z-coördinaten niet worden vastgesteld, worden aan de hand daarvan evenmin pixel(rijen) geselecteerd.
4.35.
De rechtbank kan gelet op het voorgaande in het midden laten in hoeverre de door Smart gewenste eis- of grondslagwijziging, namelijk dat (ook) sprake zou zijn van indirecte inbreuk, in deze zaak volgens het versneld regime octrooizaken toelaatbaar is. Immers, uit het voorgaande blijkt dat het CTouch systeem bij gebruik geen inbreuk maakt op conclusie 1 of 5, zodat er geen sprake is van toepassing van de geoctrooieerde uitvinding (in Nederland).
4.36.
Conclusie 1 van EP 335 luidt als volgt:
1. A touch system (50) comprising:
at least two optical devices (630 to 633) associated with a touch surface (60), said at least two optical recording devices (630 to 633)for acquiring images of said touch surface (60) from different locations and having overlapping fields of view (FOV);
characterized in that said touch system (50) further comprises processing circuitry (84, 54) for processing image data acquired by said at least two optical recording devices (630 to 633) to detect edges of a pointer in said images and to triangulate the detected edges to determine a bounding area that defines a pointer perimeter.
4.37.
Gelet op de discussie tussen partijen is het dienstig het kenmerk nader toe te lichten dat de triangulatie van de ‘detected edges’ betreft.
4.38.
Over de betekenis van het begrip ‘trianguleren’ zijn partijen het eens, zie bijvoorbeeld de definitie in Wikipedia, overgelegd door CTouch (GP9, bijlage 1, en zie ook “nadere productie” CTouch, annex B):
Een driehoeksmeting of triangulatie is een meetmethode die gebruikmaakt van het feit dat een driehoek volledig bepaald is als één zijde (de basis) en de aanliggende hoeken bekend zijn. De methode werd voor het eerst beschreven door de Nederlandse wiskundige Gemma Frisius (1508-1555). De cartograaf Jacob van Deventer (1505-1575) was de eerste die het in de praktijk omzette. Bij de driehoeksmeting wordt gebruikgemaakt van formules uit de goniometrie, met name de sinusregel.
4.39.
Uit deze definitie volgt dat trianguleren een methode is om de vorm en afmetingen van een driehoek vast te stellen. Een driehoek heeft zes kenmerken, te weten drie zijden en drie hoeken. Volgens deze definitie kun je de driehoek bepalen indien drie van deze kenmerken bekend zijn. Er zijn derhalve vijf combinaties om die te bepalen.
√ ZZZ
√ ZZH
√ ZHZ
√ HZZ
√ HHZ
X HHH
Alleen de combinatie HHH werkt niet, want als alleen de hoeken bekend zijn, is de grootte van de driehoek nog niet bekend.
4.40.
In de volgende figuur is de meting van de x- en y-coördinaat in een touch screen schematisch weergegeven.
Het betreft een meting, die bijvoorbeeld gebaseerd kan zijn op – eenvoudig gezegd – de volgende bekende kenmerken:
a. de vaststaande afstand tussen punten a en b;
b. de vaststaande hoek α van lijn ab met ac
c. en de hoek β van lijn ab met bc.
4.41.
Op basis van deze drie kenmerken kan worden vastgesteld waar lijnen ab en bc elkaar snijden. Dat snijpunt is punt c. Om de locatie van punt c te bepalen, kunnen verschillende berekeningswijzen worden toegepast, bijvoorbeeld:
a. door het eenvoudig meten van één afstand en twee hoeken met bijvoorbeeld een geodriehoek;
b. of met toepassing van lineaire algebra, zoals CTouch kennelijk doet.
De methode met de geodriehoek wordt bekend verondersteld. De toepassing van de lineaire algebra wordt nader toegelicht. De navolgende figuur zal ter illustratie worden gebruikt. Deze is ontleend aan PIC1 van CTouch’s productie 6. Daarin hebben enkele lijnen een kleur gekregen.
Het volgende is te zien.
a. de verticale lijn 11 geeft de sensor van de camera weer;
b. de lens van de camera is punt 12;
c. de groene lijn loopt van de sensor door de lens naar de pointer. Hoe de groene lijn loopt, is wel bekend, maar niet waar op de groene lijn de pointer zich bevindt;
d. de meer donkere blauwe lijn geeft de afstand tussen de sensor en de lens aan, en is bekend;
e. de rode lijn op de sensor geeft de afstand aan tussen de plaats waar de blauwe lijn op de sensor binnenkomt en de lager gelegen plaats (15) waar de groene lijn op de sensor binnenkomt. Zoals is te zien, komt de groene lijn op de sensor binnen waar ook de dip in het histogram is. Deze afstand kan gemeten worden en is dus ook bekend, omdat afstand t bekend is.
4.42.
Zodoende zijn twee kenmerken van de driehoek bekend, namelijk de lengte van de rode en de meer donkere blauwe lijn. Om de driehoek te bepalen is nog één kenmerk nodig. Dat is hier de hoek (van 90°) tussen de rode en donkerblauwe lijn. Daarmee is de linker driehoek bepaald.
Hiermee is echter ook de richting van de groene lijn bekend. Waar op de groene lijn de pointer zich bevindt is evenwel nog niet bekend. Daartoe moeten de gegevens van camera 1 gecombineerd worden met die van camera 2. Worden de plaatjes vanuit beide camera’s samengevoegd, dan is dit het resultaat:
Zoals is te zien, zijn vanuit beide sensoren de groene lijnen bekend. Die hebben één snijpunt.
4.43.
Het is niet in geschil dat het snijpunt door CTouch met behulp van lineaire algebra wordt berekend. Een lineaire vergelijking beschrijft een lijn in de tweedimensionale ruimte. Een dergelijke lineaire vergelijking in de tweedimensionale ruimte wordt hierna toegelicht aan de hand van de volgende afbeelding uit Annex C1 rapport Van Oeffelt (productie 9 CTouch):
4.44.
Aan deze afbeelding zijn de nog niet bekende hoeken α en β toegevoegd. De lineaire vergelijkingen voor de rode lijn kunnen ook als volgt worden weergegeven.
tan staat voor tangens, die een maat voor een hoek is. In deze vergelijking is de tangens van hoek α gelijk aan 1, wat correspondeert met een hoek van 45°. De lineaire vergelijking van de blauwe lijn kan op een zelfde wijze ontleed worden.
Ook de tangens van hoek β is hiermee eenduidig bepaald.
Om het snijpunt van de lijnen te berekenen, dienen de vergelijkingen van de blauwe en rode lijn aan elkaar gelijk te worden gesteld:
y = x + 1 en y = -3x + 9 dus
x + 1= -3x + 9 (+3x aan beide zijden)
4x + 1 = 9 (-1 aan beide zijden)
4x = 8 (delen door 4)
x = 2 dus y = 3
tan α = 1, tan β = -3
α = 45°, β = -71,57°
4.45.
CTouch heeft ten eerste betwist dat in haar systeem triangulatie van de buitenranden van het object plaatsvindt. Zij stelt dat bij haar geen hoeken worden gebruikt in de berekening, hetgeen volgens haar onderdeel is van de definitie die een gemiddelde vakman zou aanhouden voor triangulatie. Beide partijen gaan als gezegd uit van de definitie als hiervoor weergegeven uit wikipedia.
4.46.
CTouch heeft niet bestreden dat in haar systeem de lijncoëfficienten worden berekend volgens de lineaire algebra als hiervoor toegelicht. Zoals daaruit onbestreden blijkt is de lijncoëfficiënt (in de tweedimensionale vergelijking van een rechte lijn y=a.x + b de a) een uitdrukking van de hellingshoek van die lijn. a staat immers gelijk aan de tangens van die hoek. Dat het systeem van CTouch gebruik maakt van die lineaire algebra (waarbij om het kruispunt van de lijnen te berekenen twee lineaire lijnvergelijkingen aan elkaar gelijk gesteld worden) maar er geen omrekenslag naar een hoek van die lijn plaatsvindt, maakt niet dat een gemiddelde vakman dit niet zal zien als een wijze van trianguleren. Op indirecte wijze (via de tangens) wordt de hoek van de lijn immers wel degelijk gebruikt in het CTouch systeem. Anders en eenvoudig gezegd, de lijnvergelijking in het CTouch systeem wordt bepaald aan de hand van het instraalpunt op de CMOS-sensor en de locatie van de lens. Met die lijnvergelijking van beide camera’s kunnen de x- en y-coördinaten van de “edges” worden berekend, waardoor de tussenstap van een berekening van de hoek niet meer behoeft te worden gemaakt.
4.47.
Illustratief is in dit verband ook figuur 6 van EP 335. Een gemiddelde vakman zal daarin zien dat om x0 en y0 te berekenen de tangens van de hoeken ϕ nodig is zodat hij de lineaire lijnvergelijkingen kan opstellen. Naar het oordeel van de rechtbank zou het bovendien niet het midden houden tussen een “fair protection for the patent proprietor with a reasonable degree of legal certainty for third parties” als bedoeld in artikel 1 van het protocol bij artikel 69 Europees Octrooiverdrag om de term trianguleren dusdanig letterlijk en daardoor beperkend te interpreteren dat daaronder niet valt een indirect gebruik van (twee van) de hoeken van de driehoek en, onbetwist, de bekende afstand tussen de cameralenzen, zoals CTouch doet.
Bounding area/pointer perimeter
4.48.
Vervolgens heeft CTouch betwist dat in haar systeem een grensgebied wordt bepaald dat een perimeter van de aanwijzer definieert (determine a bounding area that defines a pointer perimeter). Uit EP 335 (met name paragrafen [0005]-[0008] en [0030]-[0032], alsmede figuren 7-9 met toelichting) kan worden afgeleid dat deze maatregel erop ziet om de “schaduw” (bounding area) van een object op de camerasensor vast te stellen en – door gebruik van meerdere camera’s – aldus de “size/scale” (zie bijvoorbeeld paragrafen [0005] en [0030] van EP 335) van het object te bepalen. Het gaat bij deze maatregel dus niet zozeer om bepaling van (letterlijk) de perimeter (in de zin van omtrek) van het object maar om bepaling van de grootte daarvan. Uit het octrooi blijkt voorts voldoende duidelijk dat het hier om een schatting van de perimeter/grootte gaat, nu de gemiddelde vakman dit onmiddellijk zal begrijpen uit het feit dat meerdere “bounding areas” worden bepaald, waarvan dan de kleinste wordt gekozen ter bepaling van de perimeter/grootte van het object (paragrafen [0008] en [0009] EP 335). Ook de verdere toelichting in het octrooi maakt dit duidelijk omdat bij de berekening van de omtrek/grootte van het object vervolgens een model van hoe dat object eruit ziet wordt gesuperponeerd. Zie met name paragraaf [0030] EP 335:
During triangulation, triangulation is performed in respect of each pair of cameras capturing images of the pointer with the exception of the diagonal digital camera pairs and for each pixel row to yield a plurality of bounding areas. The minimum bounding area, which may range from a four-sided polygon to an eight-sided polygon, for each pixel row is then selected to reduce the effects of erroneous or suboptimal measurements. Once the minimum bounding area for each pixel row has been selected, a model, in the present embodiment a rectangular box whose size is a function of the size of the minimum bounding area, is superimposed on the bounding area and defines the pointer perimeter and hence pointer size at that pixel row. The size of the box describes the pointer size in terms of pixels by height and width.
4.49.
Voor zover CTouch derhalve heeft aangevoerd dat in haar systeem niet de (exacte) omtrek van het object wordt bepaald, faalt dit omdat dit niet door het octrooi als hiervoor gelezen wordt geëist. Voorts heeft Smart op het pleidooi onweersproken toegelicht aan de hand van Annex D bij het rapport van Van Oeffelt (productie 9 CTouch) dat in het CTouch systeem per camera de afstand tussen de edges van de aanwijzer worden bepaald (“width1” en “width2”), waarna deze worden gemiddeld. Nu het CTouch systeem tevens (enigszins grof) onderscheid kan maken tussen een aanraking door een vinger of een vuist, en CTouch niet heeft uitgelegd hoe zij dit op andere wijze zou doen, kan de conclusie geen andere zijn dan dat de schaduw (boundary of width) van het object wordt gebruikt om de grootte (perimeter) van de aanwijzer te schatten. Daarmee staat voldoende vast dat dit kenmerk terugkomt in het CTouch-systeem. De paragrafen in het octrooi waarop CTouch nog heeft gewezen ([0037]-[0041]) doen aan het voorgaande niet af en hebben betrekking op (voorkeurs)uitvoeringsvarianten (onder meer om ook een 3D pointer te kunnen onderscheiden) en kunnen daarom niet als beperkend worden opgevat.
Toepassing stand van de techniek
4.50.
CTouch heeft bij conclusie van antwoord aangevoerd dat zij niet meer doet dan toepassing van de stand van de techniek onder verwijzing naar US 4,144,449 (Funk, productie 26 Smart) en US 4,507,557 (Tsikos, productie 27 Smart). Smart heeft op dit argument, dat ook al in de voorafgaande correspondentie tussen partijen aan de orde was gesteld, slechts in de dagvaarding summier gereageerd. Op pleidooi zijn partijen niet ingegaan op dit argument. De rechtbank heeft echter in het licht van de volgende omstandigheden behoefte aan nadere toelichting door partijen op dit punt:
- -
Smart noemt als (enige) onderscheid tussen het CTouch-systeem en Tsikos dat het in dat laatste document niet gaat om CMOS-camera’s maar om CRT-techniek. Het komt de rechtbank evenwel voor dat de verwijzing naar CRT-techniek in Tsikos ziet op de techniek van het aan te raken scherm (waarop iets geprojecteerd wordt) en niet op de techniek van de gebruikte camera’s om het aanraakpunt te detecteren. De ingeroepen conclusies van EP 335 bevatten geen kenmerken van het “touch surface”, zodat daarvoor irrelevant lijkt wat de techniek van dat “touch surface” is.
- -
Het gebruik van CMOS-camera’s wordt bovendien pas in conclusie 7 van EP 335 genoemd zodat het niet relevant lijkt voor conclusie 1, terwijl het de rechtbank voorkomt dat de dynamic RAM imaging IC’s 36 en 38 van Tsikos mogelijk wel als een digitale wijze van registratie van het licht kan worden gezien (vergelijk conclusie 6 EP 335).
- -
In het kader van EP 528 is door Smart aandacht besteed aan de daarin neergelegde voordelige toepassing van CMOS-camera’s; (de aanvrage voor) EP 528 is evenwel stand van de techniek voor EP 335, zodat de vraag zich opdringt of dat enkele onderscheid wel voldoende is om het Gillette-argument van CTouch ten aanzien van EP 335 niet op te laten gaan.
- -
Ook bij Tsikos lijkt sprake van het vaststellen van de breedte van het aanraakobject (zie met name kolom 3, r. 50-53 alsmede kolom 6, r. 38-47) teneinde objecten van een te kleine grootte uit te sluiten, terwijl de overige kenmerken van conclusie 1 (bijvoorbeeld “detecting the edges” en de triangulatie) lijken te kunnen worden afgeleid uit figuur 1 van Tsikos:
4.51.
De rechtbank zal partijen in de gelegenheid stellen zich over dit een en ander nader en gedetailleerder uit te laten. Daarbij zal eerst CTouch een akte kunnen nemen, waarop Smart zal kunnen reageren, eveneens bij akte. Alle verdere beslissingen zullen worden aangehouden.