Foveon: Den smarte billedsensor, der ikke har kunnet fange

Tilbage i begyndelsen af ​​2000’erne udgav Sigma – et firma, der normalt er kendt i fotografisamfundet som en linseproducent – en ny type kamerasensor ved navn Foveon X3. Denne sensorteknologi var den første patenteret i 1999 af et firma kaldet Foveon, Inc. (senere erhvervet i 2008 af Sigma) og indeholdt en innovativ farveopfattelsesteknologi: en 3-lags stak af lysfølsomme dioder.

På papiret lovede denne teknologi at overgå CMOS-sensorer med hensyn til farvenøjagtighed, støj i svagt lys og billedskarphed. Denne artikel vil forklare, hvorfor Foveon-teknologien, på trods af at det er en smart idé, aldrig rigtig har gjort det i den fotografiske industri.

En APS-C Foveon X3 Quattro CMOS-sensor.

Tilbage til det grundlæggende: Hvordan dit kamera fanger farver

Silicium er almindeligt kendt som et halvledermateriale og bruges som sådan i mange elektroniske kredsløb. For fotografer er hovedinteressen i silicium dog, at det er et lysfølsomt materiale.

For at være mere specifik absorberer silicium lys for enhver bølgelængde mellem 400 nm og 1100 nm. Den gode nyhed er, at dette område dækker det synlige lysspektrum (400nm til 750nm, nogenlunde) og endda en smule af det nær-infrarøde spektrum. Den dårlige nyhed er, at silicium i sig selv ikke skelner mellem lysets farve og kun akkumulerer enhver foton i området 400-1100nm.

Et første skridt til at forbedre billedkvaliteten er at tilføje et filter til at fjerne det infrarøde lys (mellem 750nm og 1100nm), før det når sensoren. Det resulterende system udgør en monokrom kamerasensor (som giver sort/hvide billeder).

Derefter er den mest almindelige måde at indsamle nogle farveoplysninger på at bruge et farvefilterarray (CFA). Normalt er dette filter organiseret efter et Bayer-mønster (fra navnet på en Kodak-ingeniør) med røde, grønne, grønne og blå filtre.

En profilvisning af et Bayer-filter på en billedsensor. Illustration af Cburnett og licenseret under CC BY-SA 3.0.

Takket være disse tre filtre kan man gendanne farveoplysningerne i billedet. Processen kommer dog på bekostning af en vis billedopløsning. For en given “rød” pixel skal man lave en interpolation for at finde den manglende grønne og blå information. Der findes mange interpolationsalgoritmer, men processen resulterer altid i en form for farveartefakter og billedblødgøring.

Farvefilterarrays, udover at være unøjagtige, absorberer også mange fotoner i processen med at indsamle nogle farveoplysninger. Absorptionen varierer afhængigt af filtervalg og billedindhold, men det indrømmes generelt, at lysfluxen divideres med en faktor 3, inden den når sensoren. Det er 1,5 stop lys.

Den smarte idé bag Foveon-teknologien

Det sker, afhængigt af dens farve, en given foton rejser en bestemt afstand i silicium før de absorberes. Denne “rejseafstand” er relateret til fotonens energi, som afhænger af dens bølgelængde. Kortbølgelængdefotoner (blåt lys, UV-lys osv.) er mere energiske end længere bølgelængder (rødt lys, infrarødt lys osv.) og absorberes således efter en kortere rejse i silicium.

“Absorptionsdybden er det omvendte af absorptionskoefficienten. En absoptionsdybde på for eksempel 1 um betyder, at lysintensiteten er faldet til 36 % (1/e) af dens oprindelige værdi.” Diagram af Christiana Honsberg og Stuart Bowden af ASU.

Da absorptionsdybden i silicium giver et estimat af fotonbølgelængden, giver målet for absorptionsdybden teoretisk farveinformationen. Den smarte idé med Foveon-sensorer er at bruge “dybdefiltre” i stedet for side-by-side farvefiltre.

Bølgelængdeafhængig absorption i silicium og Foveon X3-sensoren. Illustration af Anoneditor og licenseret under CC BY-SA 3.0.

På papiret burde fjernelse af et farvefilter i det mindste øge lysstrømmen, der falder på sensoren, og fjerne ulemperne forbundet med farvefiltre.

Da Foveon-sensorer først nåede markedet i 2002 i Sigma SD9 DSLR, var de fleste digitale kameraer langt fra 10 MPx opløsning. Canon EOS-1D havde 4,2 MPx og Nikon D100 havde 6 MPx. Da farvefilter-arrays kræver digital interpolation, for et givet antal pixels, tilbød farvefilter-arrayet en massiv skarphedsopgradering.

Sigma forsøgte faktisk at markedsføre denne forskel i billedkvalitet ved at hævde, at SD9-kameraet havde et 3,43 MP outputbillede, men “10,3 millioner effektive pixels”, hvilket betyder, at deres pixels ydede 3 gange bedre. Adskillige akademiske artikler har faktisk fundet ud af, at Foveon-sensorer tilbød en højere opfattet opløsning takket være manglen på interpolation og farveartefakter omkring skarpe kanter. Fra dette perspektiv giver Foveon-sensorer en klar og målbar fordel for brugeren.

Forskere fandt ud af, at Foveon-sensorer havde en højere opfattet opløsning end Bayer-sensorer. Diagram fra “Rumlig frekvensrespons af farvebilledsensorer: Bayer farvefiltre og Foveon X3” af Paul M. Hubel, John Liu, Rudolph J. Guttosch.

Et sidste punkt, som Sigma hævder, er, at Foveon-sensorer overgår farvefiltersensorer, når det kommer til farvenøjagtighed. Påstanden forklares med manglen på farveinformationsinterpolation. For en given Foveon-pixel registreres de røde, grønne og blå data på samme sted, i modsætning til et farvefilterarray.

På papiret har Foveon-sensoren i hvert fald det hele: bedre lysstrøm betyder bedre ydeevne i svagt lys, bedre farvenøjagtighed og bedre skarphed i billedet. Men papirspecifikationer fortæller aldrig helt den fulde historie…

Hvad gik der galt med den geniale foveon-idé?

Det egentlige spørgsmål derfra bunder virkelig ned til dette: Eftersom ideen bag Foveon-sensorer er ret smart, hvorfor bruger vi så ikke alle Foveon-sensorer?

Løsning

Noget af interessen for Foveon-teknologien forsvandt med udviklingen af ​​CMOS-sensorer, da den dramatiske stigning i pixeltæthed har reduceret et af de vigtigste salgsargumenter for Foveon-sensorer. Sikker på, det er ikke rigtig en æble-til-æbler-sammenligning, da pixeltal kun bidrager til en brøkdel af den endelige billedkvalitet (sammen med objektivet, mængden af ​​tilgængeligt lys osv.). Da selv smartphones kan levere billeder på mindst 20MPx, er Foveon mindre attraktiv end i begyndelsen af ​​2000’erne.

Farve

Farvefordelen ved Foveon-sensoren er teoretisk ubestridelig, men giver kun få praktiske fordele. Uden for farvekalibrerede skærme og laboratoriemiljøer er forskellen i farvenøjagtighed lille nok til at gå ubemærket hen af ​​de fleste afslappede fotografer. Det er bestemt mere subtilt end effekten af ​​hvidbalancefejl eller kreative Instagram-filtre.

Responskurverne for Bayer (venstre) og Foveon (højre) sensorer. Diagrammer via Boris van Schooten.

Støj

Her er potentielt den mest diskutable pointe af alle. På papiret skulle Foveon-sensorer opsamle omkring 3 gange mere lys, hvilket skulle oversætte til en forbedring på 1,7 gange i signal/støjforhold. Det vil sige, hvis man antager, at skudstøjen er dominerende. Det viser sig dog, at i praktiske sammenligninger kommer Foveon-sensorernes ydeevne i lavt lys til kort. Selv Foveon General Manager Shri Ramaswami indrømmede det i et interview fra 2014:

“En af begrænsningerne ved Foveons tilgang er, at billedstøj er højere end i konventionelle sensorer,” sagde han. “Det skyldes sandsynligvis delvist ineffektivitet i selve sensorarkitekturen – måske går noget lys tabt til interne strukturer, der adskiller lagene – og også delvist den behandling, der skal udføres for at producere rene farver fra de ret blandede signaler, som chippen fanger faktisk.”

CMOS-sensorer og Foveon-sensorer deler et lignende designproblem: noget af lyset lækker fra den ene pixel til den næste. I CMOS-sensorer løses dette krydstaleproblem vha lodrette isolationsstrukturer mellem fotodioderne.

I Foveon-sensorer er det dog ikke muligt at anvende det samme trick (ellers ville du kun få den blå farveinformation). Således har Foveon-sensorer en tendens til at lide af fotonlækage fra det ene fotodiodelag til det næste.

Skematiske tværsnitsvisninger af en pixel. (a) er en kontrolpixel og (b) er en crosstalk-forbedret pixel. Illustrationer fra “En 45 nm Stacked CMOS Image Sensor Process Technology til Submicron Pixel.”

Billedbehandling: Det skjulte problem bag usædvanlige sensorer

En ulempe, der er fælles for alle “usædvanlige” farvesystemer (det være sig Fuji X-Trans, RGBW-filtre eller Foveon) er, at billedbehandlingen også påvirkes af valget. Selvom Bayer-filtre måske ikke er den bedste måde at fange farver på, har de eksisteret i flere årtier og er absolut dominerende på sensormarkedet. Som en konsekvens er incitamentet stærkt for billedbehandlingsforskere og virksomheder til at finjustere alle algoritmer til denne type sensorer.

Støjdæmpning udføres for eksempel normalt med nogle antagelser om statistikken vedrørende de indsamlede fotoner, som ikke direkte kan anvendes på Foveon-sensorer. Desværre, i betragtning af andelen af ​​Foveon-sensorer, der anvendes, har de fleste billedbehandlingsvirksomheder ikke noget incitament til at understøtte Foveon-filer, for ikke at nævne udvikling af billedbehandlingspipelines dedikeret til sådanne sensorer.

Tendensen bliver kun værre med maskinlæringsbaserede algoritmer. For at sige det ligeud er maskinlæringsalgoritmer kun så gode som de data, der bruges til at træne dem (både med hensyn til kvantitet og kvalitet). Da der er tusind gange flere billeder tilgængelige fra Bayer-filterarrays end fra Foveon, vil de førstnævnte sensorer drage fordel af bedre algoritmer end sidstnævnte.

Andre marketingovervejelser

Til sidst skal vi tage fat i elefanten i rummet. Fotoudstyr sælger ikke altid af tekniske årsager. Prissætning, markedsføring, linseøkosystemer, branding – der er mange faktorer i en teknologis succes.

Sigma har forsøgt at levere en sensor, der er anderledes end alt andet, men virksomheden skulle kæmpe to kampe på samme tid. Den første var at bevise billedkvaliteten af ​​Foveon-sensorer. Den anden var at bevise, at deres kameraer som kameraproducent klarede sig bedre end Canon eller Nikon.

Foveon kunne have været Sigmas hemmelige våben i den konkurrenceprægede kameraindustri. Men ydeevneforskellen mellem traditionelle og Foveon-sensorer er ikke entydig. Ikke tydeligt nok, i hvert fald til at tiltrække nye fotografer til Sigma-mærket.

Vil Foveon-sensoren endda vende tilbage?

Sigma er begyndt at udvikle en full-frame Foveon-sensor, og projektet er i et tidligt prototypestadie ifølge Sigmas seneste udtalelse. Det virker sandsynligt, at projektet kan forblive fast i prototypefasen og aldrig nå markedet. I bedste fald, fra denne kalender, virker det urealistisk at forvente en masseproduceret sensor før 2024.

Sigma har som virksomhed et godt og velfortjent ry for objektivfremstilling og vil gerne udvide sin forretning yderligere til kameraer og sensorer. Et kamera er dog langt mere end blot en sensor. Den virkelige udfordring for Sigma kan meget vel være manglen på billedbehandling af høj kvalitet. Sigma måtte endda skabe et plugin til Adobe Photoshop for at få åbnet Foveon-filer.

Selvom det ikke er umuligt, at Sigma frigiver et nyt kamera med en fuld-frame Foveon-sensor, er der stadig lang vej igen med at sælge teknologien uden for det eksisterende Foveon-fællesskab, endsige at gøre det til en industristandard.


Om forfatterenTimothee Cognard er optisk ekspert og fotograf baseret i Paris, Frankrig.

.

Loading...