Beeldgebaseerde 3D gezichtsmodellering

Realisaties week 9-13

2009-06-27T16:36:00.002+02:00

Deze realisaties werden niet meer geblogd, maar rechtstreeks in het verslag gerapporteerd.

Realisaties week 8

2009-04-07T11:19:00.008+02:00

Verfijning halstextuur (veel mooier resultaat)
Verfijning keypoints van de projectie van het oor op de schedel (geen exacte projectie, want keypoints worden enkel gebruikt als ellipsebenadering waar het oor zich bevindt). Exacte projectie onmogelijk omwille van ruwe mesh rondom oor.
Bugfixen en afwerking oortextuur (2D en 3D)
Uitwerking implementatie manuele feature-aanduiding en uitbreiding naar andere foto's dan dit chineesje

Realisaties week 7

2009-04-07T11:18:00.006+02:00

Verfijning keypoints op de oogbol
Wijziging van oogtextuurmap, nu planaire mapping (aangezien je toch slechts een heel klein deel van de oogbal zit, volstaat hier een planaire mapping (ipv sferische). Dit is ook veel makkelijker om de textuur op te maken. Het resultaat van de planaire mapping en het aanbrengen van de keypoints op de oogbol is hier te zien.

Realisaties week 6

2009-04-07T11:13:00.005+02:00

Textuurmap wimpers op basis van stukje haar uit het profieltextuurvlak
Opvulling witpixels in globale textuurmap op basis van gemiddelde kleurwaarde aangrenzende niet-witpixels
Start oortextuur
Subdividing oogbolmeshes met Maya om keypoints nauwkeuriger te kunnen aanduiden op de oogbol zelf (ipv op het hoofdmodel)
Afwerking neusdetectie (tot aan de hoogte van de ogen) dmv verbinding gedetecteerde neusvleugels (geel) met 1/4e afstand tussen de ogen en uiterste punt van de wenkbrauw
Verfijning RBF aan de kin (toevoeging neckpoint aan keypoints)

Realisaties week 5

2009-03-09T13:35:00.002+01:00

Blending frontaal textuurvlak met profiel textuurvlak. Gebied binnen ellips (bepaald door buitenste ooghoeken, top&bottom face-ellipse punten en beide mondhoeken) volledig frontaal. Gebied buiten ellips (bepaald door face ellips 20 pixels verticaal te stretchen) volledig profiel. De 20 pixels vormen een overgangsband. In het gebied tussen de ellipsen wordt een weight lineair berekend op basis van de afstand tot de contour van de binnenste ellips. We bekomen nu 1 lineair geblend textuurvlak, en een 3D-equivalent.

Realisaties week 4

2009-03-04T19:25:00.007+01:00

Resultaat van het frontale textuurvlak (beperkt tot de gezichtsellips)
Doel is om aangeduide features te matchen naar de texture map van de profile key points, dus van (1) naar (2).
Resultaat van het profiel textuurvlak (gespiegeld rond verticale as door neustop)
Mapping van de profiel foto op het textuurframework. Voorlopig 3D-resultaat. Merkbare artefacten aan de oren (omdat deze niet zijn opgenomen in de RBF aangezien ze los zijn weergegeven op de textuurmap) en aan de ogen (ooghoek ook in RBF opnemen?).
Herfijnde uitwerking profieltextuur. Nu ook benaderde oor-ellips, eyebrowcorner, eyecorner, nosecorner en lipcorner in rekening gebracht. Punten in RBF nu van (1) naar (2). Resultaat van het profiel textuurvlak. Beter 3D-resultaat.

Realisaties week 3

2009-02-25T12:35:00.011+01:00

Uitvissen welke textuurcoordinaten gegeven zijn. Resultaat. Probleem met discontinue delen van nek, achterhoofd en oren?
RBF toepassen op frontale foto om te passen in de texture map. Textuurcoordinaten van frontal keypoints en van profile keypoints samengevoegd naar 1 textuurframework.
Doel is om aangeduide features te matchen naar de texture map van de frontale key points, dus van (1) naar (2)
Mapping van de frontale foto op het textuurframework. Resultaat op 3D-model.

Realisaties week 2

2009-02-25T12:33:00.002+01:00

Afspraak thesisbegeleider
Bespreking plan 2e semester
Begin textuur generatie

Realisaties week 13

2008-12-20T14:53:00.003+01:00

Afwerking volledige RBF
Implementatie ruwe GUI (wizard concept) ... preview
Voorbereiding demo en presentatie
Debugging color transfer en ellipsfitting
Implementatie manuele detectie features

Realisaties week 12

2008-12-09T10:09:00.007+01:00

Combinatie van beide RBFs volgens shape deformation in de paper
(bescheiden begin, scalering moet nog verder uitgewerkt worden
Succesvolle draaiing van profile key points volgens hoek tussen lijn NBT-CP van de detected features en de key points van het generisch model
Scalering nu op basis van afstand NBT-CP
Gesegmenteerde scalering profile points in orde, resultaat totale shape deformation
Color adjustment tussen profile and frontal image in orde, gebruik makend van lab-color space
Ruwe uitwerking vernieuwd idee GUI (nl. wizard-concept)

Realisaties week 11

2008-12-01T12:44:00.003+01:00

Manuele aanduiding keypoints succesvol (aantal keypoints = 194)
Manuele (en correcte) aanduiding van frontal en profile features om voorlopig verder te werken in de shape deformation
Schaling en assentransformatie van 2D-imagecoördinaten naar 3D-headmodelcoördinaten
Schaling op basis van breedte hele chin&cheekcontour-curve
Succesvolle RBF van frontal features
Succesvolle RBF van profile features

Afspraak week 10

2008-12-01T12:43:00.003+01:00

Donderdag 27 november, 16u, afspraak met Benedict Brown

Eerste RBF lijkt okee
Focus on shape deformation (manuele aanduiding keypoints)
Ear detection evt manueel
Volgende week geen afspraak

Realisaties week 10

2008-11-25T18:13:00.006+01:00

Nose en chin&cheek detection veel vlotter met canny edge detection
Bepalen en tekenen van eerste keypoints op generisch hoofdmodel
Deformatie van een punt op het hoofdmodel (manueel)
RBF-implementatie, probleem van singuliere matrix opgelost met pseudo-inverse (volgens deze site) ... test met willekeurige punten lijkt te kloppen
Langer maken van de neus d.m.v. RBF (vb)

Afspraak week 9

2008-11-20T21:08:00.003+01:00

Donderdag 20 november, 16u, afspraak met Benedict Brown

Nosedetectie met Canny edge detectie proberen
Nu best met shape deformation starten

Realisaties week 9

2008-11-18T13:46:00.006+01:00

Iris contour detection nu m.b.v. Sobel mask ...
Volledig geautomatiseerde eye-detection nu een feit! (werkt ook bij ogen met sterke reflecties)
Nose contour detection, d.m.v toepassing 12x12-median filter en vervolgens Sobel filter ...
Vaak één neusvleugel goed gedetecteerd, maar andere niet. Soms ook perfect resultaat. Oplossen d.m.v. symmetrie?
Rekentijd beperkt door medianfilter slechts toe te passen op het betrokken gebied.
Chin&cheek contour detection, probleem met schommelingen 4e graadsveelterm, dus gebruik gemaakt van splines. Implementatie gradient direction nog niet gelukt ... Resultaat met enkel gradient magnitude blijft hangen aan ruis in het beeld (zelfs met 12x12-median filter) ...
Lip contour vervangen door closed spline (i.p.v. gebroken lijn)

Realisaties week 8

2008-11-17T15:07:00.003+01:00

Lip contour detection. Initiele mouth ellipse iteratief vervormd door 15 contourpunten te bewegen. Resultaat okee.
Fiducial points detection. Begin skindetectie (1), dan op zoek naar grootste aanéénsluitend gebied skin-pixels (2), tenslotte bepalen most-right points van elke rij de profile curve (3). Nose-tip wordt bepaald dmv right-most point, under-nose point dmv het punt onder de nose-tip waar de 2e afgeleide het grootst is en nose-bridge point door lokaal minimum boven de nose-tip. Voorlopig correcte detectie van deze 3 punten.

Realisaties week 7

2008-11-17T14:59:00.005+01:00

Introducing OBJ-file simplified head model in Java3D (preview). Mogelijkheid tot draaien, transleren en zelfs zoomen.
Presentatie (slides maken, voorbereiden, ...)

Voornaamste reacties op presentatie:

Shape deformation niet onderschatten!
Duidelijker onderscheid maken tussen zelf geleverde werk, en paperextracten

Afspraak week 6

2008-11-03T11:55:00.003+01:00

Donderdag 30 oktober, 16u, afspraak met Benidict Brown

Ellipsefitting proberen met enkel de probes die stilstaan (evt RANSAC om outliers te detecteren) ... ni teveel tijd meer aan spenderen
Best geroteerde ellips gebruiken en pixels transformeren zodanig dat ellips recht staat
Head model: zoeken op http://www.turbosquid.com/ of shape.cs.princeton.edu of shapes.aim-at-shape.net of http://www.eyetronics.com/ of evt average head maken van 150 opendeurdagscans
Presentatie: 20min, 20slides, beter goe overzicht dan elk technisch detail ...

Realisaties week 6

2008-10-28T12:15:00.005+01:00

Ellipsefitting met leastsquares succesvol, enige probleem = 1 outlier vervormt meteen heel de ellips (zoals hier)
Ellipsefitting nu helemaal correct, lengte van de assen moest nog aangepast worden aan de rechthoekige foto (verhouding lengte/breedte). Bij benadering wordt een geroteerde ellips (stippellijn) vervangen door een ellips (volle lijn) waarvan de hoofdassen evenwijdig zijn met de randen van de foto (aangezien het hoofd meestal quasi recht staat en een rechte ellips veel makkelijker is om de plaatsing van ogen, mond,... in te schatten. Sommige face detections zijn nu perfect!
Implementatie lip function image en initial mouth contour gelukt

Afspraak week 5

2008-10-23T19:26:00.003+02:00

Donderdag 23 oktober, 16u, afspraak met Benidict Brown

Ellipsefitting fout omdat door 5 punten juist één kegelsnede gaat (en dit is niet persé een ellips) -> voorgestelde oplossing: gebruik 'least squares' ipv 'least median of squares'
Trage rekentijd voor redchannel-variation-image in eerste iteratie geen probleem
Iris centrum wrs fout door (witte) reflecties in de ogen -> oplossen door oorspronkelijk beeld te 'eroden' (bvb door morphological filter) of door te werken met het zoeken naar luminance-edges (die overeen komen met de rand van de iris)
Generisch headtemplate zelf opzoeken op internet en zelf feature points aanduiden ...

TODO:

Framework zo snel mogelijk af
Deadline alle feature detection = 25 november

Realisaties week 5

2008-10-23T14:42:00.002+02:00

Implementatie face region detection: probleem ellipse-fitting ... 5-point ellipse-fitting geeft telkens ongeldige waardes voor minor and major axes
Afwerking eye position detection (detectie gebeurt nu in welafgebakend deel van het gezicht, op punten met een redchannel-variation value die groter is dan 300)
Iris center and radius estimation: probleem hoogste likelihood telkens bij straal=1px en centrum van de iris niet echt juist (kijkt scheel, iris center ni int midden) ... oorzaak bij Gaussian convolution kernel ?
Mail auteur paper: negatieve reactie -> op zoek naar alternatief ...

Realisaties week 4

2008-10-16T12:24:00.006+02:00

Iris center en radius estimation: bestuderen algoritme en probleem omtrent onbekende parameter n ...
Automatische oogpositie detectie (opstellen variation image): resultaat voor n=10, alpha=1, value>100 ... probleem van lange rekentijd voor één image + hoe uit deze beelden oogposities halen?
Skin-color detectie: paper over Bayes SPM niet gratis beschikbaar
Alternatief 1 (combinatie R/G-ratio & HSI): werkt maar voor zeer beperkt aantal beelden waar in de achtergrond niet teveel skin-colored pixels aanwezig zijn -> resultaat niet bevredigend (meestal werden ogen bvb ook als skin gedetecteerd)
Alternatief 2 (formule 10) : beter resultaat, voorlopig met dit verder gewerkt ...
Face region detectie: opzoekwerk ellipsefitting en begin implementatie probes

Afspraak week 3

2008-10-08T21:55:00.004+02:00

Woensdag 8 oktober, 16u, afspraak met Benidict Brown

Overlopen geleverde werk + verbetering email auteur

TODO's

Planning aanpassen aan het feit dat de headtemplate lang op zich kan laten wachten
Begin implementatie automatische oogdetectie
Testfaces database zoeken voor verschillende proefgelaten (google)

Realisaties week 3

2008-10-08T21:48:00.007+02:00

Mail opgesteld auteur ivm headtemplate en andere parameters
Implementatie manuele aanduiding willekeurige punten op een image
Tijdsbestedingstabel bijhouden
Implementatie manuele initialisatie van beide ogen met automatische detectie van de oogleden (een bescheiding begin). Het probleem hierbij is het vastleggen van de grenzen waarbinnen de minimale luminantie moet worden gezocht. Leg je de ondergrens te kort bij de iris, zal de iris zelf de minimale luminantie vormen, leg je de bovengrens te ver, vormt de neusvleugel of andere 'lijnen' de minimale luminantie. Het filteren van outliers bij het fitten van een curve door deze punten, zal de oplossing moeten bieden. Een andere oplossing is enkel de 2 ooghoek-punten (per oog) te interpoleren met de randen van de iris. De ooghoekpunten worden gevonden als de meest linkse (of meest rechtse) gevonden minimale luminantiepunten. Een bevredigend resultaat ...

Afspraak week 2

2008-10-06T13:30:00.004+02:00

Vrijdag 3 oktober, 14u, afspraak met Ares Lagae & Benedict Brown

Overlopen geleverde werk

TODO's

Email auteurs voor headtemplate
Aanpassing planning, meer implementatiegerichte thesis, zorg zo snel mogelijk voor werkend geheel (evt zonder automatische gezichtsdetectie)
Opstellen raamwerk
Werkuren bijhouden
Blog regelmatiger updaten
Begin implementatie!

Realisaties week 2

2008-10-06T13:27:00.008+02:00

Opstellen gedetailleerde planning
Keuze implementatie -> Java
Samenvatting paper
Eerste experimentele implementatie, foto's inlezen en ellips tekenen bij middelpunt van al de skin-colored pixels (voorsmaakje)

Afspraak met begeleider

2008-07-15T23:14:00.003+02:00

Maandag 14 juli, afspraak met Ares Lagae

Algemene uitleg verloop thesis:

1ste deel: vooral implementatiegericht (cfr paper), core van het systeem
2de deel: eigen inbreng (bv. gebruiksvriendelijke GUI, of uitbreiding naar gans lichaam, ...)

Eerste opdrachten:

Literatuur (= paper) lezen & experimenteren
Opstellen tijdschema
Keuze Java/C++
Blog aanmaken voor workflow