Realisaties week 9-13

Deze realisaties werden niet meer geblogd, maar rechtstreeks in het verslag gerapporteerd.

Realisaties week 8

• Verfijning halstextuur (veel mooier resultaat)
• Verfijning keypoints van de projectie van het oor op de schedel (geen exacte projectie, want keypoints worden enkel gebruikt als ellipsebenadering waar het oor zich bevindt). Exacte projectie onmogelijk omwille van ruwe mesh rondom oor.
• Bugfixen en afwerking oortextuur (2D en 3D)
• Uitwerking implementatie manuele feature-aanduiding en uitbreiding naar andere foto's dan dit chineesje

Realisaties week 7

• Verfijning keypoints op de oogbol
• Wijziging van oogtextuurmap, nu planaire mapping (aangezien je toch slechts een heel klein deel van de oogbal zit, volstaat hier een planaire mapping (ipv sferische). Dit is ook veel makkelijker om de textuur op te maken. Het resultaat van de planaire mapping en het aanbrengen van de keypoints op de oogbol is hier te zien.

Realisaties week 6

• Textuurmap wimpers op basis van stukje haar uit het profieltextuurvlak
• Opvulling witpixels in globale textuurmap op basis van gemiddelde kleurwaarde aangrenzende niet-witpixels
• Start oortextuur
• Subdividing oogbolmeshes met Maya om keypoints nauwkeuriger te kunnen aanduiden op de oogbol zelf (ipv op het hoofdmodel)
• Afwerking neusdetectie (tot aan de hoogte van de ogen) dmv verbinding gedetecteerde neusvleugels (geel) met 1/4e afstand tussen de ogen en uiterste punt van de wenkbrauw
• Verfijning RBF aan de kin (toevoeging neckpoint aan keypoints)

Realisaties week 5

• Blending frontaal textuurvlak met profiel textuurvlak. Gebied binnen ellips (bepaald door buitenste ooghoeken, top&bottom face-ellipse punten en beide mondhoeken) volledig frontaal. Gebied buiten ellips (bepaald door face ellips 20 pixels verticaal te stretchen) volledig profiel. De 20 pixels vormen een overgangsband. In het gebied tussen de ellipsen wordt een weight lineair berekend op basis van de afstand tot de contour van de binnenste ellips. We bekomen nu 1 lineair geblend textuurvlak, en een 3D-equivalent.

Realisaties week 4

• Resultaat van het frontale textuurvlak (beperkt tot de gezichtsellips)
• Doel is om aangeduide features te matchen naar de texture map van de profile key points, dus van (1) naar (2).
• Resultaat van het profiel textuurvlak (gespiegeld rond verticale as door neustop)
• Mapping van de profiel foto op het textuurframework. Voorlopig 3D-resultaat. Merkbare artefacten aan de oren (omdat deze niet zijn opgenomen in de RBF aangezien ze los zijn weergegeven op de textuurmap) en aan de ogen (ooghoek ook in RBF opnemen?).
• Herfijnde uitwerking profieltextuur. Nu ook benaderde oor-ellips, eyebrowcorner, eyecorner, nosecorner en lipcorner in rekening gebracht. Punten in RBF nu van (1) naar (2). Resultaat van het profiel textuurvlak. Beter 3D-resultaat.

Realisaties week 3

• Uitvissen welke textuurcoordinaten gegeven zijn. Resultaat. Probleem met discontinue delen van nek, achterhoofd en oren?
• RBF toepassen op frontale foto om te passen in de texture map. Textuurcoordinaten van frontal keypoints en van profile keypoints samengevoegd naar 1 textuurframework.
• Doel is om aangeduide features te matchen naar de texture map van de frontale key points, dus van (1) naar (2)
• Mapping van de frontale foto op het textuurframework. Resultaat op 3D-model.

Realisaties week 2

• Afspraak thesisbegeleider
• Bespreking plan 2e semester
• Begin textuur generatie

Realisaties week 13

• Afwerking volledige RBF
• Implementatie ruwe GUI (wizard concept) ... preview
• Voorbereiding demo en presentatie
• Debugging color transfer en ellipsfitting
• Implementatie manuele detectie features

Realisaties week 12

• Combinatie van beide RBFs volgens shape deformation in de paper
  (bescheiden begin, scalering moet nog verder uitgewerkt worden
• Succesvolle draaiing van profile key points volgens hoek tussen lijn NBT-CP van de detected features en de key points van het generisch model
• Scalering nu op basis van afstand NBT-CP
• Gesegmenteerde scalering profile points in orde, resultaat totale shape deformation
• Color adjustment tussen profile and frontal image in orde, gebruik makend van lab-color space
• Ruwe uitwerking vernieuwd idee GUI (nl. wizard-concept)

Realisaties week 11

• Manuele aanduiding keypoints succesvol (aantal keypoints = 194)
• Manuele (en correcte) aanduiding van frontal en profile features om voorlopig verder te werken in de shape deformation
• Schaling en assentransformatie van 2D-imagecoördinaten naar 3D-headmodelcoördinaten
• Schaling op basis van breedte hele chin&cheekcontour-curve
• Succesvolle RBF van frontal features
• Succesvolle RBF van profile features

Afspraak week 10

Donderdag 27 november, 16u, afspraak met Benedict Brown

• Eerste RBF lijkt okee
• Focus on shape deformation (manuele aanduiding keypoints)
• Ear detection evt manueel
• Volgende week geen afspraak

Realisaties week 10

• Nose en chin&cheek detection veel vlotter met canny edge detection
• Bepalen en tekenen van eerste keypoints op generisch hoofdmodel
• Deformatie van een punt op het hoofdmodel (manueel)
• RBF-implementatie, probleem van singuliere matrix opgelost met pseudo-inverse (volgens deze site) ... test met willekeurige punten lijkt te kloppen
• Langer maken van de neus d.m.v. RBF (vb)

Afspraak week 9

Donderdag 20 november, 16u, afspraak met Benedict Brown

• Nosedetectie met Canny edge detectie proberen
• Nu best met shape deformation starten

Realisaties week 9

• Iris contour detection nu m.b.v. Sobel mask ...
  Volledig geautomatiseerde eye-detection nu een feit! (werkt ook bij ogen met sterke reflecties)
• Nose contour detection, d.m.v toepassing 12x12-median filter en vervolgens Sobel filter ...
  Vaak één neusvleugel goed gedetecteerd, maar andere niet. Soms ook perfect resultaat. Oplossen d.m.v. symmetrie?
  Rekentijd beperkt door medianfilter slechts toe te passen op het betrokken gebied.
• Chin&cheek contour detection, probleem met schommelingen 4e graadsveelterm, dus gebruik gemaakt van splines. Implementatie gradient direction nog niet gelukt ... Resultaat met enkel gradient magnitude blijft hangen aan ruis in het beeld (zelfs met 12x12-median filter) ...
• Lip contour vervangen door closed spline (i.p.v. gebroken lijn)

Realisaties week 8

• Lip contour detection. Initiele mouth ellipse iteratief vervormd door 15 contourpunten te bewegen. Resultaat okee.
• Fiducial points detection. Begin skindetectie (1), dan op zoek naar grootste aanéénsluitend gebied skin-pixels (2), tenslotte bepalen most-right points van elke rij de profile curve (3). Nose-tip wordt bepaald dmv right-most point, under-nose point dmv het punt onder de nose-tip waar de 2e afgeleide het grootst is en nose-bridge point door lokaal minimum boven de nose-tip. Voorlopig correcte detectie van deze 3 punten.

Realisaties week 7

• Introducing OBJ-file simplified head model in Java3D (preview). Mogelijkheid tot draaien, transleren en zelfs zoomen.
• Presentatie (slides maken, voorbereiden, ...)

Voornaamste reacties op presentatie:

• Shape deformation niet onderschatten!
• Duidelijker onderscheid maken tussen zelf geleverde werk, en paperextracten

Afspraak week 6

Donderdag 30 oktober, 16u, afspraak met Benidict Brown

• Ellipsefitting proberen met enkel de probes die stilstaan (evt RANSAC om outliers te detecteren) ... ni teveel tijd meer aan spenderen
• Best geroteerde ellips gebruiken en pixels transformeren zodanig dat ellips recht staat
• Head model: zoeken op http://www.turbosquid.com/ of shape.cs.princeton.edu of shapes.aim-at-shape.net of http://www.eyetronics.com/ of evt average head maken van 150 opendeurdagscans
• Presentatie: 20min, 20slides, beter goe overzicht dan elk technisch detail ...

Realisaties week 6

• Ellipsefitting met leastsquares succesvol, enige probleem = 1 outlier vervormt meteen heel de ellips (zoals hier)
• Ellipsefitting nu helemaal correct, lengte van de assen moest nog aangepast worden aan de rechthoekige foto (verhouding lengte/breedte). Bij benadering wordt een geroteerde ellips (stippellijn) vervangen door een ellips (volle lijn) waarvan de hoofdassen evenwijdig zijn met de randen van de foto (aangezien het hoofd meestal quasi recht staat en een rechte ellips veel makkelijker is om de plaatsing van ogen, mond,... in te schatten. Sommige face detections zijn nu perfect!
• Implementatie lip function image en initial mouth contour gelukt

Afspraak week 5

Donderdag 23 oktober, 16u, afspraak met Benidict Brown

• Ellipsefitting fout omdat door 5 punten juist één kegelsnede gaat (en dit is niet persé een ellips) -> voorgestelde oplossing: gebruik 'least squares' ipv 'least median of squares'
• Trage rekentijd voor redchannel-variation-image in eerste iteratie geen probleem
• Iris centrum wrs fout door (witte) reflecties in de ogen -> oplossen door oorspronkelijk beeld te 'eroden' (bvb door morphological filter) of door te werken met het zoeken naar luminance-edges (die overeen komen met de rand van de iris)
• Generisch headtemplate zelf opzoeken op internet en zelf feature points aanduiden ...

TODO:

• Framework zo snel mogelijk af
• Deadline alle feature detection = 25 november