Realisaties week 13

• Afwerking volledige RBF
• Implementatie ruwe GUI (wizard concept) ... preview
• Voorbereiding demo en presentatie
• Debugging color transfer en ellipsfitting
• Implementatie manuele detectie features

Realisaties week 12

• Combinatie van beide RBFs volgens shape deformation in de paper
  (bescheiden begin, scalering moet nog verder uitgewerkt worden
• Succesvolle draaiing van profile key points volgens hoek tussen lijn NBT-CP van de detected features en de key points van het generisch model
• Scalering nu op basis van afstand NBT-CP
• Gesegmenteerde scalering profile points in orde, resultaat totale shape deformation
• Color adjustment tussen profile and frontal image in orde, gebruik makend van lab-color space
• Ruwe uitwerking vernieuwd idee GUI (nl. wizard-concept)

Realisaties week 11

• Manuele aanduiding keypoints succesvol (aantal keypoints = 194)
• Manuele (en correcte) aanduiding van frontal en profile features om voorlopig verder te werken in de shape deformation
• Schaling en assentransformatie van 2D-imagecoördinaten naar 3D-headmodelcoördinaten
• Schaling op basis van breedte hele chin&cheekcontour-curve
• Succesvolle RBF van frontal features
• Succesvolle RBF van profile features

Afspraak week 10

Donderdag 27 november, 16u, afspraak met Benedict Brown

• Eerste RBF lijkt okee
• Focus on shape deformation (manuele aanduiding keypoints)
• Ear detection evt manueel
• Volgende week geen afspraak

Realisaties week 10

• Nose en chin&cheek detection veel vlotter met canny edge detection
• Bepalen en tekenen van eerste keypoints op generisch hoofdmodel
• Deformatie van een punt op het hoofdmodel (manueel)
• RBF-implementatie, probleem van singuliere matrix opgelost met pseudo-inverse (volgens deze site) ... test met willekeurige punten lijkt te kloppen
• Langer maken van de neus d.m.v. RBF (vb)

Afspraak week 9

Donderdag 20 november, 16u, afspraak met Benedict Brown

• Nosedetectie met Canny edge detectie proberen
• Nu best met shape deformation starten

Realisaties week 9

• Iris contour detection nu m.b.v. Sobel mask ...
  Volledig geautomatiseerde eye-detection nu een feit! (werkt ook bij ogen met sterke reflecties)
• Nose contour detection, d.m.v toepassing 12x12-median filter en vervolgens Sobel filter ...
  Vaak één neusvleugel goed gedetecteerd, maar andere niet. Soms ook perfect resultaat. Oplossen d.m.v. symmetrie?
  Rekentijd beperkt door medianfilter slechts toe te passen op het betrokken gebied.
• Chin&cheek contour detection, probleem met schommelingen 4e graadsveelterm, dus gebruik gemaakt van splines. Implementatie gradient direction nog niet gelukt ... Resultaat met enkel gradient magnitude blijft hangen aan ruis in het beeld (zelfs met 12x12-median filter) ...
• Lip contour vervangen door closed spline (i.p.v. gebroken lijn)

Realisaties week 8

• Lip contour detection. Initiele mouth ellipse iteratief vervormd door 15 contourpunten te bewegen. Resultaat okee.
• Fiducial points detection. Begin skindetectie (1), dan op zoek naar grootste aanéénsluitend gebied skin-pixels (2), tenslotte bepalen most-right points van elke rij de profile curve (3). Nose-tip wordt bepaald dmv right-most point, under-nose point dmv het punt onder de nose-tip waar de 2e afgeleide het grootst is en nose-bridge point door lokaal minimum boven de nose-tip. Voorlopig correcte detectie van deze 3 punten.

Realisaties week 7

• Introducing OBJ-file simplified head model in Java3D (preview). Mogelijkheid tot draaien, transleren en zelfs zoomen.
• Presentatie (slides maken, voorbereiden, ...)

Voornaamste reacties op presentatie:

• Shape deformation niet onderschatten!
• Duidelijker onderscheid maken tussen zelf geleverde werk, en paperextracten

Afspraak week 6

Donderdag 30 oktober, 16u, afspraak met Benidict Brown

• Ellipsefitting proberen met enkel de probes die stilstaan (evt RANSAC om outliers te detecteren) ... ni teveel tijd meer aan spenderen
• Best geroteerde ellips gebruiken en pixels transformeren zodanig dat ellips recht staat
• Head model: zoeken op http://www.turbosquid.com/ of shape.cs.princeton.edu of shapes.aim-at-shape.net of http://www.eyetronics.com/ of evt average head maken van 150 opendeurdagscans
• Presentatie: 20min, 20slides, beter goe overzicht dan elk technisch detail ...

Realisaties week 6

• Ellipsefitting met leastsquares succesvol, enige probleem = 1 outlier vervormt meteen heel de ellips (zoals hier)
• Ellipsefitting nu helemaal correct, lengte van de assen moest nog aangepast worden aan de rechthoekige foto (verhouding lengte/breedte). Bij benadering wordt een geroteerde ellips (stippellijn) vervangen door een ellips (volle lijn) waarvan de hoofdassen evenwijdig zijn met de randen van de foto (aangezien het hoofd meestal quasi recht staat en een rechte ellips veel makkelijker is om de plaatsing van ogen, mond,... in te schatten. Sommige face detections zijn nu perfect!
• Implementatie lip function image en initial mouth contour gelukt

Afspraak week 5

Donderdag 23 oktober, 16u, afspraak met Benidict Brown

• Ellipsefitting fout omdat door 5 punten juist één kegelsnede gaat (en dit is niet persé een ellips) -> voorgestelde oplossing: gebruik 'least squares' ipv 'least median of squares'
• Trage rekentijd voor redchannel-variation-image in eerste iteratie geen probleem
• Iris centrum wrs fout door (witte) reflecties in de ogen -> oplossen door oorspronkelijk beeld te 'eroden' (bvb door morphological filter) of door te werken met het zoeken naar luminance-edges (die overeen komen met de rand van de iris)
• Generisch headtemplate zelf opzoeken op internet en zelf feature points aanduiden ...

TODO:

• Framework zo snel mogelijk af
• Deadline alle feature detection = 25 november

Realisaties week 5

• Implementatie face region detection: probleem ellipse-fitting ... 5-point ellipse-fitting geeft telkens ongeldige waardes voor minor and major axes
• Afwerking eye position detection (detectie gebeurt nu in welafgebakend deel van het gezicht, op punten met een redchannel-variation value die groter is dan 300)
• Iris center and radius estimation: probleem hoogste likelihood telkens bij straal=1px en centrum van de iris niet echt juist (kijkt scheel, iris center ni int midden) ... oorzaak bij Gaussian convolution kernel ?
• Mail auteur paper: negatieve reactie -> op zoek naar alternatief ...

Realisaties week 4

• Iris center en radius estimation: bestuderen algoritme en probleem omtrent onbekende parameter n ...
• Automatische oogpositie detectie (opstellen variation image): resultaat voor n=10, alpha=1, value>100 ... probleem van lange rekentijd voor één image + hoe uit deze beelden oogposities halen?
• Skin-color detectie: paper over Bayes SPM niet gratis beschikbaar
  Alternatief 1 (combinatie R/G-ratio & HSI): werkt maar voor zeer beperkt aantal beelden waar in de achtergrond niet teveel skin-colored pixels aanwezig zijn -> resultaat niet bevredigend (meestal werden ogen bvb ook als skin gedetecteerd)
  Alternatief 2 (formule 10) : beter resultaat, voorlopig met dit verder gewerkt ...
• Face region detectie: opzoekwerk ellipsefitting en begin implementatie probes

Afspraak week 3

Woensdag 8 oktober, 16u, afspraak met Benidict Brown

Overlopen geleverde werk + verbetering email auteur

TODO's

• Planning aanpassen aan het feit dat de headtemplate lang op zich kan laten wachten
• Begin implementatie automatische oogdetectie
• Testfaces database zoeken voor verschillende proefgelaten (google)

Realisaties week 3

• Mail opgesteld auteur ivm headtemplate en andere parameters
• Implementatie manuele aanduiding willekeurige punten op een image
• Tijdsbestedingstabel bijhouden
• Implementatie manuele initialisatie van beide ogen met automatische detectie van de oogleden (een bescheiding begin). Het probleem hierbij is het vastleggen van de grenzen waarbinnen de minimale luminantie moet worden gezocht. Leg je de ondergrens te kort bij de iris, zal de iris zelf de minimale luminantie vormen, leg je de bovengrens te ver, vormt de neusvleugel of andere 'lijnen' de minimale luminantie. Het filteren van outliers bij het fitten van een curve door deze punten, zal de oplossing moeten bieden. Een andere oplossing is enkel de 2 ooghoek-punten (per oog) te interpoleren met de randen van de iris. De ooghoekpunten worden gevonden als de meest linkse (of meest rechtse) gevonden minimale luminantiepunten. Een bevredigend resultaat ...

Afspraak week 2

Vrijdag 3 oktober, 14u, afspraak met Ares Lagae & Benedict Brown

Overlopen geleverde werk

TODO's

• Email auteurs voor headtemplate
• Aanpassing planning, meer implementatiegerichte thesis, zorg zo snel mogelijk voor werkend geheel (evt zonder automatische gezichtsdetectie)
• Opstellen raamwerk
• Werkuren bijhouden
• Blog regelmatiger updaten
• Begin implementatie!

Realisaties week 2

• Opstellen gedetailleerde planning
• Keuze implementatie -> Java
• Samenvatting paper
• Eerste experimentele implementatie, foto's inlezen en ellips tekenen bij middelpunt van al de skin-colored pixels (voorsmaakje)

Afspraak met begeleider

Maandag 14 juli, afspraak met Ares Lagae

Algemene uitleg verloop thesis:

• 1ste deel: vooral implementatiegericht (cfr paper), core van het systeem
• 2de deel: eigen inbreng (bv. gebruiksvriendelijke GUI, of uitbreiding naar gans lichaam, ...)

Eerste opdrachten:

• Literatuur (= paper) lezen & experimenteren
• Opstellen tijdschema
• Keuze Java/C++
• Blog aanmaken voor workflow