Richard Zhang et sa machine qui « hallucinait » les couleurs

On se souvient tous avec effroi des premières tentatives de coloriser les vieux films noir & blanc : un procédé complexe et long, pour des résultats pas toujours à la hauteur des espérances. Et si on confiait désormais ce travail délicat à un algorithme ?

Qiuyi (Richard) Zhang, chercheur en mathématiques appliquées à l’Université de Berkeley, a mis au point une technique pour permettre à une machine de deviner les couleurs qui se cachent derrière des clichés monochromes. Ou plutôt, comme le dit Zhang lui-même, permettre à l’ordinateur « d’halluciner des couleurs là où il n’y en a pas ».

Le principe est simple : en l’exposant à des millions d’image via un processus de deep learning, on entraîne un système de réseaux neuronaux convolutifs à reproduire les fonctions primaires de notre vision (celles qui nous permettent par exemple de distinguer des motifs ou de classer les objets).

Cet entraînement intensif permet ensuite au système de reconnaître les objets présentés sur des clichés noir & blanc et d’en déduire les bonnes couleurs. Un peu à l’instar de ce que ferait un enfant avec un livre à colorier : il va puiser dans sa mémoire visuelle pour décider des teintes les plus adéquates pour habiller les objets qu’on lui présente : ciel bleu, herbe verte, citron jaune, etc.

La machine de Zhang fait tout pareil. Avec un succès relatif, mais néanmoins prometteur, comme on peut le voir ici en comparaison d’autres systèmes (à gauche, l’image source et en 4ème position le résultat avec l’algorithme de Zhang, à comparer avec les vraies couleurs sur le cliché tout à droite).

Plutôt cool, non ? Si le sujet vous branche, je vous invite à parcourir le papier complet de Zhang (disponible ici), qui regorge d’exemples (de succès mais aussi d’échecs) et d’informations techniques sur la méthode utilisée.