Master Thesis

Extracció de tuples semàntiques / anotació de tuples

Work default illustration

Supervisor/s

Information

  • If you are interested in the proposal, please contact with the supervisors.

Description

Context: In recent years, vision based object classification methods have improved dramatically: Now it is possible to predict with a high degree of certainty if thousands of different objects appear in an image (To get an idea of this, take a look at the Clarifai). This improvement has allowed the cientific community and the big Internet companies like Google, Yahoo! or Facebook to pursue more ambitious objectives: Automatically generate textual descriptions in natural language, in short, as a person would do it, for photos uploaded to social networks such as Flickr or Instagram.

Objectives: In this project the student will work on the problem of automatically extracting "semantic argument tuples", a representation that captures the basic semantic contents of a sentence in natural language. Currently we have developed the initial version of a software program for semantic tuple extraction, and the student will work on improving it, together with the project director.

Examples of semantic tuples

Methodology: For this project, knowledge of the Matlab language, and fluency in English will be required. Prior knowledge of natural language processing will be a plus, but the student is expected to learn it during the project.

Brief work plan: First, the student will familiarize with the existing Matlab code, and with the natural language processing concepts involved, particularly the semantic argument tuples. Next, the work will consist in determining the weak points of the current method and improve them.




Antecedents: En els últims anys, els mètodes de detecció d'objectes en imatges han experimentat una dramàtica millora: ara és possible predir amb un alt nivell de certesa la presencia de milers d'objectes diferents en imatges (podeu fer-vos-en una idea mirant la web Clarifai). Aquesta millora ha permès a la comunitat científica i a les grans empreses d'Internet com Google, Yahoo! o Facebook afrontar objectius més ambiciosos: generar automàticament descripcions textuals en llenguatge natural, és a dir, tal com ho faria una persona, per a fotografies disponibles en xarxes socials com Flickr o Instagram.

Objectius: En aquest projecte s'estudiarà com extreure "tuples d'arguments semàntics", una representació que conté els elements semàntics essencials d'una frase en llenguatge natural, de forma automàtica. Actualment es disposa d'una primera versió d'un software per a l'extracció de tuples d'arguments semàntics, i la tasca de l'estudiant serà intentar millorar els resultats obtinguts conjuntament amb el director de projecte.

Examples of semantic tuples

Tècniques experimentals o metodologia que s'utilitzarà: Per a aquest projecte faran falta coneixements de Matlab i un bon nivell d'anglès. Coneixements previs de processament de llenguatge natural són un plus important, però s'espera que l'estudiant els adquireixi en el transcurs del projecte.

Breu pla de treball a realitzar: En una primera fase, l'estudiant es familiaritzarà amb el codi Matlab existent, i amb els conceptes de processament de llenguatge natural en general i els de tuples d'arguments semàntics en particular. En una segona fase, s'intentaran detectar els punts flacs del mètode actual, i millorar-los.

The work is under the scope of the following projects:

  • ViSen: Visual Sense, Tagging visual data with semantic descriptions (web)