Stage : Autonomous object recognition

Autonomous object recognition in videos using Deep learning and Developmental learning

Key-words: Autonomous systems, Deep learning, Developmental learning, Unsupervised learning, Siamese Neural Networks, Similarity learning, Object discovery, Saliency, Spatio-temporal coherence

Period: 5 months, starting from February/March (subject to negotiation)

Suited skills for the candidate:

– Master in artificial intelligence or computer vision. Previous experience in neural networks would be appreciated, particularly for image recognition. Interested in developmental learning. Scientific curiosity. Ability to read/write scientific articles. Good autonomy.

– Good programming skills required (C++, python, opencv, tensorflow, git)

Supervision:
Frédéric Armetta and Mathieu Lefort (SMA Team) – Stefan Duffner (Imagine Team)

Localisation: LIRIS Laboratory, Lyon, France

Send applications (curriculums and motivation letters) and any request to mathieu.lefort@liris.cnrs.fr, frederic.armetta@liris.cnrs.fr, stefan.duffner@liris.cnrs.fr

Financial reward:  500 € per month

Subject:
This internship aims to contribute to the development of an autonomous object recognition system for videos. In this context, the system is exposed to a visual flow (videos) and has to extract (proto-)objects to iteratively refine its internal representation for them. The purpose of this work is to develop such a system that is able to autonomously recognize and differentiate objects thanks to the building of an internal representation for these objects. Taking inspiration from human perception and following the constructivist learning paradigm [1], we want to get rid of the use of a large labeled database, prior knowledge or sophisticated object detectors, but instead provide an autonomous development. The problem and associated objectives differ from the general way to address the learning using supervised reinforcement methods like deep learning. Indeed, no large dataset would ideally be available for the system (extraction of visual identified objects should be part of the result and not provided).

This internship will capitalize on previous promising preliminary results. The current system can first extract global shapes to catch candidate objects from the video, using simple temporal filters (for instance, a Kalman filter) and the spatio-temporal coherence of objects (movement and spatial overlap can help to define instances of objects as similar). It then uses Siamese Neural Networks [2][3] to learn a similarity metric by providing pairs of examples marked as coming from the same or from different classes. This model constructs a manifold that can be used to classify examples of unknown classes. Following these guidelines, preliminary results show that the system is able to classify new instances of objects with a good accuracy. Nevertheless, the way to maintain and make evolve this representation raises many questions that can be deepened on a short or long term according to the analysis of needs in the course of the project (catastrophic forgetting [4], active learning [5], overfitting, ability to generalize, little data, etc.).

A challenging topic that we would like to deepen during this internship relies in the possibility to use the so built internal representation to facilitate the object extraction from the videos. Indeed, without any knowledge of the objects and due to the relatively simple temporal filtering to detect candidate objects, the first extraction is coarse and highly sensitive to environmental noise. The internal representation could then be used to validate and outline the candidate objects. In this case, the object catching and the internal representation for objects evolve together. The process we want to elaborate is a self-starting one operating without external input. In other words, the so form system has to learn how to perceive efficiently in order to be able to learn more, and reciprocally. We face here a chicken-and-egg cognitive problem, also known as a representation bootstrapping problem [6].

The project could lead to a PhD position in case of financial acceptance of the associated submitted project.

Bibliography :

[1] Piaget. J. (1948), « La naissance de l’intelligence chez l’enfant »

[2] Zheng, L., Duffner, S., Idrissi, K., Garcia, C., Baskurt, A. (2016). « Pairwise Identity Verification via Linear Concentrative Metric Learning ». IEEE Transactions on Cybernetics

[3] Berlemont, S., Lefebvre, G., Duffner, S., Garcia, C. (2017). « Class-Balanced Siamese Neural Networks », Neurocomputing

[4] Goodfellow, J., Mirza, M., Xiao, D., Courville, A., Bengio, Y. (2015). « An Empirical Investigation of Catastrophic Forgeting in Gradient-Based Neural Networks », CoRR

[5] Lefort, M., Gepperth, A. (2015). « Active learning of local predictable representations with artificial curiosity ». International Conference on Development and Learning and Epigenetic Robotics (ICDL-Epirob), Providence (USA)

[6] Mazac, S., Armetta, F., Hassas, S. (2014). «On bootstrapping sensori-motor patterns for a constructivist learning system in continuous environments. In Alife 14

 

PhD position – Automous vehicle navigation

The Chroma group at Inria Grenoble, France ( https://team.inria.fr/chroma/ ) has a funded PhD position in automous vehicle navigation.

——Context——
The funding project involves Inria (https://www.inria.fr/en/) and the Valeo Company (http://www.valeo.com/en/the-group/). Its goal is to propose a novel approach for solving the problem of navigation of fully autonomous vehicles in urban environments.

The Chroma group and the PhD student involved in this project will focus on integrating models of human drivers (pedestrian and/or drivers), proxemics (human management of space) and traffic rules to integrate an autonomous vehicle in a flow of cars.

—–Environment—–
The overall objective of Chroma team is to address fundamental and open issues that lie at the intersection of the emerging research fields called “Human Centered Robotics » and “Multi-Robot Systems (MRS) ». Our goal is to design algorithms and develop models allowing mobile robots to navigate and operate in dynamic and human-populated environments. Chroma is involved in all decision aspects pertaining to (multi)robot navigation tasks, including perception and motion-planning. Our approach for addressing this challenge is to bring together probabilistic methods, planning techniques and multi-agent decision models. This is done in cooperation with other disciplines such as psycho-sociologists for the purpose of taking into account human models. Two main research themes of robotic navigation are addressed : i) Perception and situation awareness in human-populated environment, by focusing on bayesian perception and sensor fusion ii) Scaling-up single and multi-robot motion-planning, by combining uncertainty modeling, decentralized (swarm) models and multi-agent sequential decision making. The Chroma team is also concerned with applications and transfer of the scientific results. We work with industrial and start-up partners. Our main application domains concern autonomous vehicle driving (with Renault and Toyota), aerial robots for surveillance tasks and services robotics.

—–How to apply—–
The ideal candidate has a strong background in planning, control and robotics. The candidate must be a proficient user of C/C++ and ROS and any relevant computer vision library (e.g., ViSP, OpenCV, PCL). Scientific curiosity, large autonomy and ability to work independently are also expected.
Interested candidates must send to Anne Spalanzani ( anne.spalanzani@inria.fr ) the following material:
– a motivation letter with any relevant information for proving a good match with the description of the activities and expected profile of the candidates
– a detailed CV
– name of at least two referees
– results in M1 and M2

Keywords : Robotics, Autonomous vehicle, planning, risk analysis, human-robot interaction

Offre de post-doc : Modélisation multi-échelle à base d’agents d’évacuations massives de population

Modélisation multi-échelle à base d’agents d’évacuations massives de population

Contexte : le projet ANR ESCAPE
L’urbanisation croissante à l’échelle mondiale s’accompagne d’une augmentation des vulnérabilités des populations à des événements naturels ou technologiques extrêmes, du fait du nombre de personnes et de biens potentiellement affectés. Les évacuations horizontales massives font partie des stratégies pour protéger les populations face à ces aléas. Cependant, les risques liés à un déplacement massif dans un environnement potentiellement perturbé et un contexte de stress, sont élevés : refus de l’évacuation, accidents, exposition directe à la catastrophe, troubles à l’ordre public, paralysies des services de secours. Peu de moyens prospectifs sont disponibles pour permettre aux responsables politiques et opérationnels de comprendre et d’anticiper les enjeux liés à la conception de plans d’évacuation. C’est à ce problème majeur que s’attaque le projet ESCAPE dont l’objectif est de contribuer à la conception de systèmes d’aide à la décision dans le cas d’évacuations massives.
(plus de détails sur le projet ANR ESCAPE : https://goo.gl/vqz4xZ)

Mission
Le post-doc développera et implémentera la modélisation des individus et des groupes au sein du modèle général ESCAPE, ainsi que les méthodes multi-échelles et multi-paradigmes de leur mise en oeuvre, en coordination avec les chercheurs du LITIS impliqués dans le projet. Il interagira également avec les Work Packages amont (récolte et structuration des données et des procédures) et aval (simulations et expérimentations).

Profil : Docteur en informatique.
Compétences scientifiques : Modélisation à base d’agents, systèmes multiagents ; systèmes complexes ; simulation.
Compétences thématiques : Risque, Mobilité, Systèmes spatialisés

Durée : 12 mois renouvelables une fois, laboratoire LITIS, Université de Rouen Normandie, Saint-Étienne-du-Rouvray
– Démarrage janvier 2018
– salaire selon expérience et grilles de la fonction publique.

Description complète ici : Offre post-doc ANR ESCAPE

Offre de thèse EDF/LIMSI : Simulation multi-agent des comportements

Simulation multi-agent des comportements en relation avec le confort thermique et l’autoconsommation énergétique des bâtiments à l’échelle du quartier

Mots-clefs :Simulation Multi-Agent, Simulation de Comportements dans l’Habitat, Simulation multi-niveau, Modélisation du confort, Autoconsommation, Bâtiment réactif.

Description détaillée ici : lasie-EDF-LIMSI

Contexte général
L’impact du comportement des occupants sur les performances énergétiques des bâtiments est reconnu comme un verrou scientifique, en particulier pour les bâtiments à basse consommation, dont le comportement est très sensible aux phénomènes à dynamiques rapides, tels que les flux solaires ou la présence des occupants [Candanedo et al., 2017; Carlucci et al., 2016]. Il est donc important de pouvoir étudier en amont, à l’aide de simulations, comment le comportement des individus va impacter la performance énergétique du bâtiment.
De plus, les logements modernes sont capables de produire, de stocker et de consommer de l’énergie : on parle de bâtiment réactif. Les prises de décision des occupants dans ces logements ont un impact significatif sur les performances du logement lui-même (niveau de consommation, confort des occupants), et sur son environnement (au sens large : réseau électrique et autoconsommation partagée, thermique du quartier, qualité d’air…).
Le contexte général de nos travaux est celui de la simulation de l’impact des comportements humains sur les performances d’un bâtiment à énergie positive et sur son environnement.

Profil du candidat
Le candidat devra avoir un Bac+5 en informatique ou équivalent (école d’ingénieur avec spécialisation en informatique par exemple). Une formation en Systèmes Multi-Agents et Intelligence Artificielle est requise.
Dans le contexte pluridisciplinaire de la thèse, des notions en physique du bâtiment et une appétence pour les Sciences Humaines et Sociales seraient particulièrement appréciées.
La maîtrise de la langue anglaise est indispensable

Informations pratiques
Le candidat résidera en région parisienne. Il travaillera sur le site EDF R&D de Saclay et au LIMSI-CNRS à l’Université Paris-Saclay (les deux sites sont situés à 10 minutes en bus). Dans le cadre de la thèse, il sera amené à travailler ponctuellement au LaSIE (La Rochelle) et sur le site EDF R&D des Renardières (près de Fontainebleau). L’ensemble de ses déplacements dans le cadre du doctorat sera pris en charge.
Le doctorant percevra un salaire de 1780 € nets mensuels.
Contact : Nicolas.Sabouret@limsi.fr

Offre de post-doctorat au LITIS

L’équipe MIND (http://www.litislab.fr/equipe/mind/) du laboratoire LITIS à Rouen recrute un post-doctorant pour 12 mois à partir de janvier 2018 dans la cadre du projet PlaIR 2018 (FEDER).
Toute personne intéressée peut me contacter par mail (Laurent.Vercouter@insa-rouen.fr) jusqu’au 31 octobre 2017.
Le descriptif du poste est détaillé ci-dessous.
Projet PlaIR et mission du post-doctorant :
L’objectif du projet de Plateforme d’Indexation Régionale (PlaIR), soutenu depuis 2010 par des fonds régionaux, nationaux et européens, est de développer des outils et modèles d’accès à l’information s’appuyant sur des méthodes de dématérialisation, d’indexation et de personnalisation pour la constitution de corpus de documents numériques, avec trois champs d’applications privilégiés : les documents patrimoniaux, la santé et le droit international du transport.
Le recrutement du post-doctorant se fait dans le cadre d’un work-package du projet FEDER PlaIR 2018 portant sur le développement d’un portail d’accès personnalisé à des documents juridiques fournis par l’Institut du Droit International du Transport (IDIT). Sa tâche sera de définir et d’implémenter un mécanisme de gestion de la confiance intégré aux fonctions d’ajout d’annotations aux documents de manière à renforcer la pertinence de parties annotées pour un profil d’utilisateur et un profil de recherche. La prise en compte de profils différents et l’exploitation de la structure spécifique des documents juridiques concernés nécessitera la proposition d’un modèle original de gestion de la confiance. Il sera exploité par un système d’agents logiciels déployé sur la plateforme fournissant des services d’assistance, de personnalisation et de recommandation.
Profil :
Les candidat(e)s devront être titulaire d’un doctorat en informatique avec des compétences souhaités dans le domaine des systèmes multi-agents, de la gestion de la confiance, de l’apprentissage par renforcement ou de la recherche d’information (il n’est pas nécessaire d’être expert dans tous ces domaines mais une expérience dans certains d’entre eux sera appréciée).
Conditions :
Le contrat sera de 12 mois pouvant commencer dès janvier 2018, avec un salaire d’environ 2500 € brut mensuels
Le post-doctorant travaillera dans les locaux du LITIS au campus du Madrillet à Saint-Etienne du Rouvray (Seine-Maritime).
Candidatures acceptées jusqu’au 31 octobre 2017.

stage de M2 Recherche : Stratégies de contrôle décentralisées pour la régulation coopérative du trafic routier

Offre de stage de M2 Recherche (2017-2018)

Stratégies de contrôle décentralisées pour la régulation coopérative du trafic routier

Les paradigmes distribués (systèmes multi-agents) et les techniques d’Intelligence artificielle et de science des données (apprentissage) permettent d’élaborer de nouvelles stratégies de contrôle qui s’adaptent à différents horizons et/ou à différents problèmes applicatifs.

Ce type d’approche fait référence aux techniques d’apprentissage développemental (Mazac, Armetta, & Hassas, 2014), qui permettent la construction de représentation (perception-action) et son enrichissement (montée en abstraction) au cours du cycle de vie du système (méthodes en ligne). L’objectif de ce stage est de proposer de nouveaux mécanismes permettant d’étendre un modèle constructiviste existant (Guériau, Armetta, Hassas, Billot, & El Faouzi, 2016). Le modèle développé a pour vocation d’être générique, pouvant être implémenté dans différents contextes applicatifs innovants comme les systèmes coopératifs de transport intelligents (CITS) ou la robotique.

Profil attendu :
Master 2 Informatique, idéalement avec un cursus orienté Intelligence Artificielle. Un goût pour les approches multidisciplinaires est attendu. Une motivation pour les systèmes multiagents et l’IA développementale est fortement appréciée. Bonne connaissance et mise en pratique des méthodes de conception (UML) et de la programmation orientée objet.
Curiosité, autonomie et force de proposition complèteront très positivement le profil.

Durée du stage : 5 mois de février à juin 2018.

Encadrement :
– Salima Hassas (Laboratoire LIRIS, Université Claude Bernard Lyon 1, http://liris.cnrs.fr).
– Nour-Eddin El Faouzi (Laboratoire LICIT, IFSTTAR, Université de Lyon, http://licit.ifsttar.fr).
– Maxime Guériau (LIRIS & LICIT).

Organisme d’accueil :
Ce sujet est proposé dans le cadre d’une collaboration entre un laboratoire d’informatique et un laboratoire d’ingénierie du trafic. L’équipe SMA du LIRIS est spécialisée dans les systèmes distribués à base de systèmes multi-agents et les techniques d’Intelligence Artificielle et d’apprentissage développemental. L’équipe MOMI du LICIT est à la pointe des techniques de modélisation et de régulation du trafic routier. Les deux équipes participeront à l’encadrement du stage, qui se déroulera au Laboratoire LIRIS à Villeurbanne

Description complète ici : PropositionStage_VehiculeAutonome