Обзор рынка технологий Исследование РЭ в мире Исследование РЭ в России Инструменты и возможности для исследований Инструменты Данные Методология Возможные направления работы Обзор рынка технологий Взяв за основу обзор рынка компаний занимающихся распознаванием эмоций (дальше РЭ) за 2011 год, я провел поиск и актуализацию информации, и составил актуальный на данный момент список компаний, с которым можно ознакомиться по ссылке. В список включены компании занимающиеся РЭ (отмечены светло-желтым маркером) и компании чьи технологии близки к этому. 3 компании предоставляют white paper - документ, в котором описываются основные принципы работы, и происходит обоснование используемых методов (они отмечены светло зеленым маркером). Ознакомиться с этими документами можно тут. В качестве резюме по этим материалам можно сказать следующее: Технологии по РЭ развились до состояния, когда алгоритмы при помощи компьютерного зрения способны распознавать 6 базовых эмоций (по Экману) как на статических изображениях, так и в режиме реального времени на видео. Точность детектирования зависит от конкретных эмоций и внешних факторов, но в целом, при удовлетворительных условиях колеблется в пределах 80-95%. Далее тезисно Тех. ограничения качество фото/видео положение исследуемого лица в пространстве помехи на лице (волосы, аксессуары и т.п.) макс. распознавание кадров/сек варьируется от 15 до 20 Методология распознавания часть компаний использует собственные методики или не раскрывает их часть компаний использует Систему кодирования лицевых движений разработанную Экманом (анализ состояния 43 лицевых мышц в момент времени) нет единого алгоритма построения лицевых карт, каждая компания использует собственные наработки Методологические ограничения нет возможности отличить искреннюю эмоцию от симулируемой (хотя, согласно Экману, такая возможность имеется - необходим комплексный анализ мимики) Что неизвестно? алгоритмы учитываемые факторы глубина анализа Применение компании предоставляют SDK для внешних разработчиков и исследователей почти все компании позиционируют себя как маркетинговый инструмент для работы с потребителем Исследование РЭ в мире Исследование проблем РЭ компьютером привлекает не мало в мире, о чем можно судить по наличию специальных лабораторий при ведущих институтах мира, публикациям, интересам зарубежных правительств (в частности США - ФБР). Так же была найдена одна докторская диссертация по теме. Исследование РЭ в России По найденным данным можно сказать, что в РФ РЭ занимается две группы людей: МГТУ “Станкин” (2012 - н.в.) - Ковшов Е.Е., Митропольский Н.Н., Завистовская Т.А., Рогозина М.М. Семенова Я. С (2009 - н.в.) Найденные публикации собраны здесь Инструменты и возможности для исследований Инструменты OpenCV - библиотека для работы с компьютерным зрением с открытым исходным кодом. Умеет детектировать лица на фото и видео. Stasm - библиотека для распознавания частей лица(рот, нос и т.д), интегрирована с OpenCV Данные Существует ряд открытых и закрытых баз данных аннотированных специалистами фотографий, которые могут послужить эталонными образцами. http://pics.psych.stir.ac.uk/Other_face_databases.htm http://stackoverflow.com/questions/8840294/face-emotion-database-facs-database Методология Основным источником научных данных о РЭ служат работы Экмана П. и Фризена У. (занимались изучением области более 20 лет) и их система кодирования лицевых движений. Возможные направления работы разработка собственного алгоритма анализа информации поступающей через компьютерное зрение и определение основных эмоций на основании этого алгоритма анализ информации о эмоциях на лице человека с целью прикладного использования результатов в системах безопасности системах напрямую взаимодействующих с людьми (различные терминалы) помощь людям, в распознавании эмоций (например, аутистам) создание аналога полиграфа, на основе “психологии лжи” и детекции эмоций компьютером … … Было бы чертовски интересно заниматься “детектором лжи”, но я сомневаюсь в научности этой затеи, хотя здесь присутствует и анализ информации в большом количестве, и возможность опровержения теории, и простота проверки результатов, и актуальность проблемы.