Кейс · мультимодальный анализ эмоций
Собственная архитектура нейронной сети для оценки эмоций и вовлечённости — точнее RuBERT
Для задачи оценки эмоций и вовлечённости учащихся по текстово-графическим данным — тексту сообщения вместе с эмодзи — разработана отдельная архитектура нейронной сети, в которой текст и эмодзи анализируются раздельными частями сети с последующим объединением результатов. На тестовых данных архитектура показала более высокую точность, чем RuBERT — ближайший по назначению аналог.
Главный результат
Разработанная архитектура нейронной сети превзошла по точности RuBERT — ближайший аналог для этой задачи
С чего всё начиналось
Существующие языковые модели, включая RuBERT, не рассчитаны на совместный анализ текста и эмодзи и не давали достаточной точности на этой задаче. Требовалось разработать архитектуру нейронной сети под текстово-графические данные и довести её до работающего инструмента: приложения, которое показывает преподавателю результат, а не исследовательского отчёта.
Что мешало
Эмоциональное состояние и вовлечённость учеников оценивались визуально — субъективно и без возможности обработки большого объёма сообщений.
Готовой архитектуры под задачу не существовало — RuBERT и аналогичные модели не учитывают эмодзи и не давали нужной точности.
Анализ только текста не учитывает смысл эмодзи, хотя в сообщениях учеников эмодзи часто меняет смысл сообщения.
Обученная модель не давала практического результата без встраивания в продукт, работающий с потоком сообщений.
Что я сделал
Собрал и разметил мультимодальный набор данных из сообщений с эмодзи и разработал архитектуру нейронной сети, в которой текст и эмодзи анализируются отдельными частями сети, а затем результаты объединяются. На тестовых данных архитектура показала более высокую точность оценки эмоций, чем RuBERT — ближайший по решаемой задаче аналог.
Реализовал приложение с интерфейсом ввода: текст можно ввести вручную, загрузить файлом или передать изображением — в этом случае текст и эмодзи распознаются из изображения автоматически. На выходе приложение выдаёт оценку эмоции, вовлечённости и готовности к восприятию материала.
Как это работает
Анализирует текст
Отдельная часть модели анализирует смысл текста сообщения.
Анализирует эмодзи
Вторая часть модели отдельно оценивает смысл, который несут эмодзи.
Объединяет результаты
Соединяет оба результата анализа для более точной оценки эмоционального состояния.
Формирует оценки
Определяет эмоцию и рассчитывает вовлечённость и готовность к восприятию материала.
Что умеет продукт
Точность выше RuBERT
На тестовых данных архитектура показала более высокую точность оценки эмоций, чем RuBERT — ближайший по назначению аналог.
Локальная обработка данных
Компактная архитектура — не большая языковая модель (LLM). Данные обрабатываются на стороне клиента, без передачи во внешние сервисы.
Быстрый инференс без спецоборудования
Модель запускается на обычном пользовательском компьютере и не требует специализированного оборудования.
Шесть базовых эмоций
Радость, грусть, гнев, страх, удивление и отвращение — с оценкой по каждой.
Вовлечённость и готовность
Отдельные оценки того, насколько ученик включён и готов воспринимать материал.
Текст и эмодзи
Мультимодальный анализ — модель учитывает как текст, так и смысл эмодзи.
Распознавание из изображения
Из загруженного изображения автоматически извлекаются текст и эмодзи.
Оценка иронии
Отдельно оценивает иронию — случай, когда буквальный смысл текста расходится с эмоциональной окраской.
Несколько форматов ввода
Текст, файл формата .txt или изображение — модель принимает любой из этих форматов.
Эмоциональное состояние группы на одном экране
Отдельный режим собирает статистику по каждому учащемуся: преобладающую эмоцию, среднюю вовлечённость и готовность, а также распределение эмоций по всем его сообщениям.
Преподаватель получает данные об эмоциональном состоянии и вовлечённости группы при дистанционном и смешанном обучении без необходимости разбирать сообщения вручную.
Как это выглядит
Что изменилось
Было
- —Эмоциональное состояние и вовлечённость оценивались визуально — субъективно и без обработки большого объёма сообщений
- —RuBERT и аналогичные модели не учитывали эмодзи и не давали нужной точности
- —Обученная модель могла остаться исследовательским кодом без практического применения
Стало
- ✓Собственная архитектура оценивает эмоции по тексту и эмодзи совместно, с более высокой точностью, чем RuBERT
- ✓Вовлечённость и готовность к восприятию материала рассчитываются автоматически
- ✓Результат доступен в приложении — по отдельному сообщению и по учащемуся в целом
Разработана собственная архитектура нейронной сети для оценки эмоций и вовлечённости по текстово-графическим данным, которая на тестовых данных превзошла по точности RuBERT — ближайший по назначению аналог. В отличие от большой языковой модели, архитектура компактна: данные обрабатываются на стороне клиента, инференс быстрый, а запуск не требует специализированного оборудования. Архитектура доведена до работающего приложения, а не осталась исследовательским кодом.