Поимка микровыражений на 200 FPS

Лицо дёрнулось. И пропало за 40 миллисекунд. EmoPulse клянётся, что их система на 200 FPS ловит это на лету, избавляясь от размытости ленивых CNN. Но после 20 лет в Кремниевой долине я насмотрелся на такую болтовню и сомневаюсь в отдаче.

Трюк EmoPulse с 200 FPS для поимки микровыражений — хайп или скрытое золото? — theAIcatchup

Key Takeaways

  • EmoPulse ловит микровыражения на 200 FPS с временным вниманием — то, что стандартные CNN пропускают.
  • GAN-аугментация поднимает F1 до 0,81, фокус на action units вместо эмоций.
  • Скептический взгляд: техника напоминает хайп вокруг детекторов лжи, деньги скорее в security, чем в терапии.

Моргни — и всё. 1/25 секунды — вот и весь срок жизни микровыражения, этих хитрых морщинок на лице, которые якобы выдают самую сокровенную ложь. EmoPulse, новичок в анализе мимики, заявляет, что расколол орех: их пайплайн на 200 FPS оставляет в дураках традиционный computer vision.

Мы все это видели: глянцевые демо, где ИИ читает эмоции как заправский покерист. Но отойдите: большинство моделей ковыляет на 30 FPS, размазывая эти вспышки в кашу. EmoPulse же выжимает 200 кадров в секунду на пределе захвата, подавая в Tiny-I3D backbone микроклипы — 16 кадров, окна по ~80 мс. Никакого жира: оптический поток разбирают на атомы, фокусируясь на активациях мышц вроде AU25 (расхождение губ) или AU04 (опускание бровей).

Вот кодовый сниппет, которым они хвастаются, псевдопитон, намекающий на ум:

def forward(self, flow_stack): # shape: (B, C, T=16, H, W) features = self.i3d_backbone(flow_stack) attention_weights = self.temporal_attention(features) # learned peak sensitivity attended = features * attention_weights au_logits = self.au_head(attended.mean(dim=[3,4])) return au_logits

Циничный я сначала закатываю глаза — очередной стартап из Долины толкает «реал-тайм» чудеса. Но копни глубже: не чистый пар. Они влепляют 99% dropout на пространственные фичи, заставляя модель зацикливаться на динамике, а не на красивой роже. Датасеты? CASME II и SAMM — крохи, так что GAN-ом накачивают фейковыми дёрганьями на нейтральных лицах. Бум: F1 взлетает с 0,68 до 0,81. Всё на устройстве через TensorRT, без облачных задержек. Пропустишь 40 мс правды — и ослепнешь.

Почему стандартные CNN лажают на микровыражениях?

Слушайте, CNN — короли статичных снимков: кошки, собаки, стоп-знаки. Добавь скорость? Они усредняют кадры, как пьяный, размывая фонари. EmoPulse относится ко времени как к святыне, а не как к довеску. Их маска временного внимания? Выдирает пики, игнорируя стабильность. Умно, если сработает за пределами лабораторных игрушек.

Но вот мой фирменный хук в солнечное, которого нет в их питче: это эхо провала полиграфов 70-х. Пол Экман тогда пиарил микровыражения как детекторы лжи — ФБР клюнуло, агентов гоняли на тренингах. Реальность? Полевые тесты в тартарары; контекст важнее дёрганья. EmoPulse может добить технику, но развёртывание в собеседованиях или рекламе? Тот же пожар приватности, плюс кто спонсирует? Контрактники по безопасности слюни пускают на «детекцию AU за 5 мс».

Короткий абзац для удара: Скептически? Я тоже.

Они хвастают: без классификации эмоций — чистые action units. Чисто, да. Меньше предвзятости в разметке радости против обмана. Но синтетика? GAN-ы галлюцинируют шикарно, а реальные лица в дикой освещённости? Тут F1 в штопор. Я освещал достаточно провалов в CV — помните фирмы «эмошн-АИ» 2018-го, обещавшие рай на работе, а их засудили за жуткий сервеланс?

Может ли 200 FPS от EmoPulse перевернуть игру?

Итак, 200 FPS на устройстве. Порог реал-тайма? Они бросают вызов: всё ещё тусите на 30 FPS? Бьёт в точку. Но кто заплатит? Рекламщики, подстраивающие билборды под вашу подавленную гримасу? Терапевты, вылавливающие скрытую грусть? Или копы, одобряющие допросы? Сайт EmoPulse на emo.city дразнит высокоскоростными поведенческими сигналами, но этику обходит стороной.

«Микровыражения не редкость — их просто не замечают.»

Это их убийственная фраза. В точку — мы постоянно сливаем правду, если приглядеться. Их пайплайн разбирает поток, фокусируется на вспышках, выдаёт AU-логиты. С GAN-бустом держит в «реальных условиях». Но 20 лет наблюдений за Долиной: такая интимная техника всегда клонится к контрол-фрикам. Прогноз? Корпоративная безопасность слопает первой, не фильтр для iPhone.

Чуток блуждания: вспомните Affectiva? Обанкротилась, гоняясь за эмошн-АИ. EmoPulse уходит в сторону, фокусируясь на микро, не макро. Временное разрешение премиум — респект. Но TensorRT на устройстве? Будет

Elena Vasquez
Written by

Senior editor and generalist covering the biggest stories with a sharp, skeptical eye.

Worth sharing?

Get the best AI stories of the week in your inbox — no noise, no spam.

Originally reported by Dev.to