Как действует идентификация лицевых образов в смартфонах

Для чего мы выбираем разблокирование по лицу

В прошлые годы определение лиц стало одной из самых распространённых опций для деблокировки мобильных телефонов. Лишь несколько годов назад большинство использующих довольствовались PIN-кодами, паролями или датчиками отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь превращает эту конкретную особенность настолько популярной? Прежде всего, это практично: не нужно запоминать замысловатые пароли или искать верный палец в тьме. Также, это мгновенно: современные программы узнают лицо буквально за доли секунды. В-третьих, это ощущение будущего — будто в фильмах про адмирал х агентов.

Тем не менее за этой кажущейся легкостью прячется весь универсум комплексных технологий и инженерных решений. Давайте понять, как конкретно работает фейсканирование в новейших мобильных телефонах, какие бывают технологии, насколько они защищены и что нас предстоит.

Сжатая история развития инноваций

Идентификация лиц как методика существует уже более пятидесяти годов. Первые пробы автоматического исследования лиц были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ способны были лишь обозначать очертания лица и вычислять расстояния между очами и губами на монохромных изображениях.

Первые бизнес платформы появились в 90-х, но они были далеки от совершенства: действовали неспешно и часто ошибались. Только с прогрессом нейронных сетей и таких площадок, как адмирал х, мощных мобильных процессоров распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным идентификацией лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять свои решения.

Основные стадии функционирования механизма определения

Процесс определения лица можно условно сегментировать на несколько важных этапов:

Идентификация лиц — устройство выявляет наличие гуманного лица в снимке.
Извлечение признаков — система анализирует черты лица: очертания зрительных органов, носа, губ, позицию надбровных дуг.
Построение модели — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с стандартом — созданный образец сверяется с сохранённой при регистрации биометрической данными владельца.
Принятие выбора — если сходство достаточно существенное, смартфон открывается.

Каждый из указанных шагов нуждается в индивидуальных алгоритмов и усовершенствований для быстрой работы прямо на устройстве.

Технические компоненты: что скрыто внутри

Стандартная передняя камера.

Наиболее несложный способ распознавания лица применяет только переднюю видеокамеру смартфона. Такой подход реализован во многих недорогих моделях Android-девайсов.

Достоинства:

Не потребляет внешних датчиков.
Оперативно функционирует при хорошем свете.

Отрицательные стороны:

Просто одурачить фотографией или видео.
Неправильно функционирует при слабом освещении или необычных точках зрения.

ИК камера и точечный проектор

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика лежит в основе Face ID от Apple.

Каким способом это работает:

Точечный проектор показывает на облик пользователя невидимую решетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 точек).
ИК устройство записывает деформацию этой сетки по поверхности физиономии.
Создаётся 3D глубинная карта глубинности, что почти невозможна для имитации типичной фото или маскировкой.

Выигрыши

Надёжная работа даже в полной тьме.
Высокая устойчивость к подделкам.
Точность определения более 99%.

Дополнительные датчики

В определённых аппаратах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые измеряют период движения луча до предмета и обратно; Трехцветные-датчики дальности; специальные лазерные лидары для построения более аккуратной 3D-модели физиономии.

Эти технологии используются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический интеллект на работе

Текущие устройства опознания лиц невозможны без использования искусственного интеллекта и машинного обучения. Именно благодаря таким технологиям, как адмирал х, гаджет способно распознавать юзера даже при метаморфозах облика: новая причёска, растительность на лице, линзы или макияж не становятся барьером для разблокировки.

Обнаружение лиц

В начальном стадии система обязана мгновенно найти лицо внутри полного снимка камеры. Для этой задачи применяются каскадные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN может обнаруживать лицо даже в случае частичном закрытии (например, шарфом или ладонью).

Выделение важных точек

После обнаружения лица устройство, такая как адмирал х, вычисляет местоположение основных точек: уголки глаз, кончик носа, края губ и так далее. Часто используется от 68 до 128 основных маркеров на лицевой области.

Это нужно для нормализации картинки: если человек удерживает смартфон под наклоненным, или наклонил голову, программа "выпрямляет" картинку до обычного угла для последующего изучения.

Создание биометрического идентификатора модели

Далее нейронная сеть строит сжатое математическое представление ("эмбеддинг") облика пользователя — своеобразный цифровой "отпечаток" лица длиной от 128 до 512 вещественных чисел.

Данный формат весьма сложно подделать: он не хранит непосредственно фото пользователя, а лишь уникальные черты его вида, что делает его оптимальным для таких систем, как admiral-x.

Сопоставление и осуществление выбора

Когда пользователь желает открыть мобильник глазами, программа воспроизводит все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый уровень (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Адаптация к трансформациям внешности

Увлекательная особенность современных систем — способность самообучения. Если вы постоянно доступаете к мобильное устройство с обновленной стрижкой или оптикой, программа постепенно модернизирует эталонный модель вашего внешности для увеличения точности действия без снижения уровня безопасности.

Безопасность биометрических данных информации.

Большинство клиенты опасаются сохранять свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки информации или взлома гаджета. Некоторые компании, такие как admiral-x, предоставляют методы для улучшения сохранности информации пользователей.

Локальное сбережение: Основная часть аппаратов сохраняет биометричные шаблоны лишь внутрь защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют устройство и недоступны в том числе создателю.
Шифрование: Все сведения сохраняются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних разработчиков не имеют прямого возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Следует подчеркнуть значимую особенность: в случае, если кто-либо получит доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании внедряют систему защиты от неосознанного разблокирования — в частности, просят разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды идентификации лиц на изображениях?

На сегодняшний день можно выделить определить 3 ключевых подхода к выполнению этой задачи:

Программируемое плоское распознавание

Используется только фронтальная видеокамера без экстра детекторов дистанции. Подобный способ встречается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; низкая затраты; оперативная деятельность при достаточном свете.
Минусы: просто одурачить снимком; неустойчивая деятельность ночью; слабая защищенность.

Техническое трёхмерное сканирование

Применяет инфракрасную видеокамеру + проекционный модуль точек + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Достоинства: большая надежность; не получится исказить фото/видео; стабильная функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана ("чёлка")

Гибридные методы с интеграцией ИИ

Применяют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам ("anti-spoofing"). Например, такие изделия, например адмирал х и Google Pixel Face Unlock современных версий, объединяют фронталку c ИК датчиком мобильности Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями посторонних устройств.

Образцы применения различных методов

iPhone линейки X/11/12/13/14 задействуют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition впервые представил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 поддерживают как программное обеспечение плоское идентификацию по фото фронталкой, так и сенсор ириса глаза.
Huawei Mate20 Pro применяет систему из ИК-подсветки + Dot Projector + ToF-сенсор

Проблемы защиты и ложные тревоги

Несмотря на замечательный прогресс инноваций за недавние годы, совершенных системы пока не имеется:

Возможность обмана: Доступные смартфоны без труда "разблокируются" качественной фотографией хозяина или же видеозаписью с экрана другого устройства.
Идентичные близнецы: Даже самые совершенные устройства могут ошибиться между монозиготными близнецами либо родичами с очень похожей внешностью.
Изменения внешности: Внезапное утрата веса/увеличение массы тела, хирургические вмешательства либо повреждения порой необходимы для перерегистрации биометрических данных.
Условия съёмки: Интенсивная освещённость солнцем либо интенсивная темнота могут снизить аккуратность распознавания признаков.

Здесь несколько рекомендаций для безопасному применению:

Для критически важных операций всегда используйте двухфакторную аутентификацию;
Не активируйте опцию "Разблокировка по лицу" на бюджетных устройствах без ИК-сенсоров;
Систематически апгрейдите программное обеспечение смартфона для защиты от новых видов атак;
Включайте настройку "Требовать раскрытых глаз" везде, где она есть.

В каких местах дополнительно находится применение технология помимо мобильных телефонов?

Несмотря на то, что основная мысль данной публикации касается в частности смартфонам и планшетам, следует отметить альтернативных областях использования технологии:

Мониторинг доступа в деловых центрах и многоквартирных зданиях;
Платёжные устройства финансовых учреждений ("Face Pay");
Виртуальные удостоверения личности современного типа;
Комплексы видеомониторинга муниципальных подразделений;
Автоматизация регистрации присутствия учебных заведений/вузов;
Вход юзеров персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по лицу ("Face Pay") — нужно лишь пройти через турникет без карты или телефона! Схожие программы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется технология в наше время?

Всякий годик появляются новые мысли для повышения стандарта функционирования систем лицевого распознавания:

Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс ошибки;
Развиваются нейросети — передовые конструкции типа MobileNetV3 позволяют оперативно обучаться новым чертам вида пользователя непосредственно на девайсе без отправки данных в облако.
Совершенствуются методы антиспуфинга — теперь телефоны могут различать настоящие движущиеся лица от неподвижных снимков/маскировок по мельчайшим движениям кожи.
Взаимодействие со смарт-гаджетами — интеллектуальные часы могут самостоятельно закрыть доступ к смартфон, если владелец ушёл далеко.
Появляются смешанные системы — к примеру совмещающие голосовую опознание + лицо + дактилоскопический след.

Итак, те направления особенно актуальны в данный момент:

1) Миниатюризация элементов

Компании стараются минимизировать габариты прорези ("чёлки") под сенсоры на дисплее за счёт встраивания маленьких ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для улучшения личной безопасности всё больше обработки данных осуществляется внутри устройства без пересылки данных во сторонний облачный сервис.

3) Унификация норм

Гугл активно продвигает норму BiometricPrompt API, чтобы подобные платформы, вроде admiral x, и все Android-приложения могли работать с любыми видами биометрии стандартизированно.

Что подобрать сегодня?

Если вам всем необходима максимальная безопасность данных, подбирайте топовые устройства с интегрированным ИК-излучателем или же ToF-сенсором глубины.

iPhone каждого актуальных моделей
Huawei Partner/Series P ряда
Mi Expert
Vivo X модели
Oppo Найти Х серий.

Если бюджет невелик – лучше выбирать обычным методам безопасности (PIN-код/сканер пальца), а возможность "разблокировка по лицу", такую как в admiral x, применять только как опциональную возможность комфорта.

Каким способом повысить комфорт функционирования функции?

Есть несколько лайфхаков для пользователей, кто уже использует разблокировку по лицу:

Периодически меняйте свою фотографию-шаблон, если кардинально изменяется внешний вид.
Не забывайте протирать объектив передней камеры – загрязнения могут понизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам включает камеру если вы поднимаете его.
При регистрации старайтесь сохранять лицевую часть неподвижно впереди камеры не допуская значительного наклона головы.
Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от дисплея.

Возможности развития техники

В ближайшие времена можно предполагать развития полностью безконтактных способов опознания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + походка + манипуляции руками!

Также возможно возникновение новых методов защиты личной информации – к примеру, изменяющееся изменение цифрового образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из очень увлекательных техник нашего времени! Она делает интеракцию со телефоном проще чем когда-либо прежде, и такие приложения, как admiral-x, могут значительно повысить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как функционирует эта технология изнутри, – будете в состоянии более осмысленно выбирать свой следующий девайс!