Каким образом работает определение лиц в мобильных устройствах

Для чего мы выбираем разблокирование по лицу

В прошлые времена идентификация лиц превратилось в одной из самых распространённых функций для разблокировки мобильных телефонов. Лишь пару годков ранее основная масса пользователей обходились пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением таких технологий, как Вулкан Платинум, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Что обуславливает данную особенность настолько популярной? Во-первых, это удобно: не нужно удерживать в памяти сложные пароли или искать нужный палец в мраке. Также, это мгновенно: современные алгоритмы идентифицируют лицо практически за доли секунды. В-третью очередь, это впечатление будущего — будто в кинолентах про вулкан платинум зеркало агентов.

Однако за этой на первый взгляд несложностью прячется полный мир трудных технологий и инженерных концепций. Попробуем исследовать, как конкретно функционирует распознавание лиц в новейших смартфонах, какие существуют технологии, насколько они безопасны и что нас предстоит.

Краткая хроника эволюции технологии

Распознавание лиц как технология присутствует уже более пятидесяти годов. Изначальные эксперименты автоматизированного изучения лиц были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры умели лишь определять контуры головы и определять дистанции между очами и губами на черно-белых изображениях.

Первые торговые платформы возникли в 1990-х годах, но они были несовершенны: действовали неспешно и нередко ошибались. Только с эволюцией нейронных сетей и таких платформ, как Vulkan Platinum, мощных мобильных чипов идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать личные решения.

Основные этапы работы системы распознавания

Процесс определения лица можно примерно сегментировать на несколько важных этапов:

1. Идентификация лиц — устройство выявляет наличие человеческого лица в кадре.
2. Определение характеристик — алгоритм изучает особенности физиономии: форму зрительных органов, носа, уст, расположение бровей.
3. Построение модели — создаётся неповторимый электронный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со эталоном — сформированный модель сравнивается с сохранённой при регистрации биометрической данными владельца.
5. Принятие выбора — если совпадение достаточно высокое, смартфон разблокируется.

Каждый из указанных стадий требует специальных алгоритмов и усовершенствований для быстрой работы прямо на устройстве.

Аппаратные компоненты: что скрыто в их недрах

Обычная фронтальная камера.

Простейший несложный способ идентификации облика задействует лишь переднюю камеру смартфона. Подобный способ реализован во многочисленных доступных моделях Android-устройств.

Плюсы:

• Необходимо нуждается в внешних датчиков.
• Быстро функционирует при хорошем освещённости.

Минусы:

• Просто обмануть изображением или видеозаписью.
• Неправильно работает при плохом освещении или необычных точках зрения.

Инфракрасная камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика лежит в основе Face ID от Apple.

Каким образом это действует:

• Точечный проектор отображает на облик пользователя невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
• ИК камера регистрирует искривление этой решетки по поверхности лица.
• Создаётся трехмерная карта глубины глубинности, которая практически неподвластна для имитации стандартной фото или маской.

Преимущества

• Надёжная работа даже в полной темноте.
• Высокая устойчивость к имитациям.
• Точность идентификации выше 99%.

Дополнительные датчики

В отдельных девайсах задействуются также экстра сенсорные устройства: ToF (Time-of-Flight), которые определяют время распространения луча до цели и обратно; RGB-датчики дальности; специальные оптические дальномеры для создания более детализированной 3D-модели лица.

Эти разработки используются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный ум на работе

Текущие системы распознавания физиономий немыслимы в отсутствие использования искусственного интеллекта и машинного обучения. Именно вследствие таким инновациям, как Vulkan Platinum, аппарат может узнавать пользователя даже при трансформациях внешности: новая причёска, растительность на лице, оптика или макияж не становятся барьером для открытия.

Детектирование лиц

В стартовом этапе программа должна быстро найти ликовое изображение среди всего кадра с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы идентифицировать человеческие лица среди множества других объектов.

Пример: метод MTCNN может находить облик даже с частичном перекрытии (например, шарфом или рукой).

Определение основных аспектов

После распознавания лица система, такая как Vulkan Platinum, вычисляет местоположение основных точек: кончики глаз, конец носа, контуры губ и так далее. Часто используется от 68 до 128 основных маркеров на лицевой области.

Это действие требуется для стабилизации картинки: если пользователь удерживает телефон под наклоном, или повернул головку, программа исправляет картинку до стандартного положения для последующего изучения.

Формирование биометрического образца

Далее нейросеть строит сжатое цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 флоатов.

Такой шаблон крайне трудно подделать: он не удерживает непосредственно фото юзера, а лишь особенные черты его внешности, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сопоставление и вынесение решения

Если юзер намеревается разблокировать мобильник взглядом, система осуществляет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный порог (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ запрещается.

Привыкание к изменениям внешности

Занимательная черта нынешних системы — способность самостоятельного обучения. Если вы регулярно доступаете к телефон с обновленной стрижкой или очками, алгоритм постепенно освежает базовый образец вашего лица для увеличения точности действия без снижения уровня безопасности.

Безопасность биометрических данных информации.

Большинство юзеры беспокоятся держать свои биометрические идентификационные данные на смартфоне из-за риска утечки информации или взлома гаджета. Некоторые фирмы, например Вулкан Казино Платинум, предлагают методы для улучшения защиты данных пользователей.

• Локальное хранение: Преимущественно аппаратов записывает био-идентификационные образцы лишь в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из аппарат и недоступны в том числе изготовителю.

• Шифрование: Все информация сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Программы третьих разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует упомянуть существенную подробность: в случае, если кто-либо получит физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании внедряют защиту от “слепого” разблокирования — в частности, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются виды распознавания лиц?

Сегодня можно определить определить 3 основных метода к осуществлению этой операции:

Программное плоское распознавание

Используется только фронтальная камера без экстра детекторов глубины. Подобный способ встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота осуществления; умеренная затраты; быстрая деятельность при качественном свете.
Минусы: легко ввести в заблуждение снимком; неустойчивая деятельность ночью; недостаточная безопасность.

Аппаратное трёхмерное сканирование

Использует инфракрасную камеру + проектор точек + датчики глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Преимущества: высокая достоверность; нельзя исказить фото/видео; постоянная деятельность при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Используют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например Vulkan Platinum и Google Pixel Face Unlock новейших поколений, сочетают фронталку c инфракрасным датчиком мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Образцы применения различных методов

• iPhone серии X/11/12/13/14 используют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил эквивалент Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 поддерживают как программное обеспечение 2D распознавание по снимку селфи-камерой, так и сенсор ириса глаза.
• Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Проблемы защиты и ошибочные срабатывания

Несмотря на впечатляющий прогресс инноваций за недавние лет, безупречных механизмов пока не существует:

1. Шанс обмана: Доступные смартфоны легко открываются высококачественной снимком хозяина или видео с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые идеальные системы могут спутать между монозиготными близнецами либо семьями с очень аналогичной внешностью.
3. Изменения внешнего вида: Резкое похудение/увеличение массы тела, косметические процедуры либо повреждения порой требуют перерегистрации биометрии.
4. Условия записи: Интенсивная подсветка солнцем или же глубокая затенение могут снизить точность определения признаков.

Здесь несколько подсказок по безопасному применению:

• Для критически важных операций всегда применяйте двухфакторную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Регулярно апгрейдите программное обеспечение телефона для предотвращения угроз от современных угроз;
• Включайте опцию “Требовать распахнутых глаз” там, где она доступна.

В каких областях также применяется технологии помимо мобильных телефонов?

Хотя предмет нашей публикации сосредоточена на конкретно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

• Мониторинг прохода в рабочих помещениях и резиденциях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Электронные паспорта современного типа;
• Установки видеомониторинга муниципальных служб;
• Автоматизирование отслеживания посещаемости учебных заведений/вузов;
• Аутентификация участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или телефона! Схожие программы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом меняется техпроцесс в нынешнее время?

Каждый годочек проявляются новые мысли для усовершенствования уровня работы систем лицевого распознавания:

1. Увеличивается разрешение сенсоров — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше риск погрешности;
2. Развиваются нейросети — новейшие структуры вида MobileNetV3 обеспечивают возможность быстро обучаться дополнительным чертам внешности владельца прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются способы антиспуфинга — теперь телефоны умеют различать подлинные анимированные облики от статичных фото/маскировок по незаметным микродвижениям.
4. Синхронизация со смарт-гаджетами — смарт-часы могут самостоятельно закрыть доступ к смартфон, если обладатель удалился на значительное расстояние.
5. Возникают гибридные механизмы — например объединяющие аудио опознание + физиономию + дактилоскопический след.

Вот, те направления особенно актуальны в данный момент:

1) Миниатюризация деталей

Производители стараются уменьшить габариты выреза (“чёлки”) под датчики на дисплее за счёт встраивания миниатюрных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для увеличения личной безопасности всё более вычислений выполняется внутри устройства без пересылки информации во сторонний облачный сервис.

3) Стандартизация норм

Гугл энергично пропагандирует норму BiometricPrompt API, для того чтобы подобные площадки, вроде Вулкан Платинум, и любые Android-приложения были совместимы с любыми видами биометрии единообразно.

Что решить сегодня?

Когда вам всем нужна максимальная сохранность данных, выбирайте топовые аппараты с вмонтированным ИК-проектором либо ToF-сенсором глубины.

• iPhone всех существующих актуальных моделей
• Huawei Mate/P Series серии
• Mi Professional
• Vivo X линейки
• Oppo Find X линейки.

Если бюджет невелик – лучше предпочесть классическим средствам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в Вулкан Платинум, применять только как второстепенную возможность удобства.

Как улучшить комфорт функционирования функции?

Есть некоторые советов для тех, кто уже применяет разблокировку через лицо:

1. Регулярно обновляйте свою фото-шаблон, если значительно трансформируется облик.
2. Не забывайте очищать линзу передней камеры – пятна могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает камеру когда вы поднимаете его.
4. Во время записи пытайтесь сохранять лицо неподвижно перед объектива не допуская сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвернулись от экрана.

Будущее прогресса техники

В скоро наступающие годы можно предвкушать развития полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: лицо + звучание + шаги + движения рук!

Также возможно развитие новых способов защиты личной информации – скажем, изменяющееся изменение электронного паттерна после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее увлекательных технологий нашего периода! Она обеспечивает общение со телефоном удобнее чем до этого, и такие программы, как Вулкан Казино Платинум, могут в разы оптимизировать ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как устроена эта система изнутри, – сможете более осмысленно определять свой будущий устройство!