Как работает определение лиц в мобильных устройствах

Почему мы останавливаемся на разлочивание по лицевому распознаванию

В недавние годы распознавание физиономий превратилось в одной из самых распространённых возможностей для деблокировки смартфонов. Всего несколько годков ранее основная масса юзеров удовлетворялись пин-кодами, паролями или сканерами отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что превращает эту функцию такой востребованной? Прежде всего, это практично: не нужно удерживать в памяти трудные пароли или искать верный палец в мраке. Кроме того, это оперативно: современные алгоритмы распознают лицо практически за мгновения ока. В-третью очередь, это ощущение будущего — словно в кинолентах про admiral x зеркало шпионов.

Тем не менее за этой на первый взгляд легкостью скрывается весь вселенная сложных техник и инженерных решений. Позвольте нам исследовать, как точно функционирует идентификация по лицу в современных смартфонах, какие применяются технологии, насколько они надёжны и что нас ожидает в будущем.

Сжатая история прогресса техники

Распознавание лиц как методика существует уже более пятидесяти лет. Начальные эксперименты автоматизированного анализа облика были осуществлены еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ могли лишь обозначать силуэты черепа и измерять расстояния между глазами и ртом на черно-белых изображениях.

Изначальные торговые платформы возникли в девяностых годах, но они были несовершенны: функционировали медленно и часто давали сбои. Только с развитием синтетических сетей и таких систем, как адмирал х, высокопроизводительных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать личные решения.

Ключевые этапы функционирования устройства идентификации

Процесс определения лица можно условно разделить на несколько ключевых этапов:

1. Идентификация лиц — устройство распознает существование гуманного лица в изображении.
2. Извлечение признаков — механизм изучает особенности физиономии: форму зрительных органов, носа, губ, положение надбровных дуг.
3. Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — полученный образец сверяется с записанной при регистрации биометрической сведениями владельца.
5. Принятие выбора — если сходство достаточно значительное, смартфон открывается.

Любой из данных шагов требует специальных процедур и улучшений для оперативной работы непосредственно на девайсе.

Железные элементы: что находится внутри

Стандартная фронтальная камера.

Наиболее простой вариант распознавания лица задействует исключительно фронтальную камеру мобильного устройства. Данный метод осуществлён во многочисленных недорогих вариантах Android-девайсов.

Плюсы:

• Не нуждается в потребляет дополнительные сенсоров.
• Оперативно функционирует при хорошем свете.

Недостатки:

• Просто одурачить изображением или роликом.
• Плохо работает при плохом освещении или нестандартных углах обзора.

ИК фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Каким образом это функционирует:

• Точечный проекционный прибор проецирует на физиономию пользователя невидимую структуру из тысяч инфракрасных точек (например, Face ID использует около 30 000 меток).
• ИК устройство фиксирует искривление этой сетки по поверхности лица.
• Создаётся трёхмерная карта глубины, которая практически неосуществима для фальсификации стандартной фото или маской.

Преимущества

• Надёжная работа даже в полной тьме.
• Высокая устойчивость к имитациям.
• Точность определения более 99%.

Дополнительные датчики

В отдельных аппаратах задействуются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые определяют время распространения света до цели и обратно; Трехцветные-датчики глубины; специальные лазерные измерители расстояния для формирования более аккуратной 3D-модели физиономии.

Эти разработки встречаются наиболее часто во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический ум в исполнении

Нынешние системы опознания лиц немыслимы при отсутствии эксплуатации искусственного интеллекта и machine learning. Именно благодаря таким инновациям, как адмирал х, гаджет способно идентифицировать юзера даже при трансформациях внешности: новая укладка, борода, очки или грим не становятся препятствием для открытия.

Распознавание лица

В стартовом этапе алгоритм должна быстро распознать ликовое изображение внутри целого снимка с камеры. Для этой задачи используются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: алгоритм MTCNN способен находить физиономию даже при частичном закрытии (например, платком или рукой).

Выделение ключевых моментов

После распознавания лица устройство, такая как адмирал х, вычисляет местоположение основных точек: кончики глаз, конец носа, контуры губ и так далее. Часто используется от 68 до 128 главных точек на лицевой области.

Данное нужно для нормализации изображения: если юзер держит смартфон под наклоном, или повернул голову, программа корректирует картинку до обычного угла для последующего изучения.

Формирование биометрического идентификатора шаблона

Далее искусственная сеть строит уплотненное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот шаблон крайне трудно сфальсифицировать: он не сохраняет непосредственно фото юзера, а лишь особенные особенности его облика, что делает его совершенным для таких площадок, как admiral-x.

Сравнение и принятие решения

В случае, когда человек желает разлочить смартфон глазами, механизм повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный границу (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ запрещается.

Привыкание к изменениям внешнего вида

Занимательная черта нынешних систем — возможность самообучения. Если вы часто открываете мобильное устройство с обновленной укладкой или очками, система постепенно обновляет основной образец вашего облика для улучшения точности функционирования без ухудшения безопасности.

Защита биометрических данных информации.

Множество клиенты беспокоятся сохранять свои био-идентификационные данные на мобильном устройстве из-за риска утечки данных или хакерской атаки. Некоторые организации, например admiral-x, предлагают методы для увеличения защиты сведений пользователей.

• Локальное сбережение: Преимущественно аппаратов хранит биометричные образцы лишь внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют устройство и недоступны включая изготовителю.

• Шифрование: Все сведения хранятся только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения внешних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь требовать факт верификации идентичности через системный API.

Необходимо отметить значимую особенность: в случае, если какой-то человек получит физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители реализуют систему защиты от неосознанного разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются типы определения лиц?

Сегодня можно выделить три ключевых способа к выполнению этой операции:

Программное двухмерное идентификация

Используется только передняя камера без дополнительных сенсоров глубины. Такой метод используется чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; низкая стоимость; скоростная функционирование при хорошем освещении.
Минусы: несложно одурачить снимком; ненадежная деятельность ночью; недостаточная безопасность.

Аппаратное 3D оцифровка

Задействует ИК видеокамеру + проекционный модуль точек + сенсоры глубины (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: большая надежность; невозможно исказить изображение/видеозапись; постоянная функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с дополнением ИИ

Используют комбинацию программных методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как адмирал х и Google Pixel Face Unlock новейших версий, сочетают фронталку c ИК датчиком движения Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами чужих устройств.

Иллюстрации применения разных техник

• iPhone линейки X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз предложил аналог Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 имеют как программное 2D определение по снимку фронтальной камерой, так и сенсор ириса глаза.
• Huawei Mate20 Pro применяет систему из ИК-подсветки + Dot Projector + ToF-датчик

Трудности безопасности и ложные сигналы

Несмотря на поразительный прогресс технологий за последние лет, совершенных систем пока не наблюдается:

1. Вероятность подвоха: Доступные мобильники легко “разблокируются” четкой фотографией хозяина или роликом с экрана другого устройства.
2. Идентичные близнецы: Даже самые совершенные устройства могут спутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
3. Метаморфозы облика: Резкое похудение/увеличение массы тела, пластические операции либо повреждения в некоторых случаях необходимы для повторной регистрации биометрических данных.
4. Условия съёмки: Сильная подсветка солнцем или же интенсивная темнота могут понизить точность определения признаков.

Вот несколько советов для безопасному применению:

• Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Систематически обновляйте программное обеспечение смартфона для предотвращения угроз от современных угроз;
• Включайте опцию “Требовать открытых глаз” в тех местах, где она есть.

В каких местах также применяется технология кроме мобильных телефонов?

Несмотря на то, что предмет данной работы касается в частности смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

• Управление доступа в деловых центрах и резиденциях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы современного поколения;
• Установки видеомониторинга городских сервисов;
• Автоматизирование регистрации явки школ/вузов;
• Вход юзеров компьютеров/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по лицу (“Face Pay”) — достаточно пройти через турникет без пластика или мобильника! Аналогичные проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом меняется технология в наше время?

Каждый годик возникают свежие концепции для усовершенствования качества деятельности систем идентификации лиц:

1. Увеличивается детализация сенсоров — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
2. Совершенствуются нейронные сети — передовые структуры вида MobileNetV3 обеспечивают возможность скоростно обучаться новым характеристикам внешности обладателя напрямую на гаджете без отправки данных в облако.
3. Развиваются технологии антиспуфинга — теперь мобильные устройства способны распознавать реальные анимированные лица от неподвижных фотографий/маскировок по мельчайшим движениям кожи.
4. Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут автоматически закрыть доступ к мобильный телефон, если владелец отошёл далеко.
5. Возникают комбинированные устройства — к примеру комбинирующие речевую идентификацию + облик + пальцевой отпечаток.

Вот, те тренды в особенности актуальны в данный момент:

1) Миниатюризация компонентов

Производители пытаются сократить габариты выреза (“чёлки”) под сенсоры на дисплее за счёт встраивания маленьких ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для повышения конфиденциальности всё более вычислений выполняется на месте без передачи данных во внешний облачный сервис.

3) Стандартизация стандартов

Гугл активно пропагандирует стандарт BiometricPrompt API, с целью чтобы подобные платформы, вроде admiral x, и все Android-приложения могли взаимодействовать с любыми видами биометрии единообразно.

Что выбрать сегодня?

Когда вам всем важна наивысшая безопасность информации, остановите выбор на топовые модели со встроенным ИК-проектором или ToF-датчиком глубины.

• iPhone всех существующих новейших поколений
• Huawei Partner/P Series ряда
• Xiaomi Professional
• Vivo X модели
• Oppo Обнаружить Х линейки.

Если средства ограничен – лучше предпочесть обычным средствам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную возможность удобства.

Каким образом повысить удобство работы возможности?

Есть некоторые лайфхаков для людей, кто уже пользуется разблокировку через лицо:

1. Регулярно меняйте свою изображение-шаблон, если значительно изменяется облик.
2. Не упускайте из виду протирать объектив фронтальной камеры – разводы могут понизить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует камеру когда вы поднимаете его.
4. В процессе регистрации пытайтесь удерживать голову прямо напротив камеры исключая резкого наклона головы.
5. Используйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвели взгляд от экрана.

Будущее развития инноваций

В скоро наступающие времена можно ожидать возникновения полностью бесконтактных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + походка + манипуляции руками!

Также возможно развитие современных способов обеспечения личной информации – например, динамическое корректировка цифрового шаблона после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее увлекательных технологий нашего времени! Она обеспечивает взаимодействие со смартфоном удобнее чем до этого, и такие приложения, как admiral-x, могут существенно улучшить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как функционирует эта система изнутри, – будете в состоянии более осмысленно определять свой следующий девайс!