Каким образом работает определение лиц в смартфонах

Зачем мы останавливаемся на разлочивание по лицу

В недавние годы идентификация лиц является одной из наиболее востребованных опций для деблокировки умных телефонов. Еще некоторые годов ранее большинство юзеров довольствовались PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением подобных технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Что делает данную возможность такой востребованной? Во-первых, это практично: не нужно помнить замысловатые пароли или находить правильный палец в темноте. Кроме того, это мгновенно: современные системы узнают лицо практически за мгновение. В-третью очередь, это впечатление будущего — словно в кинофильмах про вулкан автомат шпионов.

Однако за данной кажущейся простотой таится весь мир сложных технологий и инженерных решений. Попробуем разобраться, как именно действует фейсканирование в современных мобильных телефонах, какие применяются способы, насколько они безопасны и что нас ожидает в будущем.

Краткая история развития технологии

Распознавание лиц как техника имеется уже более пятидесяти годов. Первые эксперименты автоматизированного анализа облика были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ способны были лишь обозначать контуры головы и вычислять дистанции между глазами и ртом на черно-белых фотографиях.

Начальные торговые платформы стали доступны в 90-х, но они были далеки от совершенства: действовали неспешно и часто давали сбои. Только с прогрессом нейронных сетей и таких платформ, как вулкан россии, мощных мобильных процессоров распознавание лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали интегрировать личные разработки.

Главные этапы действия системы идентификации

Процесс определения лица можно ориентировочно поделить на несколько ключевых этапов:

1. Обнаружение лица — устройство выявляет наличие гуманного образа в снимке.
2. Определение особенностей — механизм анализирует особенности облика: форму зрительных органов, обонятельного органа, губ, положение бровей.
3. Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — полученный модель сравнивается со зафиксированной при внесении биометрической информацией владельца.
5. Принятие определения — если соответствие достаточно существенное, смартфон открывается.

Каждый из данных этапов требует особых методов и усовершенствований для оперативной работы непосредственно на девайсе.

Технические компоненты: что скрыто внутри них

Стандартная фронтальная камера.

Наиболее несложный способ идентификации физиономии использует лишь фронтальную видеокамеру мобильного устройства. Такой метод реализован во многочисленных недорогих моделях Android-девайсов.

Преимущества:

• Не требует дополнительных датчиков.
• Оперативно функционирует при достаточном свете.

Отрицательные стороны:

• Легко обмануть фотографией или роликом.
• Плохо действует при плохом освещённости или нестандартных ракурсах.

ИК фотокамера и точечный проекционный аппарат

Более продвинутые системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология является основой Face ID от Apple.

Как это работает:

• Точечный проектор показывает на физиономию использующего невидимую структуру из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
• ИК камера регистрирует искривление данной решетки по поверхности физиономии.
• Создаётся трёхмерная карта глубинности, которая практически невозможна для фальсификации стандартной снимком или маскировкой.

Преимущества

• Надёжная работа даже в полной тьме.
• Сильная устойчивость к фальсификациям.
• Точность идентификации более 99%.

Добавочные сенсоры

В отдельных аппаратах используются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют время распространения света до предмета и обратно; Трехцветные-датчики дальности; специальные световые измерители расстояния для формирования более детализированной 3D-модели физиономии.

Эти разработки используются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: искусственный ум в действии

Современные системы идентификации физиономий неосуществимы без эксплуатации искусственного интеллекта и машинного обучения. Именно благодаря таким инновациям, как вулкан россии, гаджет может узнавать пользователя даже при изменениях внешности: новая причёска, растительность на лице, оптика или косметика не становятся помехой для разблокировки.

Обнаружение лиц

В первом стадии алгоритм должна оперативно распознать образ лица среди всего изображения с камеры. Для данной цели задействуются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены идентифицировать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен распознавать физиономию даже в случае частичном закрытии (например, платком или рукой).

Идентификация основных моментов

После обнаружения лица система, такая как вулкан россии, устанавливает расположение главных точек: края глаз, кончик носа, границы губ и так далее. Как правило используется от 68 до 128 основных маркеров на лице.

Это требуется для выравнивания визуала: если пользователь держит смартфон под наклоненным, или наклонил головку, программа “выпрямляет” картинку до стандартного положения для дальнейшего анализа.

Построение биометрического модели

Далее нейронная сеть строит сжатое числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный образец весьма затруднительно имитировать: он не удерживает само картинку юзера, а лишь уникальные черты его вида, что делает его идеальным для таких платформ, как vulkan russia.

Сравнительный анализ и принятие выбора

Если человек намеревается разблокировать телефон взором, система осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный порог (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Привыкание к изменениям внешнего вида

Интересная черта современных системы — способность самообучения. Если ты часто разблокируете смартфон с свежей стрижкой или очками, система постепенно модернизирует эталонный модель вашего лица для увеличения точности действия без ухудшения безопасности.

Охрана биометрических данных информации.

Многие юзеры боятся держать свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки данных или взлома гаджета. Определенные фирмы, такие как vulkan russia, предлагают варианты для улучшения сохранности информации юзеров.

• Локальное хранение: Большинство девайсов сохраняет био-идентификационные образцы исключительно внутри защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не оставляют устройство и недоступны включая создателю.

• Шифрование: Все данные сохраняются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Приложения внешних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь требовать подтверждение верификации идентичности через системный API.

Необходимо отметить важную деталь: в случае, если какой-то человек сможет получить доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие производители внедряют систему защиты от неосознанного разблокирования — к примеру, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют категории идентификации лиц?

На сегодняшний день можно определить выделить 3 главных способа к выполнению этой операции:

Программное 2D определение

Используется только фронтальная камера без дополнительных сенсоров глубины. Этот подход используется чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость воплощения; минимальная стоимость; оперативная работа при достаточном освещении.
Минусы: легко обмануть снимком; нестабильная деятельность ночью; недостаточная охрана.

Техническое объёмное сканирование

Применяет ИК видеокамеру + проекционный модуль пикселей + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: высокая надежность; невозможно подделать изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Задействуют комбинацию программных методов + техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например вулкан россии и Google Pixel Face Unlock последних поколений, комбинируют фронталку c инфракрасным датчиком движения Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями чужих устройств.

Иллюстрации эксплуатации разных способов

• iPhone серии X/11/12/13/14 применяют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition в первый раз внедрил эквивалент Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 имеют как софтверное 2D распознавание по фото фронтальной камерой, так и сенсор радужки глаза.
• Huawei Mate20 Pro использует комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и ошибочные сигналы

Несмотря на впечатляющий прогресс инноваций за недавние лет, идеальных механизмов пока не наблюдается:

1. Шанс обмана: Недорогие мобильники просто открываются высококачественной изображением хозяина либо видеозаписью с экрана другого устройства.
2. Идентичные близнецы: Даже самые идеальные механизмы могут спутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
3. Изменения внешнего вида: Резкое снижение веса/набор веса, хирургические вмешательства или травмы иногда необходимы для повторной регистрации биометрических данных.
4. Условия съёмки: Интенсивная засветка солнечным светом либо интенсивная тень могут уменьшить верность распознавания признаков.

Здесь несколько советов по безопасному использованию:

• Для важных операций всегда внедряйте дополнительную аутентификацию;
• Не включайте опцию “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
• Систематически апгрейдите прошивку мобильного устройства для обеспечения безопасности от актуальных атак;
• Включайте опцию “Требовать раскрытых глаз” везде, где она имеется.

В каких местах дополнительно используется технология кроме мобильных телефонов?

Хотя предмет этой работы касается в частности смартфонам и планшетам, следует отметить других сферах применения технологии:

• Контроль входа в офисах и многоквартирных зданиях;
• Платёжные аппараты банков (“Face Pay”);
• Цифровые идентификационные документы последнего поколения;
• Комплексы видеомониторинга муниципальных подразделений;
• Механизация учёта посещаемости школ/университетов;
• Вход участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без пластика или телефона! Схожие программы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом трансформируется технический процесс в нынешнее время?

Каждый год появляются новые мысли для усовершенствования стандарта работы систем идентификации лиц:

1. Увеличивается детализация сенсоров — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше риск погрешности;
2. Улучшаются нейронные сети — новейшие конструкции вида MobileNetV3 позволяют быстро адаптироваться к новым характеристикам внешности пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь смартфоны способны отличать реальные анимированные облики от фиксированных фото/маскировок по незаметным микродвижениям.
4. Синхронизация со смарт-гаджетами — интеллектуальные часы могут авто закрыть доступ к телефон, если пользователь удалился на значительное расстояние.
5. Появляются комбинированные механизмы — в частности совмещающие голосовую опознание + физиономию + дактилоскопический след.

Здесь, те тенденции очень популярны в данный момент:

1) Миниатюризация элементов

Изготовители пытаются минимизировать размер прорези (“чёлки”) для датчики на дисплее за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения приватности всё больше обработки данных выполняется на месте без отправки информации во внешний облачный услугу.

3) Упорядочивание регламентов

Гугл активно пропагандирует эталон BiometricPrompt API, чтобы подобные системы, вроде вулкан россия, и каждые Android-приложения могли взаимодействовать с любыми видами биометрии единообразно.

Какое подобрать на сегодня?

В случае если вам всем важна максимальная безопасность информации, подбирайте передовые модели со встроенным ИК-проектором либо ToF-сенсором глубины.

• iPhone каждого новейших моделей
• Huawei Partner/Series P ряда
• Xiaomi Pro
• Vivo X серии
• Oppo Обнаружить Икс серий.

Если бюджет скромен – лучше предпочесть классическим средствам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в вулкан россия, применять только как второстепенную опцию комфорта.

Каким образом увеличить удобство работы опции?

Есть несколько советов для людей, кто уже использует разблокировку через лицо:

1. Регулярно обновляйте свою изображение-шаблон, если кардинально трансформируется внешность.
2. Не пренебрегайте протирать линзу фронтальной камеры – разводы могут снизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам активирует фотоаппарат когда вы поднимаете его.
4. В процессе регистрации пытайтесь удерживать лицо ровно перед видеоустройства не допуская значительного наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отворачиваетесь от экрана.

Перспективы эволюции технологии

В предстоящие периоды можно ожидать возникновения полностью дистанционных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + манера ходьбы + движения рук!

Также возможно развитие свежих подходов охраны конфиденциальности – к примеру, изменяющееся модификация цифрового шаблона после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее захватывающих техник нашего эпохи! Она обеспечивает взаимодействие со смартфоном комфортнее чем до этого, и такие приложения, как vulkan russia, могут значительно повысить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как устроена эта система изнутри, – будете в состоянии осознаннее определять свой следующий девайс!