Распознавание лиц для видео — найдите каждое появление человека
ClipCatalog обнаруживает лица в ваших видео, группирует их по людям и позволяет фильтровать всю вашу библиотеку, чтобы увидеть все клипы, в которых кто-то появляется. Распознавание лиц является опциональной функцией, работает полностью на вашем компьютере Windows, и ваши видеозаписи никогда не покидают ваш компьютер.
Попробуйте ClipCatalog бесплатно — до 500 видео
Не требуется учетная запись. Ваши видеозаписи остаются на вашем компьютере.
Быстро находить людей
Нужны все клипы с гостем, коллегой или членом семьи? Выберите человека и сразу просмотрите все подходящие клипы — не нужно просматривать часы видеозаписей.
Работает со всей вашей библиотекой
Группы лиц охватывают всю вашу индексированную библиотеку — по проектам, дискам и годам съемок. Отлично подходит для долгоиграющих сериалов, постоянных соавторов и многолетних архивов.
100% локально — без загрузки в облако
Распознавание лиц, встраивание и группировка выполняются на вашем компьютере. Ничто не загружается. Данные о ваших лицах хранятся в зашифрованной локальной базе данных и локальном индексе FAISS.
Как работает распознавание лиц в ClipCatalog
ClipCatalog использует встроенные модели искусственного интеллекта для распознавания лиц и вычисления вложений лиц — математических представлений каждого лица. Эти вложения хранятся в локальном индексе FAISS и сравниваются с группами лиц по лицам, чтобы вы могли искать и фильтровать свою библиотеку по тем, кто появляется на экране.
Включить распознавание лиц
Включите функцию распознавания лиц в настройках. Перед включением функции появится диалоговое окно с подтверждением, в котором объясняется, как она работает и что это значит.
Обнаружение и группировка лиц
Во время обработки ClipCatalog обнаруживает лица с помощью YuNet и вычисляет вложения с помощью SFace — оба процесса выполняются локально через OpenCV DNN. Похожие лица группируются в группы людей.
Поиск по лицу
Выберите одного или нескольких человек в панели поиска, чтобы увидеть все соответствующие клипы. Если вы выбрали нескольких человек, переключитесь между «Все/Любые совпадения» (AND/OR). Комбинируйте с тегами, транскриптами, датой и другими фильтрами, чтобы быстро сузить поиск.
Когда и как можно использовать функцию распознавания лиц
Распознавание лиц в ClipCatalog разработано таким образом, чтобы быть прозрачным и полностью контролируемым вами. Перед его включением приложение отображает диалоговое окно с подтверждением со следующим заявлением:
«Анализировать лица в моих видео локально, чтобы сгруппировать похожие лица, чтобы я мог найти видео с одним и тем же человеком.
Это может считаться биометрическими данными и регулироваться в некоторых странах.
Я несу ответственность за использование этой функции в соответствии с применимым законодательством.
Я могу отключить ее в любое время и удалить существующие данные о лицах».
Только по подписке — по умолчанию отключено
При первоначальной установке ClipCatalog функция распознавания лиц отключена. Она активируется только после того, как вы специально включите ее в настройках и подтвердите, что понимаете все последствия. Вы можете отключить ее в любое время — существующие данные о лицах сохраняются до тех пор, пока вы не решите их удалить.
Соображения, касающиеся биометрических данных
Встраивание лиц — математическое представление черт лица — может классифицироваться как биометрические данные в соответствии с такими законами, как GDPR ЕС, Закон штата Иллинойс о конфиденциальности биометрической информации (BIPA) или аналогичные нормативные акты в других юрисдикциях. Поскольку ClipCatalog обрабатывает все данные локально на вашем компьютере и никогда не загружает данные о лицах, вы сохраняете полный контроль. Однако вы несете ответственность за обеспечение соответствия вашего использования применимым к вам законам.
Локальная обработка — без участия облачных технологий
Все операции по распознаванию лиц, встраиванию вычислений и идентификации выполняются на вашем компьютере. Обрезки лиц, встраивания и индекс FAISS хранятся локально в зашифрованной папке базы данных ClipCatalog. Данные о лицах никогда не отправляются на сервер или в облачный сервис.
Полный контроль над данными — удаляйте в любое время
Вы можете в любое время удалить все данные о лицах в настройках: изображения лиц, результаты распознавания, группы лиц и индекс лиц FAISS будут удалены. Если вы позже снова включите функцию распознавания лиц, видеозаписи необходимо будет переработать. Это дает вам возможность полностью удалить все биометрические данные, если вы передумаете или изменится ситуация.
Реальные рабочие процессы
Влогеры и постоянные гости
Вы сняли десятки эпизодов с постоянным сотрудником. Вместо того чтобы просматривать все папки проектов, выберите его лицо и просмотрите все клипы, в которых он появляется, — за все дни съемок и на всех дисках.
Освещение свадеб и мероприятий
Сотни клипов со дня свадьбы. Найдите все снимки пары, шафера или гостей во время церемонии, приема и в спонтанных кадрах — не вспоминая, на какой карте или в какой папке они были.
Серия интервью и подкасты
Проводите серию длинных интервью? Фильтруйте по лицу гостя, чтобы отобрать все его появления в разных сезонах. В сочетании с поиском по стенограмме вы сможете найти точный момент, когда они произнесли ключевые слова, которые вы запомнили.
Семейные и личные архивы
Многолетние семейные записи о праздниках, днях рождения и поездках. Просматривайте все видео, в которых появляется конкретный член семьи — это отлично подходит для создания подборок или поиска того клипа, который вы помните, но не можете найти.
Чего ожидать от распознавания лиц
Группировка, не идеальная идентификация
Распознавание лиц группирует похожие лица, чтобы вы могли находить клипы по персоне. Оно использует голосование k-NN с пороговыми значениями и запасами для уменьшения ложных совпадений, а также ограничивает вложения на человека, чтобы избежать смещения из-за чрезмерного представления некоторых лиц. Иногда могут возникать ошибки группировки в случае размытых, частичных или сильно затененных лиц.
Работы из миниатюр
Распознавание лиц выполняется на основе выборочных кадров (миниатюр), а не на каждом отдельном кадре видео. Это позволяет сохранить практичность обработки для больших библиотек, при этом улавливая наиболее заметные лица. Очень короткие моменты на экране могут не распознаваться.
Дополнительное ускорение GPU
Для распознавания лиц и встраивания используется OpenCV DNN с дополнительным ускорением OpenCL, если оно доступно. Если ваша система не поддерживает OpenCL, приложение автоматически переключается на CPU — это медленнее, но все равно работает. Узнайте больше об ускорении GPU →
Комбинировать с другими фильтрами
Поиск по лицу наиболее эффективен в сочетании с другими фильтрами ClipCatalog. Найдите клипы, в которых появляется конкретный человек и произносится ключевое слово, и соответствует визуальный тег, и они относятся к определенному диапазону дат или папке. Ознакомьтесь со всеми фильтрами поиска →
Если функция распознавания лиц отключена
Когда функция распознавания лиц отключена, фильтр «Тип видео» будет недоступен, а функция Highlight Score будет использовать меньше сигналов, поэтому ее точность может снизиться. Вы можете в любой момент повторно включить функцию распознавания лиц в настройках. Узнайте больше о фильтрах поиска →
Часто задаваемые вопросы
Нет — распознавание лиц является полностью опциональной функцией. Вы можете использовать ClipCatalog для обнаруженного контента, поиска по транскрипту и всех других функций, не включая распознавание лиц.
Нет. Распознавание лиц, встраивание и группировка происходят локально на вашем компьютере. Ваши видеозаписи и данные о лицах никогда не покидают ваш компьютер.
Откройте «Настройки» и включите функцию «Распознавание лиц». Появится диалоговое окно с подтверждением, в котором объясняется, как работает эта функция, что данные о лицах в некоторых юрисдикциях могут считаться биометрическими данными и что вы можете отключить эту функцию и удалить данные о лицах в любое время.
Да. В настройках вы можете одним щелчком удалить все обнаруженные лица, группы людей и индекс лиц. Если позже вы снова включите функцию распознавания лиц, видео нужно будет переработать.
Да. Вы можете накладывать фильтры по лицу/личности на слова транскрипта, обнаруженный контент, диапазоны дат, папки, разрешение, частоту кадров и многое другое, чтобы найти именно тот клип, который вам нужен.
ClipCatalog использует интеллектуальный алгоритм сопоставления, разработанный для уменьшения количества ложных совпадений и предотвращения смещения в сторону чрезмерно представленных лиц. Он создан для того, чтобы быстро найти нужный набор клипов, хотя иногда могут возникать ошибки в группировке, особенно в случае низкого качества или частичного изображения лиц.
Для распознавания лиц и встраивания используется OpenCV DNN с дополнительным ускорением OpenCL. Если OpenCL недоступен в вашей системе, автоматически используется CPU.
Во многих юрисдикциях встраивание лиц и геометрия лица классифицируются как биометрические данные и могут подпадать под действие законов о конфиденциальности, таких как GDPR (ЕС), BIPA (Иллинойс, США) или аналогичных законов. ClipCatalog обрабатывает все данные локально и предоставляет вам полный контроль, но вы несете ответственность за использование этой функции в соответствии с применимым законодательством вашего региона.
Вместе еще сильнее
Распознавание лиц — это один из параметров поиска в ClipCatalog. Настоящее преимущество заключается в том, что его можно комбинировать с другими фильтрами, чтобы из тысяч клипов найти именно то, что вам нужно.
Находите клипы по тому, что было сказано — идеально подходит для интервью, звуковых фрагментов и дикторских записей.
Поиск по тому, что отображается на экране — сцены, объекты и действия, помеченные автоматически.
Данные о лицах сохраняются даже после отключения накопителей — подключите их снова и выполните поиск еще раз.
Накладывайте на изображения фильтры с датой, папкой, разрешением, частотой кадров, продолжительностью и т. д.
Лучше всего подходит для
- Ютуберы и влогеры с постоянными гостями и соавторами.
- Видеооператоры, снимающие свадьбы и мероприятия, просматривают сотни клипов в поисках конкретных людей.
- Кинематографисты и редакторы, управляющие многолетними архивами интервью или документальных фильмов.
- Семейные архивисты систематизируют многолетние личные видеозаписи по участникам каждого клипа.
- Небольшие команды, которые снимают повторяющиеся темы или клиентов в рамках различных проектов.
Попробуйте с одной папкой
Лучший способ проверить, работает ли распознавание лиц для ваших видеозаписей: включите эту функцию в настройках, обработайте одну папку проекта и попробуйте найти человека на всех клипах.
Понимание распознавания лиц для видео
Независимо от того, называете ли вы это поиском по лицу, обнаружением человека или распознаванием лиц на видео — идея остается той же: позволить программному обеспечению идентифицировать, кто находится на экране, чтобы вы могли находить клипы по человеку, а не по имени файла или памяти.
Почему поиск лиц важен для видеоредакторов
Вы знаете, что сняли отличный кадр с реакцией конкретного гостя, но не можете вспомнить имя файла, папку или даже диск, на котором он находится. Распознавание лиц превращает фразу «Я знаю, что это где-то есть» в прямой фильтр по персоне, избавляя вас от необходимости просматривать часы видеозаписей в попытке найти нужный кадр.
Локальное распознавание лиц против облачного распознавания лиц
Большинство сервисов распознавания лиц требуют загрузки видеоматериалов в облачный API. Для создателей видео, работающих с видеоматериалами клиентов, личным контентом или просто большими файлами, это часто является непреодолимым препятствием. ClipCatalog выполняет всю обработку лиц на вашем собственном оборудовании — ваши видеоматериалы и данные о лицах остаются на вашем компьютере. Подробнее о локальной конфиденциальности →
Как работают вложения лиц
Когда ClipCatalog обнаруживает лицо, он вычисляет вложение — компактное математическое представление черт этого лица. Эти вложения хранятся в локальном индексе FAISS, что позволяет быстро сравнивать новые лица со всеми ранее увиденными. Похожие вложения группируются как одно и то же лицо, так работает поиск по лицу.
Практические ограничения
Распознавание лиц работает лучше всего, когда лица хорошо видны, хорошо освещены и обращены примерно в сторону камеры. Система может испытывать трудности с распознаванием удаленных лиц, сильных теней, смазанных движений или крайних углов. Система работает на основе выборочных кадров, поэтому очень короткие появления могут быть пропущены. Знание этих ограничений поможет вам проводить поиск более эффективно и устанавливать реалистичные ожидания.
Попробуйте ClipCatalog бесплатно — до 500 видео
Не требуется учетная запись. Ваши видеозаписи остаются на вашем компьютере.