Распознавание лиц для видеотек с поиском
ClipCatalog обнаруживает лица в ваших видео, группирует повторяющихся людей и превращает их в переиспользуемые фильтры по людям во всей библиотеке. Эта страница описывает более широкую возможность поиска по людям для работы с проектами, архивными дисками и многолетними коллекциями видеоматериалов.
Нужен практический сценарий, чтобы быстро найти одного человека? Начните с руководства как найти человека в видео.
Группируйте повторяющихся людей по всей библиотеке
ClipCatalog превращает повторяющиеся обнаружения лиц в переиспользуемые группы людей, так что один и тот же гость, герой, соавтор или член семьи становится полноценным поисковым измерением, а не задачей на память.
Переходите от одного клипа ко многим связанным
Начните с одного полезного результата, а затем разверните его до всех совпадающих клипов с тем же человеком по проектам, дискам и годам съемок.
Держите обработку лиц локальной и управляемой
Обнаружение лиц, вычисление вложений и группировка выполняются на вашем компьютере. Ничего не загружается, а все данные о лицах остаются в вашей зашифрованной локальной базе и индексе FAISS.
Как в ClipCatalog работает поиск по людям
ClipCatalog использует локальные модели искусственного интеллекта для обнаружения лиц и вычисления вложений, а затем сравнивает их в локальном индексе FAISS, чтобы группировать повторяющихся людей. В результате вы получаете переиспользуемый фильтр по человеку, который помогает снова и снова находить одного и того же героя по всему архиву.
Включить распознавание лиц
Включите функцию распознавания лиц в настройках. Перед включением функции появится диалоговое окно с подтверждением, в котором объясняется, как она работает и что это значит.
Обнаружение и группировка лиц
Во время обработки ClipCatalog обнаруживает лица с помощью YuNet и вычисляет вложения с помощью SFace — оба процесса выполняются локально через OpenCV DNN. Похожие лица группируются в группы людей.
Фильтруйте по людям по всему архиву
Выберите одного или нескольких людей на панели поиска, чтобы увидеть совпадающие клипы по всей индексированной библиотеке. Если выбрано несколько человек, переключайтесь между режимами «Все» и «Любые» и комбинируйте фильтр с тегами, транскриптами, датами и другими параметрами.
Поиск по лицам в действии
Начните с одного клипа, попросите ClipCatalog найти другие видео с теми же людьми, а затем сузьте результат, если нужны клипы, где вместе появляются два выбранных человека.
* Некоторые лица пикселизированы из соображений конфиденциальности.
Лучше всего подходит для
Лучше всего подходит, когда одни и те же люди снова и снова появляются в больших библиотеках, повторяющихся съемках или архивах за многие годы.
Сценарии для архивов большого масштаба
Переиспользуйте группы людей в семейных архивах
В больших семейных архивах одни и те же люди появляются на праздниках, днях рождения и в поездках год за годом. Группировка повторяющихся лиц превращает эти появления в переиспользуемый сценарий поиска, а не в разовую охоту за клипом.
Отслеживайте постоянных гостей в сериях
Если один и тот же соавтор, гость или эксперт в кадре появляется в разных выпусках, фильтры по людям позволяют быстро собрать все его появления без воспоминаний о папке проекта или дне съемки.
Ищите героев в длинных архивах интервью
Ведете длинную серию интервью или документальный архив? Фильтруйте по лицу героя, чтобы собрать появления за разные сезоны, а затем объединяйте это с поиском по транскрипту, чтобы находить точные моменты, где он говорит то, что вы помните.
Просматривайте съемку мероприятий по людям
Крупные мероприятия дают сотни клипов, где одни и те же ключевые люди появляются снова и снова. Фильтры по людям помогают быстро сузить весь архив события до тех участников, которые важны для монтажа.
Чего ожидать от распознавания лиц
Группировка, не идеальная идентификация
Распознавание лиц группирует похожие лица, чтобы вы могли находить клипы по персоне. Оно использует голосование k-NN с пороговыми значениями и запасами для уменьшения ложных совпадений, а также ограничивает вложения на человека, чтобы избежать смещения из-за чрезмерного представления некоторых лиц. Иногда могут возникать ошибки группировки в случае размытых, частичных или сильно затененных лиц.
Работы из миниатюр
Распознавание лиц выполняется на основе выборочных кадров (миниатюр), а не на каждом отдельном кадре видео. Это позволяет сохранить практичность обработки для больших библиотек, при этом улавливая наиболее заметные лица. Очень короткие моменты на экране могут не распознаваться.
Дополнительное ускорение GPU
Для распознавания лиц и встраивания используется OpenCV DNN с дополнительным ускорением OpenCL, если оно доступно. Если ваша система не поддерживает OpenCL, приложение автоматически переключается на CPU — это медленнее, но все равно работает. Узнайте больше об ускорении GPU →
Комбинировать с другими фильтрами
Поиск по лицу наиболее эффективен в сочетании с другими фильтрами ClipCatalog. Найдите клипы, в которых появляется конкретный человек и произносится ключевое слово, и соответствует визуальный тег, и они относятся к определенному диапазону дат или папке. Ознакомьтесь со всеми фильтрами поиска →
Если функция распознавания лиц отключена
Когда функция распознавания лиц отключена, фильтр «Тип материала» будет недоступен, а функция Highlight Score будет использовать меньше сигналов, поэтому ее точность может снизиться. Вы можете в любой момент повторно включить функцию распознавания лиц в настройках. Узнайте больше о фильтрах поиска →
Когда и как можно использовать функцию распознавания лиц
Распознавание лиц в ClipCatalog разработано таким образом, чтобы быть прозрачным и полностью контролируемым вами. Перед его включением приложение отображает диалоговое окно с подтверждением со следующим заявлением:
Экран настроек с выключенным и включённым распознаванием лиц. Поиск по лицам остаётся полностью добровольным, и позже вы можете снова отключить его или удалить все данные лиц.
«Анализировать лица в моих видео локально, чтобы сгруппировать похожие лица, чтобы я мог найти видео с одним и тем же человеком.
Это может считаться биометрическими данными и регулироваться в некоторых странах.
Я несу ответственность за использование этой функции в соответствии с применимым законодательством.
Я могу отключить ее в любое время и удалить существующие данные о лицах».
Только по подписке — по умолчанию отключено
При первоначальной установке ClipCatalog функция распознавания лиц отключена. Она активируется только после того, как вы специально включите ее в настройках и подтвердите, что понимаете все последствия. Вы можете отключить ее в любое время — существующие данные о лицах сохраняются до тех пор, пока вы не решите их удалить.
Соображения, касающиеся биометрических данных
Встраивание лиц — математическое представление черт лица — может классифицироваться как биометрические данные в соответствии с такими законами, как GDPR ЕС, Закон штата Иллинойс о конфиденциальности биометрической информации (BIPA) или аналогичные нормативные акты в других юрисдикциях. Поскольку ClipCatalog обрабатывает все данные локально на вашем компьютере и никогда не загружает данные о лицах, вы сохраняете полный контроль. Однако вы несете ответственность за обеспечение соответствия вашего использования применимым к вам законам.
Локальная обработка — без участия облачных технологий
Все операции по распознаванию лиц, встраиванию вычислений и идентификации выполняются на вашем компьютере. Обрезки лиц, встраивания и индекс FAISS хранятся локально в зашифрованной папке базы данных ClipCatalog. Данные о лицах никогда не отправляются на сервер или в облачный сервис.
Полный контроль над данными — удаляйте в любое время
Вы можете в любое время удалить все данные о лицах в настройках: изображения лиц, результаты распознавания, группы лиц и индекс лиц FAISS будут удалены. Если вы позже снова включите функцию распознавания лиц, видеозаписи необходимо будет переработать. Это дает вам возможность полностью удалить все биометрические данные, если вы передумаете или изменится ситуация.
Вместе еще сильнее
Распознавание лиц — один из поисковых сигналов в ClipCatalog. Его реальная ценность раскрывается, когда вы объединяете фильтры по людям с остальными метаданными архива и быстро переходите от тысяч клипов к нужному результату.
Находите клипы по тому, что было сказано — идеально подходит для интервью, звуковых фрагментов и дикторских записей.
Поиск по тому, что отображается на экране — сцены, объекты и действия, помеченные автоматически.
Данные о лицах сохраняются даже после отключения накопителей — подключите их снова и выполните поиск еще раз.
Накладывайте на изображения фильтры с датой, папкой, разрешением, частотой кадров, продолжительностью и т. д.
Связанные сравнения
Если вы сравниваете этот сценарий с другими инструментами, начните с этих сравнительных страниц.
Часто задаваемые вопросы
Нет — распознавание лиц является полностью опциональной функцией. Вы можете использовать ClipCatalog для обнаруженного контента, поиска по транскрипту и всех других функций, не включая распознавание лиц.
Нет. Распознавание лиц, встраивание и группировка происходят локально на вашем компьютере. Ваши видеозаписи и данные о лицах никогда не покидают ваш компьютер.
Откройте «Настройки» и включите функцию «Распознавание лиц». Появится диалоговое окно с подтверждением, в котором объясняется, как работает эта функция, что данные о лицах в некоторых юрисдикциях могут считаться биометрическими данными и что вы можете отключить эту функцию и удалить данные о лицах в любое время.
Да. В настройках вы можете одним щелчком удалить все обнаруженные лица, группы людей и индекс лиц. Если позже вы снова включите функцию распознавания лиц, видео нужно будет переработать.
Да. Вы можете накладывать фильтры по лицу/личности на слова транскрипта, обнаруженный контент, диапазоны дат, папки, разрешение, частоту кадров и многое другое, чтобы найти именно тот клип, который вам нужен.
ClipCatalog использует интеллектуальный алгоритм сопоставления, разработанный для уменьшения количества ложных совпадений и предотвращения смещения в сторону чрезмерно представленных лиц. Он создан для того, чтобы быстро найти нужный набор клипов, хотя иногда могут возникать ошибки в группировке, особенно в случае низкого качества или частичного изображения лиц.
Для распознавания лиц и встраивания используется OpenCV DNN с дополнительным ускорением OpenCL. Если OpenCL недоступен в вашей системе, автоматически используется CPU.
Во многих юрисдикциях встраивание лиц и геометрия лица классифицируются как биометрические данные и могут подпадать под действие законов о конфиденциальности, таких как GDPR (ЕС), BIPA (Иллинойс, США) или аналогичных законов. ClipCatalog обрабатывает все данные локально и предоставляет вам полный контроль, но вы несете ответственность за использование этой функции в соответствии с применимым законодательством вашего региона.
Попробуйте с одной папкой
Лучший способ оценить более широкий рабочий процесс с распознаванием лиц — включить функцию в настройках, обработать одну папку проекта или архива и посмотреть, как один полезный клип превращается в переиспользуемый фильтр по человеку.
Попробуйте ClipCatalog бесплатно — до 500 видео
Не требуется учетная запись. Ваши видеозаписи остаются на вашем компьютере.
Понимание распознавания лиц для видеотек
Называете ли вы это поиском по лицу, поиском людей или распознаванием лиц для видео, суть одна: программа превращает повторяющиеся лица в переиспользуемый слой поиска по всему вашему архиву.
Почему важен поиск по людям
Иногда задача не сводится к поиску одного кадра. Нужно снова и снова возвращаться к постоянному гостю, герою документального проекта или члену семьи во всем архиве. Распознавание лиц превращает мысль «я знаю, что этот человек появляется по всей библиотеке» в прямой фильтр по человеку, который работает шире, чем разовый ручной поиск.
Локальное распознавание лиц против облачного распознавания лиц
Большинство сервисов распознавания лиц требуют загрузки видеоматериалов в облачный API. Для создателей видео, работающих с видеоматериалами клиентов, личным контентом или просто большими файлами, это часто является непреодолимым препятствием. ClipCatalog выполняет всю обработку лиц на вашем собственном оборудовании — ваши видеоматериалы и данные о лицах остаются на вашем компьютере. Подробнее о локальной конфиденциальности →
Как работают вложения лиц
Когда ClipCatalog обнаруживает лицо, он вычисляет вложение — компактное математическое представление черт этого лица. Эти вложения хранятся в локальном индексе FAISS, что позволяет быстро сравнивать новые лица со всеми ранее увиденными. Похожие вложения группируются как одно и то же лицо, так работает поиск по лицу.
Практические ограничения
Распознавание лиц работает лучше всего, когда лица хорошо видны, хорошо освещены и обращены примерно в сторону камеры. Система может испытывать трудности с распознаванием удаленных лиц, сильных теней, смазанных движений или крайних углов. Система работает на основе выборочных кадров, поэтому очень короткие появления могут быть пропущены. Знание этих ограничений поможет вам проводить поиск более эффективно и устанавливать реалистичные ожидания.