La recherche vidéo par IA, expliquée — retrouvez ce qui est dans vos vidéos en décrivant ce qu’on y voit
La recherche vidéo par IA (recherche vidéo sémantique) parcourt la vidéo selon ce qui est visible à l’écran, pas selon les noms de fichiers ou les étiquettes. Tapez « chien noir courant sur la neige » sur des centaines de clips et les bonnes secondes ressortent. Ce guide montre comment ça marche, quelles requêtes sont efficaces, où la technique cale encore et ce que veut vraiment dire « 100 % local » — avec un diagramme à chaque étape.
- La recherche vidéo par IA (recherche vidéo sémantique) trouve des scènes dans vos vidéos avec des requêtes en langage courant — sans étiquetage ni renommage.
- Comment : l’IA convertit chaque scène en coordonnée d’une « carte du sens », et votre requête atterrit sur un point de la même carte ; le système renvoie les scènes les plus proches (recherche par vecteurs d’embedding).
- Ce qui marche : empilez deux ou trois attributs visuels concrets — sujet, action, lieu.
- Points faibles : texte à l’écran (terrain OCR), identification d’une personne précise, comptage, et requêtes temporelles ou émotionnelles.
- Les apps locales (on-device) gardent les vidéos, l’index et les requêtes dans votre PC — catégoriquement différent du cloud pour les rushes privés.
Ce qu’est la recherche vidéo par IA
C’est une recherche à l’intérieur de la vidéo — par ce qui est visible à l’écran, avec vos propres mots. Tapez « chien noir courant sur la neige » et l’IA renvoie les bons instants en quelques secondes. Pas d’étiquettes, pas de renommage : l’IA regarde directement les frames et comprend ce qu’elles contiennent.
Pourquoi les anciennes méthodes ne suffisent plus
Au-delà d’une certaine taille de bibliothèque, toutes les méthodes traditionnelles cassent.
- Recherche par nom de fichier — `IMG_4827.MOV` ne dit rien de son contenu. Quasi personne ne renomme au tournage.
- Hiérarchie de dossiers — trois ans plus tard, plus personne ne sait où il a rangé quoi.
- Étiquetage manuel — environ 16 heures pour 1 000 clips, et le schéma de tags est obsolète dans l’année.
- Scrubbing manuel — 5 à 10 minutes par clip de 30 min ; multiplié par des centaines, infaisable.
Comment ça marche — une « carte du sens »
L’IA regarde la vidéo environ une fois par seconde et convertit chaque scène en coordonnée dans une « carte du sens ». À l’intérieur du modèle, un espace de coordonnées géant où les scènes semblables se retrouvent voisines — les chiens près des chiens, les mariages près des mariages, les couchers de soleil près des couchers de soleil.
Quand vous tapez « chien noir courant sur la neige », cette phrase devient elle aussi un point de la même carte. Le système renvoie alors les scènes dont les coordonnées sont les plus proches de ce point.
Les quatre étapes à l’import
Quand une app indexe une vidéo, elle exécute ces quatre étapes pour bâtir un « index sémantique ». Le premier import est long à cause d’elles ; c’est aussi pour ça que chaque recherche ultérieure est quasi instantanée.
Requêtes qui marchent et requêtes qui ne marchent pas
La qualité de la recherche dépend bien plus de la formulation que de l’app. Six patterns empiriques :
- Décrivez ce qui est *à l’écran*, pas ce que ça signifie pour vous. « Maman tenant le gâteau » bat « les 60 ans de maman » — l’IA ne voit que des pixels.
- Empilez deux ou trois attributs concrets. « Chien noir courant sur la neige » bat « chien » — sujet + action + lieu.
- Évitez les noms propres. L’IA connaît « golden retriever » mais pas « Mochi » (le nom du chien).
- Servez-vous de couleur, heure, météo et intérieur/extérieur comme désambiguateurs bon marché — « coucher de soleil », « bureau en néons », « rue pluvieuse » filtrent bien.
- Évitez la négation. « Pas » et « sans » sont ignorés en pratique. Reformulez au positif.
- Si vous bloquez, changez le *nom-cadre* plutôt que d’ajouter des adjectifs. « Plan large d’une foule » bat empiler des modificateurs sur « gens ».
Quatre terrains où la recherche vidéo par IA cale encore
Forte sur les scènes visuelles, structurellement faible sur ces quatre :
- Texte à l’écran — trouver « la diapo qui dit revenus du Q3 » est un problème d’OCR, pas de recherche sémantique.
- Identifier une personne précise — reconnaître « Alice » réclame une autre fonction : reconnaissance faciale avec une étape d’enrôlement.
- Compter — « trois chats » est peu fiable ; le modèle est solide sur la présence (« y a-t-il un chat ? ») mais pas sur le nombre.
- Temps et émotion — « juste avant qu’il rie » porte une structure temporelle qu’une frame seule ne peut exprimer.
Ce que « traitement local » veut vraiment dire
Les apps de recherche vidéo par IA existent en deux saveurs : cloud et locale. En locale, l’index — environ 0,1–0,2 % de la source, soit quelques Mo par heure de vidéo — est écrit dans votre PC, et la vidéo, l’index et les requêtes ne quittent jamais l’appareil.
Pourquoi les outils existants ne suffisent pas
La recherche vidéo sémantique est inégalement distribuée d’une plateforme à l’autre.
- Google Photos — forte recherche sémantique sur les photos, bien plus faible sur la vidéo longue. Téléversement obligatoire.
- Apple Photos / Apple Intelligence — recherche sémantique on-device depuis iOS 15, mais limitée à la photothèque.
- Édition basée sur le texte d’Adobe Premiere Pro — indexe la *transcription*, pas l’image. Inutile sur du B-roll sans dialogue.
- DaVinci Resolve — la recherche sémantique visuelle est limitée ; le speech-to-text exige Studio (payant).
- Recherche YouTube — titres, descriptions, sous-titres uniquement. Pas l’intérieur de la vidéo.
- Recherche fichier générique (Everything, Spotlight) — nom de fichier seul. Aucune compréhension du contenu.
Exemple : 40 heures de mariage en trois minutes
Cas réel : 40 heures de rushes multi-caméra à monter. Une fois indexées avec la recherche vidéo par IA, la séance de montage change de forme.
- Requête « la mariée enlace son père, larmes aux yeux » — top-3 en ~80 ms ; le bon plan est à 03:14:22 dans le clip 11. À la souris : ~20 min.
- Requête « premier baiser, plan large, lumière chaude intérieure » — top-1 correct ; la version de la seconde caméra remonte automatiquement.
- Requête « invités riant au moment du toast » — six candidats sur deux caméras et trois tables. À la main : ça n’arriverait simplement jamais.
Questions fréquentes
Réponses rapides aux questions les plus souvent posées sur la recherche vidéo par IA.
- En quoi la recherche vidéo par IA diffère-t-elle de la recherche vidéo classique ?
- La recherche classique ne regarde que les métadonnées autour du fichier — nom, tags, sous-titres. La recherche vidéo par IA (recherche sémantique) laisse l’IA voir les frames elles-mêmes, donc « chien noir courant sur la neige » fonctionne même sur des rushes jamais étiquetés, renommés ou transcrits.
- Faut-il téléverser mes vidéos dans le cloud ?
- Cela dépend du produit. Les services cloud imposent l’upload ; une app locale (on-device) garde la vidéo, l’index et la requête dans votre PC, rien ne sort sur le réseau. La version locale convient au privé familial, aux assets pro, aux rushes sous NDA et à la vidéosurveillance.
- Quelle taille fait l’index sur le disque ?
- Quelques Mo par heure de vidéo. Même en échantillonnant une frame par seconde et en convertissant chacune en coordonnée sémantique (vecteur d’embedding), l’index reste autour de 0,1–0,2 % de la source — une bibliothèque de 1 To ne produit que quelques Go d’index.
- Quelle est la vitesse de recherche ?
- En local, les requêtes restent entre 20 et 150 ms — pratiquement instantanées. Dans le cloud, c’est plutôt 200 à 2 000 ms à cause de l’aller-retour réseau.
- Puis-je chercher une personne précise par son nom (mon enfant, par exemple) ?
- Pas avec la recherche vidéo par IA seule : « Alice » est un nom propre que le modèle ne connaît pas. C’est le domaine de la reconnaissance faciale (autre fonction) et il faut une étape d’enrôlement. Des attributs visuels comme « femme en veste rouge » ou « homme à lunettes » fonctionnent sans enrôlement.
- Quelles requêtes sont mauvaises ?
- Quatre terrains : ① texte à l’écran, type « la diapo qui dit revenus du Q3 » — OCR ; ② identification d’une personne précise — reconnaissance faciale ; ③ comptage, « trois chats » — présence oui, nombre non ; ④ temps et émotion, « juste avant qu’il rie » — une frame ne peut pas l’exprimer.
- Quels formats vidéo sont pris en charge ?
- Les apps locales courantes gèrent MP4, MOV, AVI, MKV et WebM, et les codecs standard H.264, H.265, VP9 et AV1. Voir le détail produit par produit.
- Peut-on chercher des vidéos prises au smartphone ?
- Oui, une fois copiées sur le PC. Les MP4/MOV d’iPhone ou Android tombent dans un dossier surveillé et s’indexent tels quels, sans perte de qualité.
| Service cloud | App locale IA | |
|---|---|---|
| Où vit la vidéo | Téléversée chez le fournisseur | Reste sur votre PC |
| Coût récurrent | 1–3 $ par To-mois + par requête | Achat unique 30–100 $, sans facturation par requête |
| Indexation initiale | Limitée par l’upload | Limitée par CPU/GPU (20–100× temps réel) |
| Latence de requête | 200–2 000 ms | 20–150 ms |
| Empreinte de l’index | Cachée côté fournisseur | ~2–7 Mo par heure de vidéo |
| Hors-ligne | Non | Oui |
| Ce que voit l’opérateur | Embeddings + souvent la vidéo brute | Rien ne quitte l’appareil |
| Meilleur usage | Contenu public, partageable | Famille, pro, sécurité, rushes sous NDA |
Quatre situations réalistes où l’écart se voit
Tâches où une heure de travail se réduit à quelques minutes.
Déterrer un plan oublié de plusieurs années de B-roll
Sujet + lumière + cadrage + direction en une requête courte, contre des archives qu’on n’a pas ouvertes depuis deux ans. Le top-5 sort le plan ou un substitut utilisable.
Monter un best-of de mariage sans logger
Multi-caméra, longues durées, pics d’émotion : exactement la forme pour laquelle la recherche sémantique a été pensée. Empilez l’angle dans la requête et la meilleure prise remonte.
Trier la vidéosurveillance sans regarder la journée
Couleur de vêtement + lieu + heure : le trio le plus fiable. Note : on trouve des apparitions, pas des identités — pour « Alice précisément », il faut enrôler le visage.
Retrouver un souvenir qu’on ne sait plus nommer
Nom de fichier, date, appareil — tout oublié. La recherche sémantique récompense de se rappeler à quoi l’image ressemblait — comme la mémoire humaine.
À retenir
- Le goulet d’étranglement avec les vieilles vidéos n’est pas le stockage — c’est l’absence d’une recherche qui comprend le contenu.
- La recherche vidéo par IA convertit chaque scène en coordonnée sur une carte du sens, et la récupère en langage courant.
- Ce qui marche : des attributs visuels concrets. Ce qui rate : texte, identités, comptage, structure temporelle.
- Sur des rushes sensibles, la version locale n’est pas seulement moins chère — c’est une autre catégorie technique que le cloud.
Essayez la recherche vidéo par IA sur votre PC
Scenelet tourne entièrement sur votre machine Windows. Sans cloud, sans abonnement, mises à jour à vie.