Facebook déploie son premier module «Crime d'opinion» alimenté par intelligence artificielle

Facebook a déployé un nouveau module de «crime de la pensée» alimenté par l'IA, visant à détecter les pensées négatives d'un utilisateur et à alerter les autorités. La nouvelle technologie d'intelligence artificielle «détection proactive» analysera les messages d'un utilisateur sur Facebook et détectera les tendances qui indiquent des pensées suicidaires. Il enverra ensuite des ressources de santé mentale à l'utilisateur ainsi que d'alerter ses amis et sa famille et, dans les cas extrêmes, il appellera les autorités sans leur permission.

En utilisant l'IA pour signaler les messages inquiétants aux modérateurs humains au lieu d'attendre les rapports d'utilisateurs, Facebook peut réduire le temps nécessaire pour envoyer de l'aide. Facebook a déjà testé l'IA pour détecter des messages troublants et des options de signalement de suicides en surface à des amis aux États-Unis. Maintenant, Facebook analysera tous les types de contenu à travers le monde, sauf dans l'Union européenne, où les lois sur la protection des données Le profilage des utilisateurs basé sur des informations sensibles complique l'utilisation de cette technologie.

Facebook utilisera également l'IA pour classer par ordre de priorité les rapports d'utilisateurs particulièrement risqués ou urgents, afin qu'ils soient traités plus rapidement par les modérateurs, et les outils permettant d'afficher instantanément les ressources linguistiques locales et les coordonnées des premiers répondants. Il consacre également plus de modérateurs à la prévention du suicide, les formant pour traiter les cas 24 heures sur 24, et compte maintenant 80 partenaires locaux comme Save.org, National Suicide Prevention Lifeline et Forefront pour fournir des ressources aux utilisateurs à risque et à leurs réseaux. . "Il s'agit de réduire les minutes à chaque étape du processus, en particulier dans Facebook Live", a déclaré le vice-président de la gestion des produits, Guy Rosen. Au cours du dernier mois de tests, Facebook a lancé plus de 100 «contrôles de bien-être» avec les premiers intervenants visitant les utilisateurs concernés. "Il y a eu des cas où le premier répondeur est arrivé et la personne est toujours en train de diffuser." L'idée que Facebook analyse de manière proactive le contenu des messages des gens pourrait susciter des craintes dystopiques quant à la façon dont la technologie pourrait être appliquée. Rosen ne se contentait pas de dire: «Nous avons la possibilité d'aider ici, alors nous allons investir dans ce domaine.» Il y a certainement des aspects bénéfiques la technologie, mais c'est un autre espace où nous n'avons pas d'autre choix que d'espérer que Facebook ne va pas trop loin.

Le PDG de Facebook, Mark Zuckerberg, a fait l'éloge de la mise à jour du produit dans un article en écrivant: «A l'avenir, l'IA sera capable de comprendre davantage les nuances subtiles du langage et de repérer les problèmes suicidaires. plus de genres d'intimidation et de haine. " Malheureusement, après que TechCrunch ait demandé aux utilisateurs s'ils pouvaient se retirer, un porte-parole de Facebook a répondu que les utilisateurs ne pouvaient pas se retirer. Ils ont noté que la fonctionnalité est conçue pour améliorer la sécurité des utilisateurs, et que les ressources de support offertes par Facebook peuvent être rapidement rejetées si un utilisateur ne veut pas les voir.] Facebook a formé l'IA en trouvant des modèles dans les mots et les images utilisés dans les messages qui ont été rapportés manuellement pour le risque de suicide dans le passé. Il recherche également des commentaires tels que «allez-vous bien?» Et «avez-vous besoin d'aide? «Nous avons parlé à des experts en santé mentale, et l'un des meilleurs moyens de prévenir le suicide consiste à ce que les personnes dans le besoin aient des nouvelles de leurs amis ou de leur famille», explique Mme Rosen. "Cela place Facebook dans une position vraiment unique. Nous pouvons aider les personnes en détresse à se connecter aux amis et aux organisations qui peuvent les aider. " Comment les rapports de suicide fonctionnent sur Facebook maintenant Grâce à la combinaison de l'intelligence artificielle, des modérateurs humains et des rapports de crowdsourcing, Facebook pourrait essayer d'éviter des tragédies comme quand un père s'est suicidé sur Facebook Live le mois dernier. Les diffusions en direct en particulier ont le pouvoir de glorifier à tort le suicide, d'où les nouvelles précautions nécessaires, et de toucher un large public, car tout le monde voit le contenu simultanément contrairement aux vidéos enregistrées sur Facebook qui peuvent être signalées avant d'être vues par de nombreuses personnes. gens. Maintenant, si quelqu'un exprime des pensées suicidaires dans n'importe quel type de message Facebook, l'IA de Facebook le détectera de manière proactive et le signalera aux modérateurs humains formés à la prévention, et rendra les options de reportage plus accessibles pour les spectateurs. Quand un rapport arrive, la technologie de Facebook peut mettre en évidence la partie de la publication ou de la vidéo qui correspond aux modèles de risque de suicide ou qui reçoit des commentaires préoccupés. Cela évite aux modérateurs de parcourir eux-mêmes une vidéo entière. AI priorise les rapports des utilisateurs comme étant plus urgents que d'autres types de violations de contenu, comme la violence ou la nudité. Facebook affirme que ces rapports accélérés sont transmis aux autorités locales deux fois plus vite que les rapports non accélérés. Les outils de Facebook amènent ensuite les ressources en langues locales de ses partenaires, y compris des lignes téléphoniques directes pour la prévention du suicide et les autorités à proximité. Le modérateur peut ensuite contacter les intervenants et tenter de les envoyer à l'emplacement de l'utilisateur à risque, faire remonter les ressources de santé mentale à l'utilisateur à risque ou les envoyer à des amis qui peuvent parler à l'utilisateur. «L'un de nos objectifs est de faire en sorte que notre équipe puisse répondre dans le monde entier dans toutes les langues que nous soutenons», déclare Rosen. En février, le PDG de Facebook, Mark Zuckerberg, a écrit: «Il y a eu des événements terriblement tragiques - comme des suicides, certains en direct - qui auraient peut-être pu être évités si quelqu'un s'était rendu compte de ce qui se passait. . . L'intelligence artificielle peut aider à fournir une meilleure approche. " Avec plus de 2 milliards d'utilisateurs, il est bon de voir Facebook qui intervient ici. Facebook a non seulement créé un moyen pour les utilisateurs d'entrer en contact et de prendre soin les uns des autres. Il est également malheureusement créé un canal de distribution en temps réel sans intermédiaire dans Facebook Live qui peut attirer les gens qui veulent un public pour la violence qu'ils s'infligent à eux-mêmes ou à d'autres. La création d'un utilitaire de communication mondial omniprésent s'accompagne de responsabilités qui vont bien au-delà de celles de la plupart des entreprises technologiques, ce que Facebook semble accepter.