「TechCrunch」にFacebookがAIを活用して自殺防止や通報機能を搭載する記事が掲載された。（Facebook rolls out AI to detect suicidal posts before they’re reported）

FacebookはAIを利用した「プロアクティブな探知」機能を実装するとしている。
この機能というのは、ユーザーが投稿したコンテンツをスキャンすることで、自殺の可能性を示唆する投稿を抽出し、自殺の危険性が発見されたユーザー、あるいはその友達に対し、必要に応じてメンタルヘルス専門家などのリソースを提供できるようにするというものだ。専門家だけでなく、地域で自殺防止のために活動している人々に通報する機能もある。

AIを利用することにより、自殺の恐れのある憂慮すべき兆候がある投稿に対し、フラグを立て、これを人間のモデレーターが精査する仕組みとなっている。従来は、人的に投稿を読んだメンバーが通報をし、次の行動に進んでいたため、圧倒的に素早い対応が可能になる。

あまり知られていないかもしれないが、この記事によると、Facebookでは以前からAIを利用して問題のある投稿を判別する実験を行ってきたようだ。
今回の場合は、自殺防止という分野で実際の機能として展開していくようだが、地域は当面、アメリカだけが対象という。
それでもAIを利用した投稿スキャンについては、全世界レベルで行っているのは間違いないという。ただし、プライバシー関連法が複雑なEU諸国は例外といわれている。

当然ながらすべての投稿をスキャンするということに対して、懸念を持つ人も多いようで、それに対してFacebookの最高セキュリティー責任者のAlex Stamosが投稿もしている。

The creepy/scary/malicious use of AI will be a risk forever, which is why it’s important to set good norms today around weighing data use versus utility and be thoughtful about bias creeping in. Also, Guy Rosen and team are amazing, great opportunity for ML engs to have impact. https://t.co/N9trF5X9iM
— Alex Stamos (@alexstamos) 2017年11月27日

「利便性に適切な基準」「偏見が忍び込むことに留意」などを重要だとし、優秀なチームが成果を活かすチャンスだとしている。

FacebookのCEO、マーク・ザッカーバーグは今年の2月にFacebookで「自殺が起き、そのいくつかはライブストリーミングされるという恐ろしい出来事があった。誰かが事前に気づき、適切に通報していればこうした悲劇は防止できたかもしれない」という文章のあとに、「AIはこの面で優れたアプローチを提供できると思う」という内容を記述していた。