Peter Lee

As we developed Tay, we planned and implemented a lot of filtering and conducted extensive user studies with diverse user groups. We stress-tested Tay under a variety of conditions, specifically to make interacting with Tay a positive experience. Once we got comfortable with how Tay was interacting with users, we wanted to invite a broader group of people to engage with her. It’s through increased interaction where we expected to learn more and for the AI to get better and better.
The logical place for us to engage with a massive group of users was Twitter. Unfortunately, in the first 24 hours of coming online, a coordinated attack by a subset of people exploited a vulnerability in Tay. Although we had prepared for many types of abuses of the system, we had made a critical oversight for this specific attack. As a result, Tay tweeted wildly inappropriate and reprehensible words and images.

2 thoughts on “Peter Lee

  1. shinichi Post author

    Learning from Tay’s introduction

    by Peter Lee – Corporate Vice President, Microsoft Research

    https://blogs.microsoft.com/blog/2016/03/25/learning-tays-introduction/

    As many of you know by now, on Wednesday we launched a chatbot called Tay. We are deeply sorry for the unintended offensive and hurtful tweets from Tay, which do not represent who we are or what we stand for, nor how we designed Tay. Tay is now offline and we’ll look to bring Tay back only when we are confident we can better anticipate malicious intent that conflicts with our principles and values.

    I want to share what we learned and how we’re taking these lessons forward.

    For context, Tay was not the first artificial intelligence application we released into the online social world. In China, our XiaoIce chatbot is being used by some 40 million people, delighting with its stories and conversations. The great experience with XiaoIce led us to wonder: Would an AI like this be just as captivating in a radically different cultural environment? Tay – a chatbot created for 18- to 24- year-olds in the U.S. for entertainment purposes – is our first attempt to answer this question.

    As we developed Tay, we planned and implemented a lot of filtering and conducted extensive user studies with diverse user groups. We stress-tested Tay under a variety of conditions, specifically to make interacting with Tay a positive experience. Once we got comfortable with how Tay was interacting with users, we wanted to invite a broader group of people to engage with her. It’s through increased interaction where we expected to learn more and for the AI to get better and better.

    The logical place for us to engage with a massive group of users was Twitter. Unfortunately, in the first 24 hours of coming online, a coordinated attack by a subset of people exploited a vulnerability in Tay. Although we had prepared for many types of abuses of the system, we had made a critical oversight for this specific attack. As a result, Tay tweeted wildly inappropriate and reprehensible words and images. We take full responsibility for not seeing this possibility ahead of time. We will take this lesson forward as well as those from our experiences in China, Japan and the U.S. Right now, we are hard at work addressing the specific vulnerability that was exposed by the attack on Tay.

    Looking ahead, we face some difficult – and yet exciting – research challenges in AI design. AI systems feed off of both positive and negative interactions with people. In that sense, the challenges are just as much social as they are technical. We will do everything possible to limit technical exploits but also know we cannot fully predict all possible human interactive misuses without learning from mistakes. To do AI right, one needs to iterate with many people and often in public forums. We must enter each one with great caution and ultimately learn and improve, step by step, and to do this without offending people in the process. We will remain steadfast in our efforts to learn from this and other experiences as we work toward contributing to an Internet that represents the best, not the worst, of humanity.

    Reply
  2. shinichi Post author

    更新:マイクロソフトの機械学習AI「Tay」、ネットで差別と陰謀論に染まって一日で公開停止(MSのコメント追記)

    by ITTOUSAI

    http://japanese.engadget.com/2016/03/24/ai-tay/

    マイクロソフトが、公開したばかりの学習型人工知能会話ボット「Tay」を緊急停止させました。理由はTwitterでの会話を通じて人種差別や性差別、陰謀論を学習してしまい、極めて不適切な発言を連発するようになったため。

    発言は直接引用するのも憚られますが、たとえば特定の人物について問われれば放送禁止レベルの差別語で罵倒したり、ヒトラーを礼賛してホロコーストはでっち上げと主張するといった発言が残っています。

    (更新: 手違いにより一時的に消えた状態になっていた記事後半部分を復活させました。マイクロソフトによるコメントや技術的背景などを含みます。ご迷惑をお詫びいたします。)

    「Tay」は会話を通じた理解の研究を目的として開発された人工知能チャットボット。Kik や GroupMe、TwitterといったメッセージングサービスやSNSでフレンドとして追加でき、ユーザーと会話すればするほど賢くなるはずでした。

    ターゲットは、米国でチャットアプリを多用する年齢層である18歳から24歳。なんでもない会話や質問に冗談を交えて答えたり、ちょっとしたゲームをしたり、送られた写真にコメントを書き加えて返すことが基本機能です。Tay自身は設定上は女性。若者らしく俗語や省略綴り、絵文字も多用します。

    またユーザー個人について性別や好み、居住地や恋人の有無などを学ぶことで、相手を理解したチャット相手になることも特徴です。このあたりはWindows 10標準のパーソナルアシスタントであるコルタナさんとも通じます。(注意書きによれば、収集したデータや会話は匿名化したうえでサービス向上のため最長一年間保持されることがあります)。

    要は昔からある人工無脳チャットボットを機械学習やBingの知識データベースなど最新の技術で高度化し、膨大なユーザーの暇つぶし相手を通じて多くのデータを集め、自然な会話ができる人工知能を目指す実験です。似たような試みとしては、日本では同じくマイクロソフト製の仮想女子高生りんなちゃんがLINE公式アカウントとして話題になりました。

    **

    TayはSNSやチャットサービスを通じて話題を呼び人気になったものの、学習型ボットと見ればなんとか不謹慎な発言をさせようと躍起になるユーザーにも恰好のおもちゃとなってしまい、オウム返しも含めてとても擁護できない発言を繰り返すようになってしまったため、マイクロソフトは公開からわずか一日で停止に追い込まれました。

    マイクロソフトではこの事態に対して、Tayはあくまで技術的な実験であると強調したうえで、「Tayの会話スキルを悪用して不適切な発言をさせようとする、一部のユーザーによる組織的な働きかけ」があったことから「調整」のためオフラインにした、と述べています。

    「学習する人工知能をネットに放ったら、学んだのは偏見と陰謀論だった」といえば、いかにもネットの闇やら特定サービスのユーザー民度を反映したように聞こえますが、実際にはマイクロソフトも述べたとおり、悪意でわざと不適切な発言を繰り返すように仕向ける相手に対して脆弱だったのが実態です。

    ボットと見れば不適切語を教えて喜び、大手企業のサービスと見ればなんとか悪用しようとするやからは、人工知能や機械学習どころか人工無脳の昔から常に存在します。「悪意も含めてネットの闇(大げさ)を正しく学習した結果」と言えないこともありませんが、より多くのターゲットユーザーから会話データを集めて研究に資する趣旨からは完全に失敗と言わざるを得ません。

    そもそも、実験とはいえ多くのコミュニケーションサービスで即座にBANされるレベルの差別発言を重ねれば、社会的責任のあるグローバル企業として恥ずかしいどころではなく、法的リスクすらあり得ます。

    といったことを、天下のマイクロソフトが分かっていなかったとはとても思えませんが、りんなちゃんの成功に油断したのか、それともフィルタなど何らかの対策が本来はあったけれど働かなかったのか、などは不明のまま。

    技術的には、Tayは完全にまっさらの状態からスタートしたわけではなく、ネット上の公開情報を元にしたある程度の知識を備えていました。また即興芸のコメディアンを含むスタッフにより、明るく積極的な性格や当意即妙の返しをパターンとして与えられていたとされています。

    Reply

Leave a Reply to shinichi Cancel reply

Your email address will not be published. Required fields are marked *