“Do you want to see yourself acting in a movie or on TV?” said the description for one app on online stores, offering users the chance to create AI-generated synthetic media, also known as deepfakes.
“Do you want to see your best friend, colleague, or boss dancing?” it added. “Have you ever wondered how would you look if your face swapped with your friend’s or a celebrity’s?”
The same app was advertised differently on dozens of adult sites: “Make deepfake porn in a sec,” the ads said. “Deepfake anyone.”
How increasingly sophisticated technology is applied is one of the complexities facing synthetic media software, where machine learning is used to digitally model faces from images and then swap them into films as seamlessly as possible.
It’s now advanced enough that general viewers would struggle to distinguish many fake videos from reality, the experts said, and has proliferated to the extent that it’s available to almost anyone who has a smartphone, with no specialism needed.
Deepfake anyone? AI synthetic media tech enters perilous phase
by Shane Raymond (Reuters)
https://jp.reuters.com/article/tech-deepfake-insight-idCAKBN2IS0C5
“Do you want to see yourself acting in a movie or on TV?” said the description for one app on online stores, offering users the chance to create AI-generated synthetic media, also known as deepfakes.
“Do you want to see your best friend, colleague, or boss dancing?” it added. “Have you ever wondered how would you look if your face swapped with your friend’s or a celebrity’s?”
The same app was advertised differently on dozens of adult sites: “Make deepfake porn in a sec,” the ads said. “Deepfake anyone.”
How increasingly sophisticated technology is applied is one of the complexities facing synthetic media software, where machine learning is used to digitally model faces from images and then swap them into films as seamlessly as possible.
The technology, barely four years old, may be at a pivotal point, according to Reuters interviews with companies, researchers, policymakers and campaigners.
It’s now advanced enough that general viewers would struggle to distinguish many fake videos from reality, the experts said, and has proliferated to the extent that it’s available to almost anyone who has a smartphone, with no specialism needed.
“Once the entry point is so low that it requires no effort at all, and an unsophisticated person can create a very sophisticated non-consensual deepfake pornographic video – that’s the inflection point,” said Adam Dodge, an attorney and the founder of online safety company EndTab.
“That’s where we start to get into trouble.”
With the tech genie out of the bottle, many online safety campaigners, researchers and software developers say the key is ensuring consent from those being simulated, though this is easier said than done. Some advocate taking a tougher approach when it comes to synthetic pornography, given the risk of abuse.
Non-consensual deepfake pornography accounted for 96% of a sample study of more than 14,000 deepfake videos posted online, according to a 2019 report by Sensity, a company that detects and monitors synthetic media. It added that the number of deepfake videos online was roughly doubling every six months.
“The vast, vast majority of harm caused by deepfakes right now is a form of gendered digital violence,” said Ajder, one of the study authors and the head of policy and partnerships at AI company Metaphysic, adding that his research indicated that millions of women had been targeted worldwide.
Consequently, there is a “big difference” between whether an app is explicitly marketed as a pornographic tool or not, he said.
AD NETWORK AXES APP
ExoClick, the online advertising network that was used by the “Make deepfake porn in a sec” app, told Reuters it was not familiar with this kind of AI face-swapping software. It said it had suspended the app from taking out adverts and would not promote face-swap technology in an irresponsible way.
“This is a product type that is new to us,” said Bryan McDonald, ad compliance chief at ExoClick, which like other large ad networks offer clients a dashboard of sites they can customise themselves to decide where to place adverts.
“After a review of the marketing material, we ruled the wording used on the marketing material is not acceptable. We are sure the vast majority of users of such apps use them for entertainment with no bad intentions, but we further acknowledge it could also be used for malicious purposes.”
Six other big online ad networks approached by Reuters did not respond to requests for comment about whether they had encountered deepfake software or had a policy regarding it.
There is no mention of the app’s possible pornographic usage in its description on Apple’s App Store or Google’s Play Store, where it is available to anyone over 12.
Apple said it didn’t have any specific rules about deepfake apps but that its broader guidelines prohibited apps that include content that was defamatory, discriminatory or likely to humiliate, intimidate or harm anyone.
It added that developers were prohibited from marketing their products in a misleading way, within or outside the App Store, and that it was working with the app’s development company to ensure they were compliant with its guidelines.
Google did not respond to requests for comment. After being contacted by Reuters about the “Deepfake porn” ads on adult sites, Google temporarily took down the Play Store page for the app, which had been rated E for Everyone. The page was restored after about two weeks, with the app now rated T for Teen due to “Sexual content”.
FILTERS AND WATERMARKS
While there are bad actors in the growing face-swapping software industry, there are a wide variety of apps available to consumers and many do take steps to try to prevent abuse, said Ajder, who champions the ethical use of synthetic media as part of the Synthetic Futures industry group.
Some apps only allow users to swap images into pre-selected scenes, for example, or require ID verification from the person being swapped in, or use AI to detect pornographic uploads, though these are not always effective, he added.
Reface is one of the world’s most popular face-swapping apps, having attracted more than 100 million downloads globally since 2019, with users encouraged to switch faces with celebrities, superheroes and meme characters to create fun video clips.
The U.S.-based company told Reuters it was using automatic and human moderation of content, including a pornography filter, plus had other controls to prevent misuse, including labelling and visual watermarks to flag videos as synthetic.
“From the beginning of the technology and establishment of Reface as a company, there has been a recognition that synthetic media technology could be abused or misused,” it said.
‘ONLY PERPETRATOR LIABLE’
The widening consumer access to powerful computing via smartphones is being accompanied by advances in deepfake technology and the quality of synthetic media.
For example, EndTab founder Dodge and other experts interviewed by Reuters said that in the early days of these tools in 2017, they required a large amount of data input often totalling thousands of images to achieve the same kind of quality that could be produced today from just one image.
“With the quality of these images becoming so high, protests of ‘It’s not me!’ are not enough, and if it looks like you, then the impact is the same as if it is you,” said Sophie Mortimer, manager at the UK-based Revenge Porn Helpline.
Policymakers looking to regulate deepfake technology are making patchy progress, also faced by new technical and ethical snarls.
Laws specifically aimed at online abuse using deepfake technology have been passed in some jurisdictions, including China, South Korea, and California, where maliciously depicting someone in pornography without their consent, or distributing such material, can carry statutory damages of $150,000.
“Specific legislative intervention or criminalisation of deepfake pornography is still lacking,” researchers at the European Parliament said in a study presented to a panel of lawmakers in October that suggested legislation should cast a wider net of responsibility to include actors such as developers or distributors, as well as abusers.
“As it stands today, only the perpetrator is liable. However, many perpetrators go to great lengths to initiate such attacks at such an anonymous level that neither law enforcement nor platforms can identify them.”
Marietje Schaake, international policy director at Stanford University’s Cyber Policy Center and a former member of the EU parliament, said broad new digital laws including the proposed AI Act in the United States and GDPR in Europe could regulate elements of deepfake technology, but that there were gaps.
“While it may sound like there are many legal options to pursue, in practice it is a challenge for a victim to be empowered to do so,” Schaake said.
“The draft AI Act under consideration foresees that manipulated content should be disclosed,” she added.
“But the question is whether being aware does enough to stop the harmful impact. If the virality of conspiracy theories is an indicator, information that is too absurd to be true can still have wide and harmful societal impact.”
焦点：「誰でもディープフェイク」、ＡＩ合成は危険な領域に
Shane Raymond記者、翻訳：エァクレーレン（ロイター編集）
https://jp.reuters.com/article/tech-deepfake-idJPKBN2IV0DX
「自分が映画やテレビに出演するところを見たいと思いませんか」──オンラインストアに掲載されたアプリの紹介文だ。このアプリは、人工知能（ＡＩ）が生成する合成メディア、いわゆる「ディープフェイク」を創作するチャンスをユーザーに提供している。
「親友や同僚、上司が踊っているところを見てみませんか」と続く。「お友達やセレブの顔があなたに変わっていたら、どんな風に見えるか想像したことがありますか」
だが、同じアプリでも、多くのアダルトサイトでは広告の表現が変わってくる。「あっというまにディープフェイク・ポルノのできあがり」と広告はうたう。「誰でもディープフェイクできます」
ますます高度になる技術をどのように応用するか――これは合成メディアソフトが直面する厄介な問題の１つだ。この技術では、機械学習を用いて、画像をもとに顔のデジタルモデルを作成し、それを可能な限りシームレスに映像に入れ込んでいく。
誕生してから４年足らずの技術だが、今や転機を迎えているのかもしれない。ロイターではこの問題について、企業、研究者、政策担当者や啓発団体関係者に取材した。
技術はすでに十分に進歩しており、一般の視聴者には本物となかなか区別できないフェイク動画も多い、と専門家は言う。しかも、専門的な知識がなくてもスマートフォンさえ持っていれば、ほぼ誰にでも利用できるくらい普及している。
「これだけハードルが下がっていれば、何の努力もいらない。ずぶの素人でも、同意を得ずに非常に高度なディープフェイク・ポルノ動画を作れてしまう。この技術は転換点を迎えている」と語るのは、オンラインの安全確保を専門とする企業、エンドタブを創業した弁護士のアダム・ドッジ氏。
「私たちはこれから面倒な問題に巻き込まれていく」
ディープフェイクという魔神がランプから呼び出されてしまった今、大切なのはシミュレーションの対象となる人からしっかりと同意を得ることだ、とオンラインの安全性に取り組む活動家や研究者、ソフトウエア開発者は指摘する。だが、言うは易く、である。乱用のリスクを踏まえて、合成ポルノに関してはもっと厳しい措置を提唱する声もある。
合成メディアの検知・監視を行う企業センシティーがまとめた２０１９年の報告書によると、ネットに投稿されたディープフェイク動画１万４０００点以上を対象としたサンプル調査では、同意を得ないディープフェイク・ポルノが９６％を占めた。報告書は、ネット上のディープフェイク動画の数は、６カ月ごとに約２倍になっていると指摘した。
報告書の共著者の１人で、ＡＩ企業メタフィジックでポリシーとパートナーシップの担当部門を率いるヘンリー・ アジダー氏は「今のところ、ディープフェイクがもたらす危害の大部分は、圧倒的に、ジェンダーに基づくデジタル暴力だ」と指摘。同氏の調査では、世界全体では何百万人もの女性がディープフェイクの標的になっていることがうかがわれる。
結果的に、ディープフェイクのアプリが明示的に「ポルノ制作用」ツールとして販売されるかどうかで「大きな違い」が生まれてくる、とアジダー氏は述べた。
＜広告ネットワークから排除の動きも＞
「たった１秒でディープフェイク・ポルノができる」とうたうアプリが利用していたオンライン広告ネットワーク、エクソクリックは、ロイターの取材に対し、この種のＡＩによる顔交換（フェイススワップ）ソフトには馴染みがなかったとした。このアプリの広告配信を停止し、無責任な顔交換技術の宣伝には加担しないと表明した。
エクソクリックで広告コンプライアンス部門を率いるブライアン・マクドナルド氏は、「私たちにとっては不慣れなタイプの製品だ」と語った。同社は他の大手広告ネットワークと同様に、クライアントに対し、どこに広告を配置するかの判断を自分でカスタマイズできるダッシュボードを提供している。
「マーケティング素材を検証した後、そこで使われている文言は容認しがたいと判定した。こうしたアプリのユーザーの圧倒的多数は悪意のない娯楽用途で使っていると思うが、それでもなお、悪意ある目的で利用される可能性があることも認識している」
ロイターはエクソクリック以外にも大手オンライン広告ネットワーク６社に取材を試みたが、ディープフェイク用ソフトの広告を扱ったことがあるか、またそれについて方針を定めているかコメントを求めたところ、回答は得られなかった。
アップルの「アップストア」やグーグルの「プレイストア」では、１２歳以上であれば問題のアプリを入手できるが、アプリの説明ではポルノ製作に利用される可能性には言及していない。
アップルは、ディープフェイク用アプリについて特にルールは定めていないが、全体的なガイドラインにおいて、誹謗中傷や他人に対する侮辱・脅迫・危害の可能性のあるコンテンツを含むアプリは禁止していると説明した。
さらにアップルは、アプリ開発者は「アップストア」内外で誤解を招くような手法で自らの製品のマーケティングを行うことを禁じられており、ガイドラインを順守してもらえるよう、アプリ開発会社と協力していると明らかにした。
グーグルにもコメントを求めたが、回答は得られなかった。アダルトサイト上の「ディープフェイク・ポルノ」広告に関してロイターが問い合わせた後、グーグルは一時的に、プレイストア上で問題のアプリが掲載されたページを非表示としたが、アプリのレーティングは「Ｅ」、つまりあらゆる人（Everyone）向けとなっていた。当該のページは約２週間後に復活し、アプリの現在のレーティングは、「性的なコンテンツ」を理由に「Ｔ」（ティーン以上）とされている。
＜フィルター、透かしの利用も＞
成長期にある顔交換ソフトウェア産業には悪質な関係者もいるが、消費者向けに提供されているアプリはさまざまであり、多くは悪用を防止するための手を打っている、とアジダー氏は指摘した。同氏は、業界団体「シンセティック・フューチャーズ」の一員として、合成メディアの倫理的な利用を呼びかけている。
たとえば、あらかじめ指定された場面でしか画像を交換できないアプリもある。顔交換に使われる人のＩＤ認証を求められるアプリもあれば、ＡＩを使ってポルノ素材のアップロードを検知する例もある。だがアジダー氏は、こうした手段が常に有効であるとは限らないと語った。
顔交換アプリの中でも、世界で最も人気の高いものの１つが「リフェイス」だ。２０１９年以降、世界全体で１億回以上もダウンロードされている。セレブやスーパーヒーロー、ネットで話題のキャラクターと自分の顔を交換して愉快なビデオクリップを作ろう、というアプリだ。
米国を本拠とするリフェイスはロイターに対し、ポルノ判別用のフィルターなどを用い、不適切なコンテンツを自動的に、また人間の手により排除していると説明した。それ以外にも、動画が合成されたものであることを示すラベリングや目に見える「透かし」を用いるなど、悪用防止策を導入しているという。
「この技術が誕生し、リフェイスを会社として立ち上げて以来、合成メディア技術が悪用・誤用される可能性があるという認識を持ち続けている」と同社は述べた。
＜責任を負うのは「加害者だけ」か＞
スマートフォン経由で消費者がますます強力なコンピューティング機能を利用できるようになるのと平行して、ディープフェイク技術は進歩し、合成メディアの質は向上してきた。
たとえば、エンドタブ創業者のドッジ氏をはじめ、ロイターがインタビューした専門家らによれば、これらのツールが誕生して間もない２０１７年当時は、多くの場合は数千点もの画像による膨大な量のデータを入力してようやく得られた品質を、今日ではわずか１点の画像だけで実現できるという。
「こうした画像の品質が非常に高くなっているので、『これは本当の私ではない』と抗議するだけでは十分ではなくなっている。誰かに似ているだけでも、それが本人であるのと同じような影響を与える」と語るのは、英国を本拠とする「リベンジ・ポルノ・ヘルプライン」でマネジャーを務めるソフィー・モーティマー氏。
政策担当者はディープフェイク技術の規制を模索しているが、その足取りは重く、技術上・倫理上の新たな混乱にも直面している。
オンラインでのディープフェイク技術の悪用を特に対象とする法律は、中国、韓国、米カリフォルニア州などで成立している。カリフォルニア州では、本人の同意を得ずに悪意をもってポルノ描写に登場させ、あるいはそうした素材を流布すれば、１５万ドル（約１７００万円）の法定損害賠償を科される可能性がある。
欧州議会が委嘱した研究者らは１０月、議会委員会に提出した報告書の中で、「ディープフェイク・ポルノに対する立法による具体的な介入やその犯罪化は、まだ十分でない」との見解を示した。この報告書は、立法措置においては、悪用した者だけでなくアプリの開発者や配布者といった関係者にも広く責任を問うべきであると示唆した。
「現状では、加害者のみが責任を問われている。だが多くの加害者が手段を尽くして匿名のままこうした攻撃を始めているだけに、法執行機関もサイトも正体をつかむことができずにいる」
元欧州議会議員で、現在はスタンフォード大学サイバー政策センターで国際政策担当ディレクターを務めるマリエツェ・シャーケ氏は、米国で提案されているＡＩ法や欧州における一般データ保護規則（ＧＤＰＲ）など適用範囲の広い新たなデジタル法によって、ディープフェイク技術を構成する要素を規制することは可能だが、完璧ではないとの考えを示した。
同氏は「法律上は多くのオプションを追求することが可能だと思えるかもしれないが、実際には、犠牲者が実際にそうした対応を取れるようにするのは困難だ」と指摘。「検討されているＡＩ法案は、コンテンツが（ディープフェイク技術によって）改ざんされていることを表示すべきだと想定している」と説明した。
「しかし問題は、有害な影響を阻止するには、そうした改ざんが認識されるだけで十分なのか、という点だ。陰謀論があれほど広まることを参考にするならば、あまりに馬鹿げていて事実ではありえないような情報も、やはり社会に広く有害な影響を与える可能性がある」