AI換臉、聲音克隆……人工智能的濫用到底怎么治?
新聞周刊丨人工智能的濫用,到底怎么治?
聲音和形象被AI合成濫用的事兒正變得越來越多。比如本周,奧運(yùn)冠軍全紅嬋、王楚欽等人的聲音被AI克隆,賣起了所謂的“土雞蛋”。不少配音演員也站出來維權(quán),因?yàn)樗麄冑囈陨娴穆曇?,如今可以被AI一鍵復(fù)制,隨意地使用。
這不禁讓我們越來越擔(dān)心,當(dāng)我們的聲音和面容到了如此輕易被人挪用的地步,人與人之間的信任該如何維系?AI的發(fā)展速度正越來越快,我們該如何用監(jiān)管和立法守住底線?《新聞周刊》本周關(guān)注:人工智能的濫用,到底怎么治?
AI換臉、聲音克隆等合成技術(shù)濫用
讓“耳聽眼見”未必為實(shí)
這是配音演員孫晨銘的原聲,而這段,是某自媒體賬號通過AI克隆其聲音生成的配音作品。如果沒有提示,誰能分辨出兩者之間的差異呢?也是在最近,孫晨銘還發(fā)現(xiàn),一家房產(chǎn)公司同樣未經(jīng)授權(quán),就對他的配音作品進(jìn)行了AI克隆,用在了公司的企業(yè)宣傳片中。
聲音被AI克隆,并被用于各種各樣的商業(yè)場景,對于孫晨銘和同行們來說,已經(jīng)不是什么新鮮事兒。有人給孫晨銘發(fā)來民法典的法條,聲音權(quán)和肖像權(quán)一樣,是公民不可侵犯的權(quán)益。于是,不少配音演員自發(fā)到那條企業(yè)宣傳片的評論區(qū)集體留言,壓力之下,這家房產(chǎn)公司,向?qū)O晨銘支付了版權(quán)費(fèi)用。
本周,本臺也曝光了利用AI技術(shù)仿冒奧運(yùn)冠軍全紅嬋進(jìn)行帶貨的案例。這種AI偽造技術(shù),已讓不少名人深受其害。微信平臺今年1月的公告顯示,一個(gè)月內(nèi),就處置了1.2萬條利用AI仿冒名人進(jìn)行違規(guī)拼接、不當(dāng)營銷和惡意博取流量的內(nèi)容,關(guān)閉了3281個(gè)相關(guān)賬號。
近日,北京互聯(lián)網(wǎng)法院也審結(jié)一起案件,被告擅自使用大學(xué)教師李女士的肖像和AI合成聲音進(jìn)行圖書宣傳,最終法院判定,該行為侵犯了李女士的肖像權(quán)和聲音權(quán)益。
北京互聯(lián)網(wǎng)法院綜合審判三庭(少年法庭)庭長 顏君:往往這種案件的受侵害的一方都是有一定社會知名度的名人,因?yàn)樗麜硐鄳?yīng)的社會認(rèn)可度、認(rèn)知度,他的聲音和他的肖像有一定的商業(yè)利用價(jià)值。更重要的是如果這個(gè)帶貨的內(nèi)容,比如說帶的是偽劣產(chǎn)品或者是虛假宣傳的內(nèi)容,有可能極大的消解這位名人他的社會認(rèn)知度、認(rèn)可度和信任度。
這段AI視頻,生成于兩年前,當(dāng)時(shí)的技術(shù),人臉畫面還顯得僵硬與不自然;而到了去年7月,南京玄武區(qū)法院審理的案件中,一名男子通過AI換臉軟件,就成功突破了某支付平臺的人臉識別系統(tǒng)。人工智能技術(shù)的飛速發(fā)展,已經(jīng)使真與假之間的界限,開始變得難以分辨。
配音演員 武揚(yáng):從今年開始,我確實(shí)發(fā)現(xiàn)一些宣傳片,他們AI的訓(xùn)練可以達(dá)到以假亂真的程度,在70%到80%的平穩(wěn)敘述的范疇里面,AI都是可以處理得很好的,甚至我本人去聽也需要長時(shí)間辨別,是不是我本人錄的。
中國信通院人工智能所安全部高級業(yè)務(wù)主管 陳文弢:其實(shí)對于生成一個(gè)肉眼分辨不出來的這種視頻,在前幾年來說,難度是比較高的,需要一定的技術(shù)門檻,但是這幾年出現(xiàn)了一些這種簡捷化的工具,可以從開源社區(qū)上直接下載。它可以用消費(fèi)級的筆記本單機(jī)來部署,一張照片就能夠完成實(shí)時(shí)換臉。
耳聽為虛,眼見為實(shí),這句古話正面臨巨大挑戰(zhàn)。AI換臉、聲音克隆等合成技術(shù)的濫用,讓“耳聽眼見”都未必為實(shí)。對于配音演員孫晨銘來說,AI濫用直接影響到他的生計(jì),賴以謀生的聲音,正成為被隨意復(fù)制的免費(fèi)素材。迎面而來的AI時(shí)代,讓他看不清自己的未來將通向何方。
我們正在進(jìn)入“全民AI時(shí)代”
監(jiān)管能不能夠跟得上呢?
如今,AI合成視頻已經(jīng)能做到以假亂真,不得不需要新的技術(shù)來辨別。技術(shù)成熟的速度令人驚嘆,而使用門檻也大幅降低。一部手機(jī)、幾個(gè)軟件,普通人就能輕松生成文字、圖片、音頻、視頻等各類內(nèi)容??梢哉f,我們正在進(jìn)入一個(gè)“全民AI時(shí)代”。
然而,技術(shù)的普及勢必會帶來AI的濫用:從人臉和聲音被合成冒用,到各類低俗獵奇視頻的傳播,再到漫天謠言的背后,AI都成了核心“推手”。每隔一段時(shí)間,新的問題就會涌現(xiàn)。所以,在技術(shù)開始狂奔的局面下,我們需要關(guān)注監(jiān)管,能不能夠跟得上呢?
精致的五官、靈動的眼神、流暢的動作,如果沒有相關(guān)標(biāo)注,你是否能分辨出,這是一個(gè)完全由AI生成的數(shù)字人?在短視頻平臺,類似的視頻比比皆是,還有不少視頻,直接提供免費(fèi)的AI軟件以及使用教程。
一部手機(jī)、兩三個(gè) AI 軟件,幾分鐘就能制作一段時(shí)長五秒左右的美女跳舞視頻。AI生成合成技術(shù)的飛速發(fā)展,正在累積著治理風(fēng)險(xiǎn)。去年,抖音安全中心曾發(fā)布公告,表示已發(fā)現(xiàn)多種不當(dāng)使用AI技術(shù)生成虛擬人物的行為,其中就包括利用AI生成俊男美女虛假形象,騙取互動,將用戶導(dǎo)流至私人聊天工具,甚至進(jìn)行詐騙。根據(jù)抖音平臺本周五提供的數(shù)據(jù),他們最近一周處置的AI虛假違規(guī)內(nèi)容量,相比2025年第一周,增長了62%。
事實(shí)上,從2023年開始,抖音等多家平臺陸續(xù)要求,發(fā)布人工智能生成內(nèi)容時(shí),需添加“內(nèi)容由AI生成”的標(biāo)識,并且也會進(jìn)行監(jiān)測和處置。但是,執(zhí)行效果并不盡如人意。并且有自媒體博主表示,一些平臺的監(jiān)測手段可以破解,比如一些AI工具配置有鏡像文件,其一鍵生成的虛擬人像,就能規(guī)避平臺的監(jiān)測。
自媒體博主:很少。你看我作品我十四個(gè)里面就一兩個(gè)會有。如果它給你出判定為AI作品,你可以把作品下架,然后再重新發(fā)一個(gè)。
中國信通院人工智能所安全部高級業(yè)務(wù)主管 陳文弢:如果說打上了這個(gè)標(biāo)識,你只看可能就覺得它是由AI生成的,可能就不是特別的可信,所以這是從用戶的角度,他是不愿意打這個(gè)標(biāo)的。從技術(shù)的這個(gè)角度來看,如果說想完全滿足監(jiān)管的這個(gè)要求,把所有的生成合成的視頻都識別出來,這個(gè)其實(shí)難度還是很大的。
相比視頻、圖像,在專家看來,AI生成的文字謠言,監(jiān)管起來其實(shí)更加困難。去年,江西南昌就破獲一起AI造謠案件,相關(guān)機(jī)構(gòu)利用AI軟件,一天最多能生成4000—7000篇謠言文章,工作量驚人。更讓人擔(dān)憂的是,AI算法還能匹配用戶喜好,定制化的生成謠言,使AI謠言變得越來越真假難辨。今年3月,某自媒體賬號發(fā)布全國首例“AI醫(yī)療誤診”訴訟案開庭的文章,時(shí)間、地點(diǎn)、人物甚至庭審爭議焦點(diǎn)等細(xì)節(jié)滿滿,不過,經(jīng)過記者與法院核實(shí),所有內(nèi)容都是AI編造的假信息。
目前,盡管一些平臺設(shè)置了相應(yīng)“謠言庫”,通過設(shè)置熱點(diǎn)關(guān)鍵詞來屏蔽謠言。但一些機(jī)構(gòu)利用AI模型針對性地進(jìn)行對抗訓(xùn)練,使用近義詞或類似表達(dá),就可以繞過篩查。
今年4月以來,中央網(wǎng)信辦開展了為期三個(gè)月的“清朗·整治AI技術(shù)濫用”專項(xiàng)行動,AI換臉擬聲、AI內(nèi)容標(biāo)識缺失等亂象,都是整治重點(diǎn)。6月,網(wǎng)信辦公布專項(xiàng)行動第一階段成果,累計(jì)處置違規(guī)小程序、應(yīng)用程序、智能體等AI產(chǎn)品3500余款,清理違法違規(guī)信息96萬余條,處置賬號3700余個(gè)。如今,三個(gè)月的專項(xiàng)行動已經(jīng)結(jié)束,但監(jiān)管與AI濫用之間的拉鋸戰(zhàn),顯然才剛剛開始。
聯(lián)合國高級別人工智能咨詢機(jī)構(gòu)中方專家 中國政法大學(xué)數(shù)據(jù)法治研究院教授 張凌寒:我們可能更要設(shè)定一個(gè)目標(biāo),就是能夠在AI應(yīng)用爆發(fā)之后,我們在這幾年要把整個(gè)AI濫用生成虛假內(nèi)容實(shí)現(xiàn)在一個(gè)可控的范圍之內(nèi)。這個(gè)可控的范圍是指說我們不能夠讓廣大老百姓因?yàn)檫@個(gè)去發(fā)生重大的人身財(cái)產(chǎn)的損失,同時(shí)也要盡量減少這種AI的內(nèi)容虛假宣傳造成社會輿論的動蕩。這是我們的一個(gè)紅線和底線。
“內(nèi)容由AI生成”
能改變AI濫用的現(xiàn)狀嗎?
人工智能,正以前所未有的速度改變世界,它不僅是科技創(chuàng)新的前沿,更是國家間戰(zhàn)略博弈的新高地。相關(guān)產(chǎn)業(yè)的發(fā)展固然重要,但通過監(jiān)管和立法為它劃定邊界,也同樣顯得十分緊迫。因?yàn)榭萍嫉倪M(jìn)步本身并不足以確保人類的進(jìn)步,更重要的是通過規(guī)則為它校準(zhǔn)方向。
說到規(guī)則,關(guān)于AI合成內(nèi)容,幾天后的9月1日,網(wǎng)信辦等四部門印發(fā)的《人工智能生成合成內(nèi)容標(biāo)識辦法》將開始施行,它明確規(guī)定服務(wù)提供者,應(yīng)當(dāng)對文本、音頻、圖片、視頻等生成合成內(nèi)容,在適當(dāng)位置添加顯式標(biāo)識,也就是說今后所有AI作品必須亮明身份,標(biāo)注是AI生成。它的實(shí)施,能改變當(dāng)下AI出現(xiàn)濫用的現(xiàn)狀嗎?
在某短視頻平臺上,一條生成式視頻的左下角“標(biāo)注著”作者聲明:內(nèi)容由AI生成,而這樣的標(biāo)注義務(wù),在即將于9月1日實(shí)施的《人工智能生成合成內(nèi)容標(biāo)識辦法》中,得以進(jìn)一步明確,在人工智能生成合成內(nèi)容的全生命周期,都要履行標(biāo)識義務(wù)。
北京抖音信息服務(wù)有限公司副總編輯 全森:這個(gè)標(biāo)識辦法要求AI技術(shù)服務(wù)提供者,對文件(元數(shù)據(jù))內(nèi)容進(jìn)行隱式標(biāo)識。這樣一個(gè)核心的鏈路解決了最大的卡點(diǎn),這個(gè)卡點(diǎn)就是技術(shù)服務(wù)平臺與內(nèi)容傳播平臺之間,數(shù)據(jù)難以互通的一個(gè)卡點(diǎn)。解決了這個(gè)卡點(diǎn)之后,我們預(yù)計(jì)很大程度上解決了這個(gè)AI難以識別的問題。
馬上就要實(shí)施的這個(gè)《標(biāo)識辦法》,從人工智能生成合成內(nèi)容的生產(chǎn)、傳播和使用等環(huán)節(jié)入手,對標(biāo)識制度進(jìn)行了系統(tǒng)性的細(xì)化和規(guī)范。而隨著深度合成技術(shù)日益逼真,逃避審查的手段不斷升級,人工識別的難度越來越高,相應(yīng)的法規(guī)和機(jī)制,也需要不斷應(yīng)對挑戰(zhàn)。
推進(jìn)生成式人工智能標(biāo)識制度的建立,已經(jīng)成為世界各國的共識。而在專家看來,中國在該領(lǐng)域的立法起步相對較早,2023年施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》,就在世界范圍內(nèi),在相關(guān)法規(guī)中首次明確提出生成式人工智能標(biāo)識義務(wù)。
在專家看來,即將實(shí)施的《標(biāo)識辦法》,還只是一個(gè)規(guī)范性文件,在整個(gè)立法體系中位階較低。如果站在更高的維度觀察人工智能立法,安全、隱私、公平等都是必須直面的核心問題。今年,人形機(jī)器人行業(yè)進(jìn)入快車道,機(jī)器人逐漸與人實(shí)現(xiàn)面對面,甚至是接觸式交流。在深圳的一家養(yǎng)老機(jī)構(gòu),養(yǎng)老機(jī)器人,不僅可以帶老人跳舞,扶著走路,還能陪打乒乓球、遞水等,可謂多才多藝。面對著養(yǎng)老新朋友,有老人既興奮又擔(dān)心,機(jī)器人真的安全嗎?
經(jīng)過多年探索,我國已初步構(gòu)建起涵蓋多層次、多維度的人工智能法律框架,但仍需要一部具有統(tǒng)領(lǐng)性的人工智能高位階立法,予以統(tǒng)一規(guī)范。在國務(wù)院公布的2024年度立法工作計(jì)劃中,曾明確“預(yù)備提請全國人大常委會審議人工智能法草案”,而《全國人大常委會2025年度立法工作計(jì)劃》的相關(guān)表述則是,“人工智能健康發(fā)展等方面的立法項(xiàng)目,由有關(guān)方面抓緊開展調(diào)研和起草工作,視情安排審議”,顯然,一部中國的人工智能法,正在加緊推進(jìn)之中。
對于人工智能,有人把它比作是潘多拉魔盒,在釋放出無限可能的同時(shí),也會帶來難以預(yù)知的風(fēng)險(xiǎn)。
而前不久在上海舉辦的世界人工智能大會上,圖靈獎得主辛頓的演講,也在提醒所有人,要對AI保持足夠的警覺。他把人類與AI的關(guān)系,比作飼養(yǎng)一只老虎,老虎長大后可能輕易超越人類,而且人類沒有擺脫和消除它的選項(xiàng),人類想要生存,必須找到辦法訓(xùn)練AI。而如何訓(xùn)練出比人更聰明的“好AI”,是我們從來沒有遇到過的巨大的機(jī)會和挑戰(zhàn)。
正如中國那句老話,“人無遠(yuǎn)慮,必有近憂”,在AI的問題上,我們必須要看得更遠(yuǎn),才能走得更好。(來源:央視新聞客戶端)

經(jīng)濟(jì)新聞精選:
- 2025年08月22日 14:34:34
- 2025年08月22日 11:19:01
- 2025年08月22日 10:15:01
- 2025年08月22日 09:27:16
- 2025年08月21日 14:12:17
- 2025年08月21日 14:04:51
- 2025年08月21日 11:31:45
- 2025年08月21日 11:27:21
- 2025年08月20日 13:53:08
- 2025年08月20日 11:07:04