今年3月，國家網(wǎng)信辦等四部門聯(lián)合發(fā)布了《人工智能生成合成內(nèi)容標(biāo)識辦法》。9月1日，這項(xiàng)辦法就將正式施行。其中最值得關(guān)注的是所有人工智能生成、合成的內(nèi)容，必須打上標(biāo)識。那么新規(guī)為何要做這樣的強(qiáng)制要求？未做標(biāo)識的AI畫面會對公眾造成怎樣的誤導(dǎo)呢？

　　直播間售賣辣椒 網(wǎng)絡(luò)主播聲稱所見即所得

　　近段時(shí)間，在抖音、快手等平臺直播間，一款名為“樟樹港辣椒種子”的產(chǎn)品成了一些網(wǎng)絡(luò)主播賣貨推銷的重點(diǎn)，但是有網(wǎng)友卻發(fā)現(xiàn)，直播間里展示的辣椒畫面，看起來并不是很真實(shí)，疑似是由AI生成。

　　在平臺直播中，記者看到，這些主播展示的視頻大同小異，都是成串垂掛、排列整齊且碩大的辣椒果實(shí)，乍一看似乎這款辣椒的產(chǎn)量非常高，時(shí)不時(shí)就有人下單購買。當(dāng)記者詢問主播視頻保不保真，辣椒種出來有沒有這么大時(shí)，大部分主播都表示，所見即所得。

　　就在這個(gè)主播回答提問的時(shí)候，背景視頻卻出現(xiàn)了農(nóng)戶站在快要沒過膝蓋的深水里采摘辣椒的場景。這樣的場景顯然不符合正常情況，而且類似的場景，在其他主播的直播間也能看到。這些會不會是AI生成的視頻呢？記者找到技術(shù)專家，幫忙辨別。

　　奇安信集團(tuán)安全專家 張庭：像在這一段這個(gè)人物在往后退的時(shí)候，就直接進(jìn)入到了這一片的辣椒里面，這和我們自然的過程是不符合的，我們專業(yè)里面叫穿模，這是一個(gè)典型的AI生成的視頻中間會容易出現(xiàn)的問題。

　　另外，專家也發(fā)現(xiàn)這些直播使用的視頻，在無人機(jī)噴灑化肥農(nóng)藥的片段中，水霧的形態(tài)呈現(xiàn)規(guī)則的三角形狀，不符合自然的霧化狀態(tài)，在盆栽辣椒植株展示的片段中，花朵過大，而且只集中在頂端，這些都不符合自然規(guī)律。

　　奇安信集團(tuán)安全專家 張庭：我們從視頻中能夠看到，它存在著一些不太符合自然規(guī)律的這個(gè)現(xiàn)象，和一些細(xì)節(jié)方面不符合自然的狀態(tài)，很有可能這個(gè)視頻就是由AI生成的。

　　辣椒產(chǎn)地農(nóng)技專家證實(shí)視頻“不真”

　　由此看來，這些直播視頻很可能就是AI生成的。此前，抖音等多家平臺陸續(xù)要求，發(fā)布人工智能生成內(nèi)容時(shí)，需添加“內(nèi)容由AI生成”的標(biāo)識，并且平臺也會進(jìn)行監(jiān)測和處置。但是這些直播視頻中卻并未進(jìn)行標(biāo)識。那是不是像網(wǎng)絡(luò)主播說的那樣，視頻只是為了更好地展示這款“樟樹港辣椒”的品質(zhì)呢？記者去了樟樹港辣椒的產(chǎn)地，湖南省岳陽市湘陰縣，請當(dāng)?shù)氐霓r(nóng)技專家答疑解惑。

　　樟樹港辣椒，是湖南省湘陰縣樟樹鎮(zhèn)的特產(chǎn)，獲評“國家地理標(biāo)志農(nóng)產(chǎn)品”。因其品質(zhì)優(yōu)良、口感嫩香，受到很多消費(fèi)者的喜歡。當(dāng)?shù)剞r(nóng)技專家在看到這些直播視頻時(shí)，直言是虛假宣傳。

　　湖南湘陰縣樟樹鎮(zhèn)高級農(nóng)藝師 黃源：樟樹港辣椒植株很矮小的，它這個(gè)有一人多高了。你看它這個(gè)辣椒，它這個(gè)花根本就不是辣椒的花，第二，它這個(gè)葉片也不是辣椒樹苗葉片的形狀。就像一個(gè)樹苗上面結(jié)的全是辣椒，這可能嗎？不可能的。辣椒是每一個(gè)分支節(jié)點(diǎn)結(jié)一個(gè)辣椒，不是像玉米棒子一樣結(jié)辣椒的，它這個(gè)明顯是虛假宣傳。

　　同時(shí)，農(nóng)技專家也告訴記者，正常情況下，樟樹港辣椒的果長一般為6到9厘米，也就是大概成年人半個(gè)手掌的長度，而視頻中展示的辣椒，普遍長度都超過了手掌，甚至有些和小臂差不多長，明顯不合理。而且樟樹港辣椒屬于皺皮辣椒，也不像視頻中展示的那樣，果皮光滑。

　　此外，記者也了解到，目前當(dāng)?shù)夭]有授權(quán)任何企業(yè)和個(gè)人在網(wǎng)上銷售樟樹港辣椒的種子和種苗。

　　全網(wǎng)取證 向平臺投訴 要求處罰違規(guī)店鋪

　　目前，湖南省湘陰縣有關(guān)部門表示，已對相關(guān)行為進(jìn)行全網(wǎng)取證，并向平臺投訴，要求平臺立即下架商品、刪除視頻，并對違規(guī)店鋪進(jìn)行處罰。同時(shí)，他們還向侵權(quán)行為發(fā)生地或商家注冊地的市場監(jiān)督管理部門進(jìn)行投訴舉報(bào)，要求停止侵權(quán)行為。截至目前，抖音、快手等平臺已對相關(guān)銷售行為采取措施。對構(gòu)成違法犯罪的，平臺也將積極配合執(zhí)法及司法機(jī)關(guān)工作。那么利用AI進(jìn)行虛假宣傳的賣貨行為，會帶來哪些危害呢？

　　中國法學(xué)會消費(fèi)者權(quán)益保護(hù)法研究會副秘書長 陳音江：消費(fèi)者權(quán)益保護(hù)法和電子商務(wù)法都明確規(guī)定，經(jīng)營者在推薦這種商品和服務(wù)的信息的時(shí)候，要做到真實(shí)、準(zhǔn)確、全面。

　　他用AI生成的這種照片或者說視頻來展示他的商品，就要以顯著的方式來標(biāo)識，提醒消費(fèi)者注意，他并沒有去說明，涉嫌用這種虛假的信息來欺騙和誤導(dǎo)消費(fèi)者，涉嫌侵犯消費(fèi)者的知情權(quán)和選擇權(quán)。

　　如果經(jīng)營者故意通過這一種AI的視頻或者說圖片來欺騙消費(fèi)者，讓他誤以為可以長出這樣子，但實(shí)際上它長不出圖片和視頻的這個(gè)樣子，這種行為還可能會構(gòu)成欺詐。

　　用AI制造假新聞 多地警方查處相關(guān)案件

　　如今人們的日常生活與人工智能越來越緊密，可以用AI幫忙查找資料輔助寫作；讓AI將創(chuàng)意轉(zhuǎn)化為圖像、視頻；用AI搭建一套高效的學(xué)習(xí)場景，可以說，我們正在進(jìn)入“全民AI時(shí)代”。但是有人卻利用AI，給虛假信息穿上了一層難辨真假的偽裝，讓耳聽不一定為真，眼見也未必為實(shí)。

　　今年7月17日，杭州濱江警方在網(wǎng)絡(luò)巡查時(shí)，發(fā)現(xiàn)一位名叫“天使麗人”的網(wǎng)民在某資訊網(wǎng)站發(fā)布了一篇題為《杭州亞運(yùn)場館突發(fā)坍塌！建成僅2年，承建方曾獲“魯班獎(jiǎng)”》。該文通篇采用記者的口吻進(jìn)行敘述，文章細(xì)節(jié)豐富，還特意提及承建方曾獲建筑行業(yè)工程質(zhì)量最高榮譽(yù)“魯班獎(jiǎng)”，意圖增加信息的“可信度”和“反差感”，極具迷惑性，乍看之下仿佛是一則突發(fā)新聞報(bào)道。

　　浙江杭州市公安局濱江區(qū)分局西興派出所副所長 金軼棟：我們發(fā)現(xiàn)這個(gè)情況以后，也是第一時(shí)間和這個(gè)奧體場館進(jìn)行了聯(lián)系，包括也去現(xiàn)場實(shí)地看了，發(fā)現(xiàn)根本就沒有帖子當(dāng)中說的這個(gè)情況，那么初步判斷這就是一個(gè)虛構(gòu)事實(shí)，擾亂公共秩序的違法行為。

　　很快，警方就找到了該篇虛假新聞的發(fā)布者馬某。據(jù)馬某交代，他發(fā)布這篇由AI生成的虛假文章，主要是為了博取關(guān)注和流量，從而獲得收益，為了順利通過網(wǎng)站審核，他在給AI生成工具的提示詞中還特地強(qiáng)調(diào)了突出記者報(bào)道的現(xiàn)場感。目前，公安機(jī)關(guān)已對馬某進(jìn)行了行政處罰。

　　近年來，類似由AI生成的假新聞、謠言，頻繁出現(xiàn)在網(wǎng)絡(luò)空間并傳播。

　　今年1月，西藏定日縣發(fā)生6.8級地震。在全國人民關(guān)注搶險(xiǎn)救援的時(shí)候，“小男孩被埋圖”在互聯(lián)網(wǎng)平臺迅速傳播，并配文日喀則地震等關(guān)鍵詞，引發(fā)大量網(wǎng)民關(guān)注。由于畫面中小男孩有6根手指，AI生成的痕跡明顯，謠言很快被識破。相關(guān)人員也受到了處理。

　　但隨著AI技術(shù)的迅速發(fā)展，一些AI生成工具的使用更加便捷，往往一部手機(jī)、幾個(gè)軟件就能完成一次AI創(chuàng)作。有的人員利用AI工具拼湊虛假事實(shí)，并通過購買一些自媒體賬號進(jìn)行傳播，甚至形成了一條“謠言→AI引用→更多謠言”的傳播鏈條。

　　今年6月，上海靜安警方查處了一起編造“華山醫(yī)院前院長張明遠(yuǎn)因闌尾炎未得到及時(shí)救治，客死他鄉(xiāng)醫(yī)院走廊長椅”的謠言案件。涉案的3名人員每天在網(wǎng)絡(luò)上查找各種熱點(diǎn)事件和消息，通過向AI工具輸入關(guān)鍵詞，自動生成文章，拼湊出了一條包含“知名三甲醫(yī)院”“前院長”“客死他鄉(xiāng)”等吸引眼球的謠言信息，僅24小時(shí)之內(nèi)，相關(guān)謠言的不同版本就在網(wǎng)上被大量傳播，造成了惡劣的社會影響。

　　目前，相關(guān)涉案人員因涉嫌非法利用信息網(wǎng)絡(luò)罪，被上海靜安警方依法采取刑事強(qiáng)制措施，相關(guān)違法賬號已被依法封禁，案件正在進(jìn)一步偵辦中。

　　AI生成內(nèi)容必須添加顯式或隱式標(biāo)識

　　AI生成合成的內(nèi)容真假難辨，只有打上標(biāo)識，才能讓AI生成的虛假消息露出原形。那么，AI生成內(nèi)容的標(biāo)識具體該如何添加，新規(guī)是如何規(guī)定的？

　　“標(biāo)識辦法”明確，人工智能生成合成內(nèi)容是指利用人工智能技術(shù)生成、合成的文本、圖片、音頻、視頻、虛擬場景等信息。人工智能生成合成內(nèi)容標(biāo)識包括顯式標(biāo)識和隱式標(biāo)識。

　　顯式標(biāo)識是指在生成合成內(nèi)容或者交互場景界面中添加的，以文字、聲音、圖形等方式呈現(xiàn)并可以被用戶明顯感知到的標(biāo)識。

　　隱式標(biāo)識是指采取技術(shù)措施在生成合成內(nèi)容文件數(shù)據(jù)中添加的，不易被用戶明顯感知到的標(biāo)識。

　　中國社會科學(xué)院法學(xué)研究所研究員 支振鋒：這種顯式標(biāo)識就好像人的臉，一眼就能看到這種真假長的是個(gè)什么樣子，而隱式標(biāo)識就像人的指紋，雖然一般不輕易看到指紋，但是很容易通過技術(shù)去檢測它，究竟是誰生產(chǎn)的，從哪生產(chǎn)的，怎么生產(chǎn)的，所以這樣子的話出現(xiàn)了問題也很容易去溯源找到這個(gè)責(zé)任者，它就能夠形成一個(gè)很好的責(zé)任鏈條。

　　據(jù)法學(xué)專家介紹，添加顯式或隱式標(biāo)識，最主要的目的就是，解決目前相關(guān)內(nèi)容“哪些是AI生成”“誰生成的”“從哪里生成”的三大核心問題。

　　顯式標(biāo)識可以確保用戶能直觀辨別生成內(nèi)容的人工智能屬性，保障公眾知情權(quán)。

　　隱式標(biāo)識則既保障了標(biāo)識的持久性，也為后續(xù)數(shù)據(jù)清洗、校驗(yàn)提供技術(shù)依據(jù)。

　　這兩種標(biāo)識結(jié)合使用，既能減少對用戶體驗(yàn)的干擾，還能為相關(guān)監(jiān)管提供溯源依據(jù)。

　　明確全鏈條責(zé)任 從生成到傳播閉環(huán)管理

　　AI生成的內(nèi)容該由誰來標(biāo)識？出現(xiàn)相關(guān)違法違規(guī)行為該如何追溯、追責(zé)呢？

　　中國人民大學(xué)未來法治研究院執(zhí)行院長 張吉豫：在我們國家之前發(fā)布的互聯(lián)網(wǎng)信息內(nèi)容深度合成管理辦法里面等文件中也有一定的規(guī)范，特別是針對比如說跟語音有關(guān)的，和自然人的相應(yīng)的圖片視頻有關(guān)內(nèi)容的時(shí)候，或者是其他的可能引起相應(yīng)的用戶產(chǎn)生混淆的時(shí)候，這個(gè)時(shí)候就需要去進(jìn)行顯式的標(biāo)識，以避免人們看到這段內(nèi)容之后產(chǎn)生一個(gè)錯(cuò)誤的理解。

　　據(jù)法學(xué)專家介紹，針對個(gè)人用戶借助AI技術(shù)進(jìn)行文字創(chuàng)作時(shí)，如果不存在侵犯個(gè)人、社會權(quán)益的情況下，個(gè)人用戶則不需要進(jìn)行專門的標(biāo)識。但是，如果個(gè)人用戶使用AI技術(shù)生成的相關(guān)內(nèi)容，涉及如仿冒名人的話語表達(dá)或者容易讓社會公眾產(chǎn)生誤解、混淆等內(nèi)容，都必須進(jìn)行顯式標(biāo)識。

　　中國社會科學(xué)院法學(xué)研究所研究員 支振鋒：標(biāo)識辦法區(qū)分了生成合成內(nèi)容不同主體的責(zé)任，對生成人工智能這種生成合成內(nèi)容進(jìn)行一個(gè)全鏈條的監(jiān)管，不管是生成人工智能服務(wù)的提供者還是用戶，既要按照這個(gè)辦法的要求去進(jìn)行標(biāo)識，還要按照國家強(qiáng)制標(biāo)準(zhǔn)的要求進(jìn)行標(biāo)識，這樣就把從制作、傳播、發(fā)布等等這個(gè)鏈條理得更清楚，然后相關(guān)的責(zé)任劃分也更明晰。

　　據(jù)法學(xué)專家介紹，“標(biāo)識辦法”明確了相關(guān)主體的責(zé)任義務(wù)，包括服務(wù)提供者需在內(nèi)容生成、傳播、下載等環(huán)節(jié)確保標(biāo)識完整；互聯(lián)網(wǎng)應(yīng)用程序分發(fā)平臺需審核應(yīng)用是否具備添加標(biāo)識功能；個(gè)人用戶發(fā)布生成內(nèi)容時(shí)需要主動聲明。

　　另外，“標(biāo)識辦法”中明確，服務(wù)提供者應(yīng)當(dāng)在用戶服務(wù)協(xié)議中明確說明生成合成內(nèi)容標(biāo)識的方法、樣式等規(guī)范內(nèi)容，并提示用戶仔細(xì)閱讀并理解相關(guān)的標(biāo)識管理要求。

　　細(xì)化追責(zé)內(nèi)容 劃定AI治理新紅線

　　新規(guī)施行不僅明確了相關(guān)主體的責(zé)任和義務(wù)，也細(xì)化了相關(guān)法律法規(guī)的追責(zé)內(nèi)容。那么新規(guī)對于AI技術(shù)濫用現(xiàn)象會起到什么樣的治理效果呢？

　　“標(biāo)識辦法”要求，用戶使用網(wǎng)絡(luò)信息內(nèi)容傳播服務(wù)發(fā)布生成合成內(nèi)容的，應(yīng)當(dāng)主動聲明并使用服務(wù)提供者提供的標(biāo)識功能進(jìn)行標(biāo)識。任何組織和個(gè)人不得惡意刪除、篡改、偽造、隱匿本辦法規(guī)定的生成合成內(nèi)容標(biāo)識，不得為他人實(shí)施上述惡意行為提供工具或者服務(wù)，不得通過不正當(dāng)標(biāo)識手段損害他人合法權(quán)益。

　　另外，法學(xué)專家認(rèn)為，“標(biāo)識辦法”的施行實(shí)際上并不是AI內(nèi)容治理的終極手段，而是更符合當(dāng)下我國人工智能發(fā)展階段的治理方法。

　　中國人民大學(xué)未來法治研究院執(zhí)行院長 張吉豫：如果按照這樣的規(guī)范，它其實(shí)是可以更好地去幫助相應(yīng)的生成的內(nèi)容被識別，并且被檢測和標(biāo)識，能夠塑造更好的、可信的空間。但是當(dāng)然現(xiàn)在的技術(shù)發(fā)展還需要不斷地前進(jìn)，所以我們可能也會隨著技術(shù)的發(fā)展，相信還有更進(jìn)一步的一些具體的措施，或者具體的標(biāo)準(zhǔn)未來會進(jìn)一步推行。