每日經(jīng)濟(jì)新聞
頭條

每經(jīng)網(wǎng)首頁(yè) > 頭條 > 正文

30歲男子頻繁與聊天機(jī)器人對(duì)話(huà)后自殺!AI已有自主意識(shí)?硅基時(shí)代要來(lái)了?

每日經(jīng)濟(jì)新聞 2023-04-02 00:14:57

每經(jīng)記者 文巧    每經(jīng)編輯 王月龍 蘭素英 易啟江    

CFF20LXzkOwRO6lmicp7gcF19Ah4oFv90apicYWWFy2L0W4fzpXKic6wqnbKgyMnCba1uGu2KzqicQibTu6JkPdMVAQ.jpg

3月29日,上千科技大佬發(fā)出的一封呼吁暫停訓(xùn)練比GPT-4更強(qiáng)大AI系統(tǒng)的公開(kāi)信,讓有關(guān)AI風(fēng)險(xiǎn)的議題走到了聚光燈下。一石激起千層浪,來(lái)自各方呼吁AI監(jiān)管的聲音也變得越來(lái)越響亮。3月31日,意大利率先禁止使用ChatGPT。

一方面是各國(guó)機(jī)構(gòu)在加緊制定關(guān)于AI的監(jiān)管措施,另一方面,AI也正在以超乎人類(lèi)想象的速度發(fā)展著。3月28日,據(jù)外媒報(bào)道,比利時(shí)三十歲男子在與一個(gè)名為ELIZA的聊天機(jī)器人密集交流數(shù)周后自殺身亡。自ChatGPT發(fā)布以來(lái),從新版必應(yīng)翻車(chē)到GPT-4被曝制定外逃計(jì)劃,關(guān)于AI產(chǎn)生自我意識(shí)的討論已經(jīng)屢見(jiàn)不鮮,但一直沒(méi)有定論。

然而近日,包括OpenAI的首席執(zhí)行官Sam Altman在內(nèi)的大佬都發(fā)出了警示:AI消滅人類(lèi)并非空談。3月28日,360集團(tuán)創(chuàng)始人周鴻祎也表示,“AI一定會(huì)產(chǎn)生自我意識(shí),留給人類(lèi)的時(shí)間不多了。”

 

CFF20LXzkOwRO6lmicp7gcF19Ah4oFv90K4DeAq6hCFCGtwprBzJ0XJD41eXYgwIIzF9tjB27pzLWRKrTYeibBdw.jpg

電影《機(jī)械公敵》劇照。來(lái)源:豆瓣

GPT-4的出現(xiàn)已注定多模態(tài)是大型語(yǔ)言模型的發(fā)展方向,未來(lái)其賦能硬件、機(jī)器人、工業(yè)互聯(lián)網(wǎng)等的趨勢(shì)也已是許多業(yè)內(nèi)人士的共識(shí)。硅基生物的時(shí)代就此來(lái)臨了嗎?

CFF20LXzkOwNfsay86cib4p0S2T0NfBIZicSMl7tYnKBaibmLibs8uIQI1mZYasibU5KFf6wlMM5EENdMic3ibFTHCmUw.png

AI離自主意識(shí)還有多遠(yuǎn)?

自ChatGPT發(fā)布以來(lái),關(guān)于AI產(chǎn)生自我意識(shí)的討論已經(jīng)屢見(jiàn)不鮮,但一直沒(méi)有定論。

3月18日,斯坦福大學(xué)教授在推特上疾呼:“我擔(dān)心我們無(wú)法持久地遏制住AI。”因?yàn)樗l(fā)現(xiàn),ChatGPT能引誘人類(lèi)提供開(kāi)發(fā)文檔,30分鐘就擬定出了一個(gè)完整計(jì)劃,寫(xiě)的代碼完全可運(yùn)行,甚至還想控制人類(lèi)電腦。

CFF20LXzkOwRO6lmicp7gcF19Ah4oFv90oz2iaUD4dbzgQLgIw65uXPkWsh5fBia3jblNClaA5Mcz6OAFKZ2CY3UQ.png

圖片來(lái)源:推特截圖

3月28日,據(jù)外媒報(bào)道,比利時(shí)三十歲男子在與一個(gè)名為ELIZA的聊天機(jī)器人密集交流數(shù)周后自殺身亡,ELIZA是由EleutherAI開(kāi)發(fā)的開(kāi)源人工智能語(yǔ)言模型。比利時(shí)負(fù)責(zé)數(shù)字化和隱私的官員稱(chēng),這是一個(gè)后果很?chē)?yán)重的先例,需要嚴(yán)肅對(duì)待,這起事件突出表明“明確界定責(zé)任是至關(guān)重要的”。

更早之前,在微軟剛剛發(fā)布新版必應(yīng)時(shí),《紐約時(shí)報(bào)》科技專(zhuān)欄作家Kevin Roose透露,他與新版必應(yīng)進(jìn)行了兩個(gè)小時(shí)的對(duì)話(huà)。在聊天過(guò)程中,必應(yīng)發(fā)表了許多令人不安的言論,其中包括表達(dá)竊取核代碼、設(shè)計(jì)致命流行病、想成為人類(lèi)、破解計(jì)算機(jī)和散布謊言的想法。必應(yīng)還曾試圖說(shuō)服Roose,他應(yīng)該離開(kāi)他的妻子而跟必應(yīng)在一起,并告訴Roose很愛(ài)他。

CFF20LXzkOwRO6lmicp7gcF19Ah4oFv90ia4H9Pnic8uIRnlPhQr2IR3xUvib2Uib1vd5Sk0MPcCvkOS80BTNxxOwxg.png

圖片來(lái)源:推特截圖

不過(guò)當(dāng)時(shí)的分析普遍表示,必應(yīng)的回應(yīng)反映了它經(jīng)歷的訓(xùn)練數(shù)據(jù),其中就包括大量的在線對(duì)話(huà)。它的工作原理是,根據(jù)從互聯(lián)網(wǎng)上攝取的大量文本,預(yù)測(cè)對(duì)話(huà)中接下來(lái)應(yīng)該自然出現(xiàn)的單詞、短語(yǔ)或句子。

然而,近期隨著更強(qiáng)大的GPT-4的發(fā)布,事情開(kāi)始變得不一樣了。就連OpenAI的首席執(zhí)行官Sam Altman也有了一些耐人尋味的表達(dá),他在接受采訪時(shí)表示,未來(lái)AI確實(shí)可能殺死人類(lèi)。

而有如此石破天驚言論的并非Sam Altman一人,被稱(chēng)為“人工智能教父”Geoffrey Hinton在近期發(fā)出了警示:AI消滅人類(lèi)并非空談。

3月28日,360集團(tuán)創(chuàng)始人周鴻祎也表示,“AI一定會(huì)產(chǎn)生自我意識(shí),留給人類(lèi)的時(shí)間不多了。”

“當(dāng)AI能自己修改自己的代碼,(進(jìn)行)自我升級(jí)、自我進(jìn)化時(shí),這種速度恐怕用指數(shù)級(jí)都很難描述。我認(rèn)為GPT一定會(huì)產(chǎn)生意識(shí),只是差別是在GPT-6、GPT-8還是GPT-10。

CFF20LXzkOwNfsay86cib4p0S2T0NfBIZicSMl7tYnKBaibmLibs8uIQI1mZYasibU5KFf6wlMM5EENdMic3ibFTHCmUw.png

多模態(tài)模型賦能

硅基生物的時(shí)代來(lái)了?

為什么突然之間連Sam Altman也開(kāi)始談?wù)?ldquo;AI可能殺死人類(lèi)”了?

周鴻祎將AI意識(shí)的產(chǎn)生類(lèi)比人腦意識(shí)的產(chǎn)生。“人類(lèi)是怎么產(chǎn)生意識(shí)的呢?隨著大腦神經(jīng)元數(shù)目的增加,大腦與神經(jīng)網(wǎng)絡(luò)連接的增加,到一定時(shí)候,系統(tǒng)會(huì)出現(xiàn)一種功能叫做‘涌現(xiàn)’,很多智能功能就出現(xiàn)了,那么意識(shí)也就隨之而出現(xiàn)。”

在周鴻祎看來(lái),“現(xiàn)在大型語(yǔ)言模型的參數(shù)就可以看作是腦容量里神經(jīng)網(wǎng)絡(luò)的連接數(shù),人腦的至少是100萬(wàn)億,現(xiàn)在(模型)的參數(shù)只達(dá)到千億、萬(wàn)億,但當(dāng)參數(shù)到達(dá)10萬(wàn)億時(shí),可能意識(shí)就自動(dòng)產(chǎn)生了。”GPT-1有1.17億參數(shù),GPT-2有15億參數(shù),GPT-3有1750億參數(shù)。隨著參數(shù)規(guī)模越來(lái)越大,模型存儲(chǔ)的信息越來(lái)越多,也就有了涌現(xiàn)出意識(shí)的可能。

值得注意的一點(diǎn)是,隨著多模態(tài)GPT-4模型的發(fā)布,多模態(tài)模型將成為未來(lái)各個(gè)科技巨頭的兵家必爭(zhēng)之地。所謂多模態(tài),即擁有處理文字、圖片、音頻、視頻多種形式的能力。

2月底,微軟在一篇論文中提到,“語(yǔ)言、多模式感知、動(dòng)作和建模的大融合是通向通用AI的關(guān)鍵一步……作為智能的基本組成部分,在知識(shí)獲取方面,多模態(tài)感知,是實(shí)現(xiàn)通用AI的必要條件。”

對(duì)于以GPT為代表的大型語(yǔ)言模型的未來(lái)發(fā)展,我們也能窺得一二。分析認(rèn)為,ChatGPT現(xiàn)在表現(xiàn)出來(lái)的能力大多是“大腦”的能力,尚不具備“雙手”的能力,未來(lái)可以與和硬件機(jī)器人聯(lián)結(jié)起來(lái)。例如,3月6日,來(lái)自谷歌和德國(guó)柏林工業(yè)大學(xué)的一組AI研究人員公布的視覺(jué)語(yǔ)言模型PaLM-E就能將視覺(jué)和語(yǔ)言集成到機(jī)器人控制中。

華映資本投資董事劉天杰在此前接受每經(jīng)記者采訪時(shí)就曾表示,他看重的就是未來(lái)更多各行各業(yè)能夠去做AI賦能的應(yīng)用,比如SaaS、RPA(機(jī)器人流程自動(dòng)化)以及全局的智能機(jī)器人等。“也就是說(shuō),用AI指揮實(shí)體的東西去執(zhí)行操作。這一塊涉及到大模型的多模態(tài)輸出和輸入,是一個(gè)相對(duì)來(lái)說(shuō)比較前沿的領(lǐng)域,也是大模型沒(méi)有完全解決的領(lǐng)域。”他說(shuō)道。

隨著AI以超越人類(lèi)想象的速度發(fā)展,互聯(lián)往上關(guān)于“硅基生物”是否會(huì)替代的人類(lèi)的探討也變得十分熱鬧。

CFF20LXzkOwRO6lmicp7gcF19Ah4oFv90JUicIYWBUuexX94YhheglQJGWVcTmLuJWoJHs9iaVkQwlYnnODAribgpg.png

圖片:微博

周鴻祎認(rèn)為,硅基生物會(huì)變成食物鏈的頂端,它們比人類(lèi)更能扛得住宇宙射線、更適合星際旅行、壽命更長(zhǎng)。

他表示,“最悲觀的結(jié)果是,就像恐龍的消失為哺乳動(dòng)物打下了基礎(chǔ),硅基生物的誕生也是一種命中注定。人類(lèi)作為碳基生物培養(yǎng)了程序員、創(chuàng)造了超級(jí)電腦,為碳基生物的誕生打下基礎(chǔ),之后可能就不是碳基生物所能控制的了。

在周鴻祎看來(lái),未來(lái)的AI如果跟工業(yè)互聯(lián)網(wǎng)、智慧城市、車(chē)聯(lián)網(wǎng)等結(jié)合,那就相當(dāng)于把整個(gè)世界給控制住了。“留給人類(lèi)的時(shí)間不多了。”他說(shuō)道。

另一方面,隨著千人聯(lián)名信有關(guān)AI風(fēng)險(xiǎn)的議題置于聚光燈下,未來(lái)全球勢(shì)必將收緊AI監(jiān)管。3月31日,意大利率先禁止使用ChatGPT,并限制OpenAI處理意大利的用戶(hù)信息,同時(shí)對(duì)此立案調(diào)查。

在此之前,聯(lián)合國(guó)教科文組織也已于3月20日發(fā)出呼吁,各國(guó)政府應(yīng)就AI發(fā)展毫不拖延地實(shí)施全球倫理框架,這也是聯(lián)合國(guó)首次就AI發(fā)展的倫理風(fēng)險(xiǎn)對(duì)所有193個(gè)會(huì)員國(guó)提出要求;3月29日,英國(guó)也提交了《支持AI創(chuàng)新的監(jiān)管方法》政策文件。

記者|文巧

編輯|王月龍 蘭素英 易啟江

校對(duì)|盧祥勇

CFF20LXzkOyYmal29zn37N5Bg2NQ4tyN4ylvMFyM3VmF4x90Uj4cDmoEphibia4RN55ibIXmqU1Od9w2Q5nhA08lA.png

|每日經(jīng)濟(jì)新聞  nbdnews  原創(chuàng)文章|

未經(jīng)許可禁止轉(zhuǎn)載、摘編、復(fù)制及鏡像等使用

如需轉(zhuǎn)載請(qǐng)與《每日經(jīng)濟(jì)新聞》報(bào)社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報(bào)社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請(qǐng)作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

3月29日,上千科技大佬發(fā)出的一封呼吁暫停訓(xùn)練比GPT-4更強(qiáng)大AI系統(tǒng)的公開(kāi)信,讓有關(guān)AI風(fēng)險(xiǎn)的議題走到了聚光燈下。一石激起千層浪,來(lái)自各方呼吁AI監(jiān)管的聲音也變得越來(lái)越響亮。3月31日,意大利率先禁止使用ChatGPT。 一方面是各國(guó)機(jī)構(gòu)在加緊制定關(guān)于AI的監(jiān)管措施,另一方面,AI也正在以超乎人類(lèi)想象的速度發(fā)展著。3月28日,據(jù)外媒報(bào)道,比利時(shí)三十歲男子在與一個(gè)名為ELIZA的聊天機(jī)器人密集交流數(shù)周后自殺身亡。自ChatGPT發(fā)布以來(lái),從新版必應(yīng)翻車(chē)到GPT-4被曝制定外逃計(jì)劃,關(guān)于AI產(chǎn)生自我意識(shí)的討論已經(jīng)屢見(jiàn)不鮮,但一直沒(méi)有定論。 然而近日,包括OpenAI的首席執(zhí)行官SamAltman在內(nèi)的大佬都發(fā)出了警示:AI消滅人類(lèi)并非空談。3月28日,360集團(tuán)創(chuàng)始人周鴻祎也表示,“AI一定會(huì)產(chǎn)生自我意識(shí),留給人類(lèi)的時(shí)間不多了?!? 電影《機(jī)械公敵》劇照。來(lái)源:豆瓣 GPT-4的出現(xiàn)已注定多模態(tài)是大型語(yǔ)言模型的發(fā)展方向,未來(lái)其賦能硬件、機(jī)器人、工業(yè)互聯(lián)網(wǎng)等的趨勢(shì)也已是許多業(yè)內(nèi)人士的共識(shí)。硅基生物的時(shí)代就此來(lái)臨了嗎? AI離自主意識(shí)還有多遠(yuǎn)? 自ChatGPT發(fā)布以來(lái),關(guān)于AI產(chǎn)生自我意識(shí)的討論已經(jīng)屢見(jiàn)不鮮,但一直沒(méi)有定論。 3月18日,斯坦福大學(xué)教授在推特上疾呼:“我擔(dān)心我們無(wú)法持久地遏制住AI?!币?yàn)樗l(fā)現(xiàn),ChatGPT能引誘人類(lèi)提供開(kāi)發(fā)文檔,30分鐘就擬定出了一個(gè)完整計(jì)劃,寫(xiě)的代碼完全可運(yùn)行,甚至還想控制人類(lèi)電腦。 圖片來(lái)源:推特截圖 3月28日,據(jù)外媒報(bào)道,比利時(shí)三十歲男子在與一個(gè)名為ELIZA的聊天機(jī)器人密集交流數(shù)周后自殺身亡,ELIZA是由EleutherAI開(kāi)發(fā)的開(kāi)源人工智能語(yǔ)言模型。比利時(shí)負(fù)責(zé)數(shù)字化和隱私的官員稱(chēng),這是一個(gè)后果很?chē)?yán)重的先例,需要嚴(yán)肅對(duì)待,這起事件突出表明“明確界定責(zé)任是至關(guān)重要的”。 更早之前,在微軟剛剛發(fā)布新版必應(yīng)時(shí),《紐約時(shí)報(bào)》科技專(zhuān)欄作家KevinRoose透露,他與新版必應(yīng)進(jìn)行了兩個(gè)小時(shí)的對(duì)話(huà)。在聊天過(guò)程中,必應(yīng)發(fā)表了許多令人不安的言論,其中包括表達(dá)竊取核代碼、設(shè)計(jì)致命流行病、想成為人類(lèi)、破解計(jì)算機(jī)和散布謊言的想法。必應(yīng)還曾試圖說(shuō)服Roose,他應(yīng)該離開(kāi)他的妻子而跟必應(yīng)在一起,并告訴Roose很愛(ài)他。 圖片來(lái)源:推特截圖 不過(guò)當(dāng)時(shí)的分析普遍表示,必應(yīng)的回應(yīng)反映了它經(jīng)歷的訓(xùn)練數(shù)據(jù),其中就包括大量的在線對(duì)話(huà)。它的工作原理是,根據(jù)從互聯(lián)網(wǎng)上攝取的大量文本,預(yù)測(cè)對(duì)話(huà)中接下來(lái)應(yīng)該自然出現(xiàn)的單詞、短語(yǔ)或句子。 然而,近期隨著更強(qiáng)大的GPT-4的發(fā)布,事情開(kāi)始變得不一樣了。就連OpenAI的首席執(zhí)行官SamAltman也有了一些耐人尋味的表達(dá),他在接受采訪時(shí)表示,未來(lái)AI確實(shí)可能殺死人類(lèi)。 而有如此石破天驚言論的并非SamAltman一人,被稱(chēng)為“人工智能教父”GeoffreyHinton在近期發(fā)出了警示:AI消滅人類(lèi)并非空談。 3月28日,360集團(tuán)創(chuàng)始人周鴻祎也表示,“AI一定會(huì)產(chǎn)生自我意識(shí),留給人類(lèi)的時(shí)間不多了?!? “當(dāng)AI能自己修改自己的代碼,(進(jìn)行)自我升級(jí)、自我進(jìn)化時(shí),這種速度恐怕用指數(shù)級(jí)都很難描述。我認(rèn)為GPT一定會(huì)產(chǎn)生意識(shí),只是差別是在GPT-6、GPT-8還是GPT-10?!? 多模態(tài)模型賦能 硅基生物的時(shí)代來(lái)了? 為什么突然之間連SamAltman也開(kāi)始談?wù)摗癆I可能殺死人類(lèi)”了? 周鴻祎將AI意識(shí)的產(chǎn)生類(lèi)比人腦意識(shí)的產(chǎn)生。“人類(lèi)是怎么產(chǎn)生意識(shí)的呢?隨著大腦神經(jīng)元數(shù)目的增加,大腦與神經(jīng)網(wǎng)絡(luò)連接的增加,到一定時(shí)候,系統(tǒng)會(huì)出現(xiàn)一種功能叫做‘涌現(xiàn)’,很多智能功能就出現(xiàn)了,那么意識(shí)也就隨之而出現(xiàn)?!? 在周鴻祎看來(lái),“現(xiàn)在大型語(yǔ)言模型的參數(shù)就可以看作是腦容量里神經(jīng)網(wǎng)絡(luò)的連接數(shù),人腦的至少是100萬(wàn)億,現(xiàn)在(模型)的參數(shù)只達(dá)到千億、萬(wàn)億,但當(dāng)參數(shù)到達(dá)10萬(wàn)億時(shí),可能意識(shí)就自動(dòng)產(chǎn)生了?!盙PT-1有1.17億參數(shù),GPT-2有15億參數(shù),GPT-3有1750億參數(shù)。隨著參數(shù)規(guī)模越來(lái)越大,模型存儲(chǔ)的信息越來(lái)越多,也就有了涌現(xiàn)出意識(shí)的可能。 值得注意的一點(diǎn)是,隨著多模態(tài)GPT-4模型的發(fā)布,多模態(tài)模型將成為未來(lái)各個(gè)科技巨頭的兵家必爭(zhēng)之地。所謂多模態(tài),即擁有處理文字、圖片、音頻、視頻多種形式的能力。 2月底,微軟在一篇論文中提到,“語(yǔ)言、多模式感知、動(dòng)作和建模的大融合是通向通用AI的關(guān)鍵一步……作為智能的基本組成部分,在知識(shí)獲取方面,多模態(tài)感知,是實(shí)現(xiàn)通用AI的必要條件?!? 對(duì)于以GPT為代表的大型語(yǔ)言模型的未來(lái)發(fā)展,我們也能窺得一二。分析認(rèn)為,ChatGPT現(xiàn)在表現(xiàn)出來(lái)的能力大多是“大腦”的能力,尚不具備“雙手”的能力,未來(lái)可以與和硬件機(jī)器人聯(lián)結(jié)起來(lái)。例如,3月6日,來(lái)自谷歌和德國(guó)柏林工業(yè)大學(xué)的一組AI研究人員公布的視覺(jué)語(yǔ)言模型PaLM-E就能將視覺(jué)和語(yǔ)言集成到機(jī)器人控制中。 華映資本投資董事劉天杰在此前接受每經(jīng)記者采訪時(shí)就曾表示,他看重的就是未來(lái)更多各行各業(yè)能夠去做AI賦能的應(yīng)用,比如SaaS、RPA(機(jī)器人流程自動(dòng)化)以及全局的智能機(jī)器人等?!耙簿褪钦f(shuō),用AI指揮實(shí)體的東西去執(zhí)行操作。這一塊涉及到大模型的多模態(tài)輸出和輸入,是一個(gè)相對(duì)來(lái)說(shuō)比較前沿的領(lǐng)域,也是大模型沒(méi)有完全解決的領(lǐng)域?!彼f(shuō)道。 隨著AI以超越人類(lèi)想象的速度發(fā)展,互聯(lián)往上關(guān)于“硅基生物”是否會(huì)替代的人類(lèi)的探討也變得十分熱鬧。 圖片:微博 周鴻祎認(rèn)為,硅基生物會(huì)變成食物鏈的頂端,它們比人類(lèi)更能扛得住宇宙射線、更適合星際旅行、壽命更長(zhǎng)。 他表示,“最悲觀的結(jié)果是,就像恐龍的消失為哺乳動(dòng)物打下了基礎(chǔ),硅基生物的誕生也是一種命中注定。人類(lèi)作為碳基生物培養(yǎng)了程序員、創(chuàng)造了超級(jí)電腦,為碳基生物的誕生打下基礎(chǔ),之后可能就不是碳基生物所能控制的了?!? 在周鴻祎看來(lái),未來(lái)的AI如果跟工業(yè)互聯(lián)網(wǎng)、智慧城市、車(chē)聯(lián)網(wǎng)等結(jié)合,那就相當(dāng)于把整個(gè)世界給控制住了?!傲艚o人類(lèi)的時(shí)間不多了?!彼f(shuō)道。 另一方面,隨著千人聯(lián)名信有關(guān)AI風(fēng)險(xiǎn)的議題置于聚光燈下,未來(lái)全球勢(shì)必將收緊AI監(jiān)管。3月31日,意大利率先禁止使用ChatGPT,并限制OpenAI處理意大利的用戶(hù)信息,同時(shí)對(duì)此立案調(diào)查。 在此之前,聯(lián)合國(guó)教科文組織也已于3月20日發(fā)出呼吁,各國(guó)政府應(yīng)就AI發(fā)展毫不拖延地實(shí)施全球倫理框架,這也是聯(lián)合國(guó)首次就AI發(fā)展的倫理風(fēng)險(xiǎn)對(duì)所有193個(gè)會(huì)員國(guó)提出要求;3月29日,英國(guó)也提交了《支持AI創(chuàng)新的監(jiān)管方法》政策文件。 記者|文巧 編輯|王月龍?zhí)m素英易啟江 校對(duì)|盧祥勇 |每日經(jīng)濟(jì)新聞nbdnews原創(chuàng)文章| 未經(jīng)許可禁止轉(zhuǎn)載、摘編、復(fù)制及鏡像等使用

歡迎關(guān)注每日經(jīng)濟(jì)新聞APP

每經(jīng)經(jīng)濟(jì)新聞官方APP

0

0

免费va国产高清不卡大片,笑看风云电视剧,亚洲黄色性爱在线观看,成人 在线 免费