最新四色米奇影视777在线看_暴躁少女csgo视频一_中文字幕乱码中文乱码_有什么好看的小说推荐_亚洲一卡2卡三卡4卡高清_国产成人精品无码免费看_成人免费120分钟啪啪_两性午夜刺激爽爽视频_国产成人av在线免播放app

首頁(yè) > 資訊 > 快訊

【掘金未來(lái)大會(huì)】Intel Habana中國(guó)區(qū)業(yè)務(wù)總監(jiān)于明揚(yáng):大模型帶動(dòng) AI 新發(fā)展

2023/02/02 14:46      IT產(chǎn)業(yè)網(wǎng) [No.X001-2]


  2023年1月6日,由稀土掘金技術(shù)社區(qū)與 Intel 聯(lián)合發(fā)起的第一屆「掘金未來(lái)大會(huì)」在北京成功舉行。

  大會(huì)上,Intel Habana 中國(guó)區(qū)業(yè)務(wù)總監(jiān)于明揚(yáng)帶來(lái)了Intel 助力 AI 大模型浪潮下,如何幫助企業(yè)進(jìn)行數(shù)字化創(chuàng)新和變革。他提到,AI 大模型是最具想象力的科技發(fā)展方向之一,模型不止于“大”,通用、開(kāi)放、高效、善良,是 AI 大模型的理想標(biāo)準(zhǔn)。目前,大模型生態(tài)已經(jīng)達(dá)到了一個(gè)比較完善的地步,可以方便很多的開(kāi)發(fā)者去進(jìn)行研究和分析,甚至開(kāi)始進(jìn)行部署。但隨著模型參數(shù)與數(shù)據(jù)集規(guī)模不斷增大,無(wú)形中帶來(lái)了許多問(wèn)題和挑戰(zhàn),其中,開(kāi)源是大模型未來(lái)發(fā)展中的一個(gè)非常重要的手段。

  于明揚(yáng)預(yù)測(cè),大模型是 AI 領(lǐng)域里一個(gè)新的科技創(chuàng)新,AI 大模型有可能帶來(lái)下一輪人工智能的發(fā)展浪潮。合作、開(kāi)源將會(huì)給大模型的發(fā)展帶來(lái)更大的動(dòng)力。隨著大模型的發(fā)展,在數(shù)據(jù)安全、倫理道德、模型易用性以及模型友好程度等各個(gè)方面,通過(guò)大家的探討能夠去更加完善,保證大模型在未來(lái)的使用當(dāng)中能夠真正地幫助和解決實(shí)際問(wèn)題,而不會(huì)去造成更多的困擾。

  大模型的訓(xùn)練,需要“大數(shù)據(jù)+大算力+強(qiáng)算法”,英特爾基于這三個(gè)方面提出相關(guān)的解決方案,來(lái)幫助客戶(hù)去克服目前大模型部署和使用中的問(wèn)題。目前英特爾SPR+Habana/Xe+OpenAPI的完整平臺(tái)已經(jīng)在一些行業(yè)中得到驗(yàn)證,利用并行異構(gòu)系統(tǒng)解決數(shù)據(jù)獲取、處理、計(jì)算和存儲(chǔ),實(shí)現(xiàn)大模型的高效訓(xùn)練與推理。

1.jpeg

  以下為Intel Habana 中國(guó)區(qū)業(yè)務(wù)總監(jiān)于明揚(yáng)演講全文:

  今天我給大家?guī)?lái)是,Intel 助力 AI 大模型浪潮下,如何幫助企業(yè)進(jìn)行數(shù)字化創(chuàng)新和變革。

  大家都了解,英特爾主要的產(chǎn)品是基礎(chǔ)的計(jì)算平臺(tái),同時(shí)英特爾也向很多客戶(hù)提供各種各樣的軟件的中間解決方案。在未來(lái)一段時(shí)間里,尤其是在人工智能的發(fā)展階段中,越來(lái)越多的大模型應(yīng)用場(chǎng)景出現(xiàn)。在大模型這一新業(yè)態(tài)下如何建立完整的生態(tài)環(huán)境,這是很多企業(yè)必須要考慮事情。在此情況下,我們帶來(lái)了一些新的想法,借助這個(gè)機(jī)會(huì)跟大家交流,傾聽(tīng)大家的一些意見(jiàn),不斷去地改進(jìn)整個(gè)生態(tài)。

  今天的介紹主要圍繞幾個(gè)方面:

  ●簡(jiǎn)單回顧一下大模型的發(fā)展歷史,以及目前大模型在整個(gè)行業(yè)中的使用情況;

  ●針對(duì)大模型在很多行業(yè)中普遍出現(xiàn)的一些問(wèn)題,英特爾嘗試提供的一些解決方案,供大家參考;

  ●從英特爾的角度,對(duì)大模型未來(lái)的發(fā)展評(píng)估和分析。

  大模型生態(tài)已經(jīng)初具規(guī)模

  2017 年, Transformer 結(jié)構(gòu)的提出,使深度學(xué)習(xí)模型參數(shù)達(dá)到了上億的規(guī)模。到了 2019 年,Google 率先發(fā)布了第一個(gè)大規(guī)模的語(yǔ)言模型 Bert,其參數(shù)首次超過(guò) 3 億規(guī)模。但很快在 2020 年,OpenAI 推出了更大規(guī)模的語(yǔ)言訓(xùn)練模型 GPT-3,其參數(shù)達(dá)到了 1750 億。僅一年時(shí)間,整個(gè)模型的規(guī)模就從億級(jí)突破到了上千億。但這種高速的發(fā)展并沒(méi)有結(jié)束,在今年又出現(xiàn)了一些新的常規(guī)業(yè)態(tài)大模型,比如 Stability AI,它發(fā)布的文字到圖像的創(chuàng)新模型 Diffusion 。去年年底剛剛出現(xiàn)了 ChatGPT, 以及 OpenAI 今年即將發(fā)布的GPT-4,預(yù)期它們帶來(lái)的模型參數(shù)會(huì)有更快速的增長(zhǎng)。

1675307520497.PNG

  大模型的參數(shù)和數(shù)據(jù)規(guī)模的增長(zhǎng),會(huì)帶來(lái)什么樣的變化?首先,大模型集成了各種不同模態(tài)下的數(shù)據(jù),從傳統(tǒng)的有限的 AI 擴(kuò)展到更多的應(yīng)用場(chǎng)景;其次,大模型通過(guò)預(yù)訓(xùn)練以及針對(duì)下游業(yè)務(wù)進(jìn)行的預(yù)調(diào)整,可以適用于各種各樣的細(xì)分應(yīng)用場(chǎng)景。它可以把各種結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)結(jié)合起來(lái),幫助更多的行業(yè)完成人工智能部署的要求;隨著大模型的參數(shù)和數(shù)據(jù)量不斷增加,大模型的整體訓(xùn)練精度也得到了不斷地提高。現(xiàn)在的自然語(yǔ)言處理的精度已經(jīng)非常接近于人的處理水平,這也是大模型帶來(lái)的巨大變化。

  另外,大模型通過(guò)一些自監(jiān)督的學(xué)習(xí)方法,很大程度上解決了傳統(tǒng)人工智能中對(duì)于數(shù)據(jù)標(biāo)注的高成本、長(zhǎng)周期和精確度的問(wèn)題。大模型的業(yè)務(wù)發(fā)展越來(lái)越快。過(guò)去,大模型主要針對(duì)語(yǔ)言模型的發(fā)展;現(xiàn)在,大模型已經(jīng)突破了傳統(tǒng)的自然語(yǔ)言處理,發(fā)展到對(duì)圖像的處理,以及一些自動(dòng)模式識(shí)別等等,所以大模型的業(yè)務(wù)場(chǎng)景已經(jīng)突破了傳統(tǒng)且最早的定義限制。

  再看大模型生態(tài)。大模型生態(tài)是比較完善的,雖然一些傳統(tǒng)的人工智能訓(xùn)練框架,比如 Pytorch 和 Tensorflow,對(duì)于運(yùn)行一些大模型的訓(xùn)練還是有局限性,但是在行業(yè)內(nèi),越來(lái)越多的廠(chǎng)家已經(jīng)參與到大模型框架的開(kāi)發(fā)中,比如,微軟基于 Pytorch 開(kāi)發(fā)了 DeepSpeed,以及國(guó)內(nèi)的一些廠(chǎng)家,百度、阿里、華為等等,都推出了一些針對(duì)大模型的改良框架,很好地支持了目前很多通用的大模型訓(xùn)練。因此,大模型生態(tài)已經(jīng)初具規(guī)模。

  其次,從大模型開(kāi)源生態(tài)講,已經(jīng)有很多廠(chǎng)家提供了大模型開(kāi)源環(huán)境,比如,Huggingface、Stability AI、Meta 開(kāi)源的的OPT等,他們都提供了深度開(kāi)源的代碼,供大家進(jìn)行二次開(kāi)發(fā)。所以大模型生態(tài)已經(jīng)達(dá)到了一個(gè)比較完善的地步,可以方便很多的開(kāi)發(fā)者去進(jìn)行研究和分析,甚至開(kāi)始進(jìn)行部署。

  模型參數(shù)與數(shù)據(jù)集規(guī)模不斷增大

  在整個(gè)大模型的發(fā)展中,很多大模型的業(yè)務(wù)已經(jīng)開(kāi)始落地,比如,智源實(shí)驗(yàn)室推出“悟道”大模型已經(jīng)用于冬奧會(huì)上手語(yǔ)播報(bào)數(shù)字人;華為采用盤(pán)古CV大模型平臺(tái),在無(wú)人機(jī)電力巡檢中獲得了一些實(shí)際效果。

1675307564165.jpg

  大模型看似發(fā)展已經(jīng)很好了,為什么我們?cè)谏钪袑?duì)大模型的感受并不是很強(qiáng)烈?對(duì)比最早的人工智能的應(yīng)用,我們會(huì)感覺(jué)到大模型好像離我們很遠(yuǎn),這并不是說(shuō)大模型不適合日常應(yīng)用場(chǎng)景,而是大模型的使用有一定的門(mén)檻,這種門(mén)檻造成了大模型在很多應(yīng)用場(chǎng)景下的部署以及使用的瓶頸。

  首先,大模型的數(shù)據(jù)量很大,其次它的整個(gè)模型參數(shù)也是一個(gè)非常高的數(shù)量級(jí),并且隨著大模型的演變和發(fā)展,參數(shù)規(guī)模與數(shù)據(jù)集規(guī)模不斷地呈指數(shù)級(jí)增加。

  舉一個(gè)例子,GPT-3 最大的模型參數(shù)量達(dá)到了 1750 億,訓(xùn)練數(shù)據(jù)超過(guò)了 45TB,如果要完成一次 GPT-3 完整的訓(xùn)練過(guò)程,大約需要 3.14E FLOPS 的算力。這意味著什么?全世界最高效的 HPC 集群的理論計(jì)算峰值才剛剛達(dá)到這個(gè)數(shù)字,我們不可能建立如此大的集群來(lái)訓(xùn)練一個(gè)模型,這無(wú)形之中造成了大模型發(fā)展的最大瓶頸,就是如何解決訓(xùn)練中的算力要求。除此之外,大模型還對(duì)平臺(tái)的部署提出了很多新的要求,比如,在分布式并行的場(chǎng)景下,如何提高整個(gè)系統(tǒng)的使用效率?如何解決在大模型中很多核心算法的利用率問(wèn)題?這些問(wèn)題對(duì)于很多中小企業(yè)和普通開(kāi)發(fā)者造成了很大障礙。

  大模型在行業(yè)中之所以很難廣泛應(yīng)用,是因?yàn)樗乃懔,以及?duì)整個(gè)開(kāi)發(fā)環(huán)境的要求,使整個(gè)生態(tài)還是有一定的困難和門(mén)檻。如何解決這個(gè)問(wèn)題,就是 Intel 一直在嘗試和努力探索的方向。Intel 已經(jīng)與行業(yè)內(nèi)很多合作伙伴去建立了開(kāi)源合作基礎(chǔ)。開(kāi)源是大模型未來(lái)發(fā)展中的一個(gè)非常重要的手段。

  首先,開(kāi)源可以集中各個(gè)方面的能力和資源解決模型當(dāng)中的優(yōu)化問(wèn)題,同時(shí),利用開(kāi)源可以把很多計(jì)算資源集中起來(lái)完成對(duì)大模型的訓(xùn)練。另外,開(kāi)源還可以解決很多大模型未來(lái)部署實(shí)施中的一些顧慮,提出解決方法。因此,開(kāi)源是解決大模型未來(lái)發(fā)展的一個(gè)最重要的手段。其次,一些企業(yè)開(kāi)始嘗試把一些大模型拆分成針對(duì)于特殊應(yīng)用場(chǎng)景的小規(guī)模訓(xùn)練集,保證一些模型在特定場(chǎng)景下也可以部署和使用,這是一種解決方案。同時(shí),各地政府和一些研究機(jī)構(gòu)也在部署自己的算力集群,通過(guò)社會(huì)層面去解決算力需求的問(wèn)題。

  還有一個(gè)趨勢(shì)是加速大模型的使用。對(duì)于模型的訓(xùn)練來(lái)說(shuō)并不見(jiàn)得是有非常強(qiáng)的要求,很多普通用戶(hù)更多的是希望在業(yè)務(wù)中去部署大模型,這種大模型的部署需要推理的能力。如何解決高效、低成本、環(huán)保的推理解決方案,這也是大模型部署當(dāng)中需要考慮的一個(gè)問(wèn)題,F(xiàn)在,Intel 已經(jīng)和第三方廠(chǎng)家去共同努力給客戶(hù)提供一個(gè)更好的調(diào)優(yōu)以及進(jìn)行二次開(kāi)發(fā)的環(huán)境,幫助很多客戶(hù)解決他們?cè)谖磥?lái)大模型使用和部署當(dāng)中遇到的一些問(wèn)題。

  大模型中最核心的三個(gè)點(diǎn):大數(shù)據(jù)、大算力、強(qiáng)算法

  和開(kāi)源的大模型相比,現(xiàn)在很多非開(kāi)源模型還是有整體優(yōu)勢(shì)的。在整體訓(xùn)練的精確度上,它和開(kāi)源相比還是有一定的優(yōu)勢(shì),它的一些場(chǎng)景要領(lǐng)先于開(kāi)源。大模型中最核心的三個(gè)點(diǎn):大數(shù)據(jù):大算力、強(qiáng)算法。根據(jù)這三個(gè)點(diǎn),Intel 提出了解決方案,幫助客戶(hù)解決大模型部署和使用中所出現(xiàn)的一些問(wèn)題。

DT`%WQ9]M9_X)I{O`{M1I[V.png

  在大數(shù)據(jù)方面,需要更多的行業(yè)參與者去提供各種數(shù)據(jù)格式的數(shù)據(jù)資源,把這些數(shù)據(jù)整合到一起就有可能去做一個(gè)數(shù)據(jù)層面的突破。在算力方面,Intel 為客戶(hù)提供高效的算力解決方案。 Intel 也提供一個(gè)開(kāi)源的、友善的以及非常靈活的大數(shù)據(jù)的框架,就是 基于Intel 的 Sapphire Rapids 新一代的至強(qiáng)處理器,Intel Habana 高性?xún)r(jià)比AI 加速設(shè)備、 Intel 最新的 GPU 的 Xe 處理設(shè)備,以及我們?cè)谝恢痹谛袠I(yè)內(nèi)大力推廣的 oneAPI 的開(kāi)源框架。

  Intel 通過(guò)這樣一個(gè)完整的平臺(tái)去幫助客戶(hù)解決大模型訓(xùn)練、推理以及部署當(dāng)中的問(wèn)題,并且已經(jīng)在一些行業(yè)中獲得了驗(yàn)證。圖中是Intel 在全球多個(gè)地點(diǎn)和客戶(hù)共同配合去提供的一個(gè)完整的大模型訓(xùn)練和推理部署的解決方案。在這個(gè)方案中,可以滿(mǎn)足客戶(hù)數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理,以及在整個(gè)模型訓(xùn)練和推理中對(duì)計(jì)算和存儲(chǔ)的要求。目前,國(guó)內(nèi)一些地方已經(jīng)開(kāi)始部署這個(gè)平臺(tái),未來(lái)  Intel 還會(huì)把平臺(tái)上的算力資源、集成的 Intel 軟件,以及 Intel 和合作伙伴共同開(kāi)發(fā)的一些應(yīng)用提供給大家進(jìn)行試用。

  在Habana平臺(tái)中, Intel 選擇了微軟的 DeepSpeed,之所以選擇 DeepSpeed 這一非開(kāi)源平臺(tái),是因?yàn)榉情_(kāi)源的大規(guī)?蚣芷脚_(tái)有一定的優(yōu)勢(shì),一方面,它在計(jì)算精度上比開(kāi)源模型有更高的標(biāo)準(zhǔn),另一方面,它在整個(gè)生態(tài)中提供了比較好的 API 的接口,便于客戶(hù)進(jìn)行更多的二次開(kāi)發(fā)和研究。

  Intel 最核心考慮的一點(diǎn)就是內(nèi)存的利用率。在大模型使用過(guò)程中,內(nèi)存資源的占用是非常耗費(fèi)平臺(tái)整體資源,比如,在訓(xùn)練過(guò)程中,很多參數(shù)的內(nèi)容需要保存在 AI 訓(xùn)練加速設(shè)備當(dāng)中,這種資源的占用帶來(lái)兩個(gè)的因素,第一是隨著占用設(shè)備內(nèi)存的增加,計(jì)算規(guī)模肯定要擴(kuò)大;第二是數(shù)據(jù)內(nèi)容要不斷地進(jìn)行反復(fù)加載、反復(fù)集中,這樣對(duì)整個(gè)集群的通訊效率造成很大的壓力。

  因此,Intel 嘗試去做一些簡(jiǎn)單的優(yōu)化和處理。Intel 選擇 DeepSpeed 提供的一個(gè)零冗余的內(nèi)存優(yōu)化方案解決在內(nèi)存分配中所遇到的一些資源上的浪費(fèi),通過(guò)高效網(wǎng)絡(luò)帶寬解決并行處理的參數(shù)分發(fā)以及參數(shù)集中。現(xiàn)有的網(wǎng)絡(luò)通訊包含兩個(gè)方案:一種是交換式解決方案,如英偉達(dá) NVLink 集群化的解決方案;一種是點(diǎn)到點(diǎn)全連通的解決方案。不是說(shuō)這兩種解決方案哪一種更優(yōu),Intel 也在不斷地嘗試不同的通訊協(xié)議對(duì)于大模型的訓(xùn)練帶來(lái)的價(jià)值。

  另外,考慮到在模型的訓(xùn)練過(guò)程當(dāng)中,模型狀態(tài)的保存帶來(lái)的資源消耗。Intel 利用了 DeepSpeed  里邊的 ZeRO-1、 ZeRO-2,甚至 ZeRO-3 整個(gè)的模型參數(shù)的分發(fā)原則,通過(guò)不同的模型參數(shù)資源的分配可以把整個(gè)模型對(duì)于內(nèi)存資源的占用呈指數(shù)級(jí)的下降,通過(guò)最高級(jí)別的內(nèi)存優(yōu)化可以做到內(nèi)存的資源耗費(fèi)大約只占原來(lái)標(biāo)準(zhǔn)模型的 1/ 16。這對(duì)于一個(gè)大規(guī)模的模型部署來(lái)講,是一個(gè)非常有價(jià)值的嘗試,而且這種嘗試可以看到它的效率、性?xún)r(jià)比還是非常有優(yōu)勢(shì)的。另外,如何去利用不同精度的混合計(jì)算去解決計(jì)算的資源,以及最后計(jì)算結(jié)果的精度的問(wèn)題,這也是一個(gè)非常有意思的嘗試。

  目前,在很多的加速設(shè)備中,大家都能支持 BF 16,也能支持 FP 32。在 BF16 的使用場(chǎng)景中,很大程度上節(jié)省資源的占用的問(wèn)題,但無(wú)形當(dāng)中會(huì)帶來(lái)一些很大的準(zhǔn)確性隱患。在反向計(jì)算中可能會(huì)喪失一些信息,會(huì)引入一些誤差,降低整個(gè)模型最后訓(xùn)練的精度,那么結(jié)合 FP32 就可以很好的解決這個(gè)問(wèn)題。Intel 選擇了一個(gè)比較靈活的模式,對(duì)整個(gè)架構(gòu)做了一些探索,這種探索是有一定的收獲,也愿意把這些經(jīng)驗(yàn)分享給大家。在 Intel Habana網(wǎng)站上,就有非常詳細(xì)的技術(shù)實(shí)現(xiàn)方案,包括技術(shù)的原理以及整個(gè)參考代碼,大家可以體驗(yàn)一下優(yōu)化所帶來(lái)的效果。

  AI 大模型有可能帶動(dòng)新一輪的人工智能發(fā)展浪潮

  從 Intel 角度來(lái)講,對(duì)于未來(lái)大模型是持一個(gè)什么樣的看法?首先,在最近一段時(shí)間內(nèi),大模型是 AI 領(lǐng)域里一個(gè)新的科技創(chuàng)新,AI 大模型有可能帶來(lái)下一輪人工智能發(fā)展浪潮。這幾年人工智能的發(fā)展已經(jīng)達(dá)到了一個(gè)巔峰,尤其是在圖像識(shí)別領(lǐng)域,它基本上超過(guò)人的識(shí)別能力,但在自然語(yǔ)言的處理方面,機(jī)器學(xué)習(xí)、深度學(xué)習(xí)一直落后于人的處理能力,所以大模型的出現(xiàn)彌補(bǔ)了這個(gè)方面不足。

  其次,大模型的應(yīng)用場(chǎng)景。傳統(tǒng)的 AI 模型都是碎片化、專(zhuān)業(yè)化的場(chǎng)景,往往針對(duì)視頻監(jiān)控、人臉識(shí)別以及一些特定的場(chǎng)景,但大模型的使用會(huì)把應(yīng)用場(chǎng)景擴(kuò)展到更大,不僅是 AIGC 這種內(nèi)容生成,還會(huì)對(duì)很多細(xì)分領(lǐng)域帶來(lái)新的創(chuàng)新。所以未來(lái)大模型有可能會(huì)成為人工智能里一個(gè)比較集成化的解決方案,對(duì)于很多的用戶(hù)來(lái)說(shuō),未來(lái)的使用大模型可能會(huì)帶來(lái)更多的靈活性和易用性。

  再者,合作、開(kāi)源將會(huì)給大模型的發(fā)展帶來(lái)更大的動(dòng)力。開(kāi)源是未來(lái)大模型發(fā)展當(dāng)中的一個(gè)重要的環(huán)節(jié),在開(kāi)源中如何幫助大模型去完善解決開(kāi)源和非開(kāi)源大模型中的精度誤差,也是要探討的一個(gè)問(wèn)題。

  系統(tǒng)廠(chǎng)家也不斷通過(guò)硬件性能的提升和架構(gòu)優(yōu)化解決大模型訓(xùn)練和推理的效率。無(wú)論是硬件廠(chǎng)家,還是框架和平臺(tái)廠(chǎng)家,在這幾年在大模型的調(diào)優(yōu)上都花費(fèi)了很大的精力,雖然大模型的數(shù)據(jù)和算力要求在不斷的增長(zhǎng),但是像Intel 這樣的硬件廠(chǎng)家也不斷地在硬件設(shè)備上提供能力的補(bǔ)充,盡管跟模型的需求有一定的差異,但是這種差異相信在未來(lái)會(huì)不斷地縮小。

  隨著大模型的發(fā)展,在數(shù)據(jù)安全、倫理道德、模型易用性以及模型友好程度等各個(gè)方面,通過(guò)大家的探討去進(jìn)一步完善,保證大模型在未來(lái)的使用當(dāng)中能夠真正地解決大家的實(shí)際問(wèn)題,而不會(huì)去造成更多的困擾。

  同時(shí),國(guó)內(nèi)的很多研究機(jī)構(gòu)花費(fèi)了很大的精力建立了自己的專(zhuān)有訓(xùn)練集群,他們?nèi)ラ_(kāi)發(fā)自己的大模型,但在落地和應(yīng)用中還是有一定的欠缺。希望有更多的廠(chǎng)家企業(yè)參與到未來(lái)大模型的生態(tài)環(huán)境當(dāng)中,提供更多的應(yīng)用場(chǎng)景,幫助機(jī)構(gòu)把大模型落實(shí)到實(shí)際業(yè)務(wù)中,去解決社會(huì)面臨的實(shí)際問(wèn)題。謝謝大家!

  榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。

海報(bào)生成中...

分享到微博

掃描二維碼分享到微信

分享到微信
一鍵復(fù)制
標(biāo)題鏈接已成功復(fù)制

最新新聞

熱門(mén)新聞