“紫東太初大模型1.0”是由中科院自動(dòng)化所和武漢人工智能研究所聯(lián)合推出的業(yè)界首個(gè)千億參數(shù)三模大模型，也是全球首個(gè)圖文并茂的三模大模型，于2021年7月9日正式發(fā)布。該模型具有強(qiáng)大的自然語(yǔ)言處理能力，可以執(zhí)行文本生成、情感分析、問(wèn)答系統(tǒng)等多種任務(wù)。

“紫東太初”具有跨模態(tài)理解和生成的能力。與單一模式和圖形模式相比，它可以使用大模型靈活支持圖文聲的全場(chǎng)景AI應(yīng)用，具有無(wú)監(jiān)督多任務(wù)聯(lián)合學(xué)習(xí)和快速遷移到不同領(lǐng)域數(shù)據(jù)的強(qiáng)大能力。此外，它還具有跨語(yǔ)言、跨領(lǐng)域的特點(diǎn)，可以應(yīng)用于許多語(yǔ)言和領(lǐng)域。

2023年6月16日，“紫東太初2.0”正式發(fā)布。“紫東太初2.0”是在全球首款三模大型模型“紫東太初”的基礎(chǔ)上，由盛思AI框架升級(jí)推出的新一代大型模型。此外，它還實(shí)現(xiàn)了從三種模式到全模式的形式。

名稱含義

中科院自動(dòng)化所研究員、武漢人工智能研究院院長(zhǎng)王金橋表示，“紫東太初”的名字寓意紫氣東來(lái)，混沌初開(kāi)，代表人工智能從專用走向通用，從感知智能走向認(rèn)知智能；第二，“紫東”與自動(dòng)化所諧音，代表自動(dòng)化所本身的意義和使命。

成立初期

2021年7月9日，“紫東太初大模型1.0”正式發(fā)布。同月29日至31日，紫東太初模型在首屆中國(guó)計(jì)算大會(huì)上被授予“DC科技創(chuàng)新先鋒”優(yōu)秀成就獎(jiǎng)。

2022年9月1日，“紫東太初”多模態(tài)大模型項(xiàng)目獲得世界人工智能大會(huì)最高獎(jiǎng)——賽爾獎(jiǎng)。在獲得這個(gè)獎(jiǎng)項(xiàng)之前，“紫東太初”還在人工智能領(lǐng)域的國(guó)際比賽中獲得了第一名，比如2021年舉辦的國(guó)際多媒體大會(huì)和國(guó)際計(jì)算機(jī)視覺(jué)大會(huì)。

2022年11月19日-21日，以“融合萬(wàn)物智造未來(lái)”為主題的2022中國(guó)5G+工業(yè)互聯(lián)網(wǎng)大會(huì)在武漢召開(kāi)。本次發(fā)布會(huì)展示了基于“紫東泰初”的織物疵點(diǎn)檢測(cè)設(shè)備。該項(xiàng)目首次實(shí)現(xiàn)了織物疵點(diǎn)識(shí)別從純手工升級(jí)到自動(dòng)的新路徑，不僅可以識(shí)別70多種不同的疵點(diǎn)，還支持一鍵微調(diào)，達(dá)到了與熟練的驗(yàn)布師一樣的精度要求，疵點(diǎn)識(shí)別的檢出率從70%左右提高到90%以上，精度達(dá)到4倍，進(jìn)一步提升了傳統(tǒng)工業(yè)行業(yè)。

2023年2月20日，首屆“行知杯”全國(guó)人工智能創(chuàng)新與應(yīng)用大賽暨全球(深圳)人工智能創(chuàng)新生態(tài)高峰論壇在深圳落下帷幕。本次活動(dòng)中，武漢人工智能研究院“紫東泰初”大型模型開(kāi)放服務(wù)平臺(tái)入選，成為國(guó)內(nèi)首個(gè)通過(guò)工信部信通院大規(guī)模預(yù)訓(xùn)練模型系統(tǒng)測(cè)試的大型模型項(xiàng)目，在多模態(tài)技術(shù)能力測(cè)評(píng)中獲得2 S+和2 S級(jí)評(píng)價(jià)，在平臺(tái)能力測(cè)評(píng)中獲得7項(xiàng)高級(jí)評(píng)價(jià)。

2023年3月2日，在光谷青桐匯活動(dòng)現(xiàn)場(chǎng)，武漢人工智能研究院正式發(fā)布了全球首個(gè)由三模大模型以千億參數(shù)“紫東太初”打造的AI內(nèi)容創(chuàng)作平臺(tái)——“江城洛神”AI內(nèi)容創(chuàng)作平臺(tái)，該平臺(tái)以“紫東太初”為基礎(chǔ)，將正在崛起的AI融入多模態(tài)擴(kuò)散生成模型，以語(yǔ)義引導(dǎo)實(shí)現(xiàn)圖像編輯和生成，輔助用戶制作各類內(nèi)容。

探究階段

2023年5月8-9日，基于紫東太初2.0全模態(tài)大模型升級(jí)、可與用戶互動(dòng)的虛擬人初曉，在華為中國(guó)合作伙伴大會(huì)上首次呈現(xiàn)在公眾面前。升級(jí)后的虛擬人“小開(kāi)端”功能有所提升，如文字創(chuàng)建、多輪問(wèn)答到圖像生成、視頻生成、3D理解、信號(hào)分析等，可實(shí)現(xiàn)文字、圖片、音頻、視頻、3D等不同模式的統(tǒng)一表示和學(xué)習(xí)。

紫東太初

2023年6月16日，中國(guó)科學(xué)院自動(dòng)化研究所所長(zhǎng)徐波在“人工智能框架生態(tài)峰會(huì)2023”上正式發(fā)布了“紫東太初”全模態(tài)大模型。全模態(tài)大模型是基于千億參數(shù)多模態(tài)大模型“紫東太初”的升級(jí)版2.0，包含音樂(lè)理解與生成、三維場(chǎng)景導(dǎo)航、信號(hào)理解、多模態(tài)對(duì)話等諸多強(qiáng)大功能。同時(shí)在語(yǔ)音、圖像、文本的基礎(chǔ)上增加了視頻、信號(hào)、3D點(diǎn)云等模態(tài)數(shù)據(jù)，突破了認(rèn)知增強(qiáng)多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，還具備了全模態(tài)理解、生成和關(guān)聯(lián)的能力。

“紫東太初”2.0依托武漢人工智能計(jì)算中心的計(jì)算能力支持孵化，以中科院自動(dòng)化所自研算法為核心，基于盛思AI硬件和盛思MindSpore AI框架，著力打造全棧國(guó)內(nèi)通用人工智能基地。此外，“紫東太初”大模型開(kāi)放服務(wù)平臺(tái)2.0具有四大特點(diǎn):一是開(kāi)箱即用，內(nèi)置紫東太初2.0前期訓(xùn)練基礎(chǔ)大模型；第二，快速定制，為大模型提供完整的微調(diào)工具鏈，可以在各種場(chǎng)景下自動(dòng)適配；第三，一鍵部署實(shí)現(xiàn)云、邊、端全場(chǎng)景部署；第四，支持多種交付方案，如公有云、SaaS、API服務(wù)、云上專屬資源池、私有集群部署、超集成培訓(xùn)和推送機(jī)等。，并且可以不斷升級(jí)優(yōu)化。

2023年8月19日，由工業(yè)和信息化部、寧夏回族自治區(qū)政府共同主辦的中國(guó)計(jì)算力大會(huì)暨第二屆計(jì)算力產(chǎn)業(yè)大會(huì)在寧夏回族自治區(qū)首府銀川正式召開(kāi)。“紫東太初”成為大會(huì)“計(jì)算中國(guó)年度突破成就獎(jiǎng)”中唯一的大模型獲得者。

2023年8月31日，紫東太初通過(guò)備案，正式對(duì)外開(kāi)放服務(wù)，成為首批“正式上線”的人之一。

2023年9月，紫東太初大模型功能全面升級(jí)，對(duì)外開(kāi)放。用戶不僅可以體驗(yàn)圖像、語(yǔ)音、文本等多模態(tài)能力，還可以基于紫東太初的多模態(tài)交互能力，以多種方式與AI進(jìn)行交互，享受AI服務(wù)。

2023年9月6日，武漢人工智能研究院院長(zhǎng)王金橋在中國(guó)國(guó)際服務(wù)貿(mào)易交易會(huì)計(jì)算服務(wù)高質(zhì)量發(fā)展論壇上指出，“紫東太初”模式有助于處理復(fù)雜問(wèn)題和大規(guī)模數(shù)據(jù)，提升政府決策水平和服務(wù)效率。這個(gè)大模型通過(guò)對(duì)海量數(shù)據(jù)的學(xué)習(xí)和分析，實(shí)現(xiàn)了更高層次的認(rèn)知和理解能力，在數(shù)字政府領(lǐng)域也取得了一定程度的應(yīng)用。此外，“紫東太初”在智能文本創(chuàng)作、智能政務(wù)、交通違法認(rèn)知判斷等多個(gè)方面都有落地。，并能賦能數(shù)字政務(wù)。

2023年10月21日-23日，以“聚焦科普新領(lǐng)域，創(chuàng)新服務(wù)部門賽道”為主題的第十一屆中國(guó)(蕪湖)科普用品博覽會(huì)在安徽蕪湖成功舉辦。“紫東太初”向參與者展示了文字創(chuàng)作、繪畫和詩(shī)歌，以及與虛擬數(shù)字人的互動(dòng)。同時(shí)，《紫東太初》為觀眾提供了一個(gè)全模態(tài)的對(duì)話平臺(tái)，觀眾可以通過(guò)模擬不同場(chǎng)景下的不同角色、話題、對(duì)話方式，與《紫東太初》大模型進(jìn)行對(duì)話互動(dòng)。

創(chuàng)新階段

2023年10月17日，由長(zhǎng)江計(jì)算和武漢人工智能研究所聯(lián)合舉辦的以“融合創(chuàng)新計(jì)算未來(lái)”為主題的武漢計(jì)算技術(shù)應(yīng)用創(chuàng)新交流會(huì)正式落幕。大會(huì)正式發(fā)布了以“紫東太初”為基礎(chǔ)，由武漢人工智能研究所和長(zhǎng)江計(jì)算聯(lián)合研發(fā)的“長(zhǎng)江計(jì)算——紫東太初訓(xùn)練推送一體機(jī)”。

2023年11月，武漢人工智能研究院宣布“紫東泰初”大模型正式入駐浪潮信息元腦生態(tài)AIStore，雙方共同推動(dòng)大模型產(chǎn)業(yè)落地，并提供以下服務(wù):紫東泰初大模型開(kāi)放服務(wù)平臺(tái)、紫東泰初大模型對(duì)話平臺(tái)、紫東泰初數(shù)字生活生產(chǎn)平臺(tái)、江城洛神AI內(nèi)容創(chuàng)作平臺(tái)、紫東泰初大模型。

2023年11月10日至13日，中國(guó)電信與廣東省人民政府在廣州聯(lián)合舉辦“2023數(shù)字科技生態(tài)大會(huì)”。作為中國(guó)電信戰(zhàn)略合作伙伴，武漢人工智能研究院構(gòu)建了全棧國(guó)產(chǎn)化、自主可控的紫東太初大模型開(kāi)放服務(wù)平臺(tái)，并基于紫東太初全模態(tài)大模型，在智能制造、智能醫(yī)療等領(lǐng)域建設(shè)了典型示范應(yīng)用。

2023年12月9日，以“創(chuàng)未來(lái)，享非凡”為主題的盛騰AI開(kāi)發(fā)者創(chuàng)造日廣州站成功舉辦。本次活動(dòng)由廣州市工業(yè)和信息化局指導(dǎo)，廣州無(wú)線電集團(tuán)、華為技術(shù)有限公司主辦，廣州人工智能公共計(jì)算中心承辦，廣東省人工智能行業(yè)協(xié)會(huì)、廣州市信息協(xié)會(huì)、天河人才港、廣州市天河區(qū)軟件和信息行業(yè)協(xié)會(huì)協(xié)辦。作為國(guó)內(nèi)第一批通用和垂直模型，紫東泰初模型、廣安聯(lián)邦模型、從容模型、靈腦模型、肝癌模型將作為首批合作伙伴，通過(guò)聯(lián)合各方攻關(guān)大模型關(guān)鍵技術(shù)難題、打造垂直領(lǐng)域場(chǎng)景、推動(dòng)商業(yè)化，推動(dòng)大模型在各垂直領(lǐng)域的落地和應(yīng)用，打造開(kāi)放、包容、合作、共享的大模型創(chuàng)新生態(tài)。

核心功能

形象能力：圖像能力包括圖像描述、目標(biāo)檢測(cè)、圖像檢索、圖像生成和字符識(shí)別。

語(yǔ)言能力：語(yǔ)言能力涵蓋文本、翻譯、代碼、數(shù)學(xué)、邏輯等多個(gè)方面，包括中文問(wèn)答、文本摘要、文本延續(xù)、文本創(chuàng)作、標(biāo)題生成、語(yǔ)法分析、機(jī)器翻譯、古詩(shī)詞創(chuàng)作、代碼理解、代碼寫作、數(shù)學(xué)計(jì)算、邏輯推理。

視頻功能：視頻能力包括視頻描述、檢索和問(wèn)答。視頻描述和問(wèn)答是指大模型可以理解和回答用戶上傳的視頻素材，如視頻識(shí)別和視頻描述問(wèn)題，同時(shí)支持上下文信息理解和多輪問(wèn)答，如果用戶缺乏自己的素材或者想使用大模型中的素材，可以使用檢索功能，因?yàn)榇竽Ｐ捅旧硪灿胸S富的視頻素材庫(kù)，可以滿足用戶搜索高度相關(guān)視頻素材的需求。

音樂(lè)能力：音樂(lè)能力包括音樂(lè)生成和音樂(lè)多模態(tài)問(wèn)答。

音頻能力：音頻能力包括四個(gè)功能:音頻認(rèn)證、音頻事件分類、語(yǔ)音識(shí)別和語(yǔ)音生成。

3D功能：3D能力是指“紫東太初2.0”具備基于點(diǎn)云數(shù)據(jù)的3D場(chǎng)景理解和物體感知能力。

信號(hào)類能力：信號(hào)類能力是指“紫東太初2.0”支持雷達(dá)信號(hào)識(shí)別和知識(shí)交互，用戶可以借助模型快速掌握信號(hào)的基本來(lái)源和參數(shù)。

特色功能

角色扮演：大模型可以在任何形式的角色扮演中進(jìn)行相應(yīng)的場(chǎng)景對(duì)話，如游戲娛樂(lè)、戲劇表演、真人演練、心理指導(dǎo)、自我思考等。

信息提取：大模型可以從給定的文本中提取名稱、地點(diǎn)、關(guān)鍵詞等核心信息，幫助用戶以結(jié)構(gòu)化的方式提取非結(jié)構(gòu)化數(shù)據(jù)。

視頻腳本：用戶根據(jù)自己的需求輸入內(nèi)容，大模型可以生成視頻拍攝腳本和相關(guān)創(chuàng)意。

游戲NPC：大模型可以在游戲中作為非玩家角色(NPC)與玩家進(jìn)行對(duì)話和互動(dòng)。

圖片百科全書：大模型可以根據(jù)輸入的圖片生成相關(guān)的說(shuō)明信息，幫助用戶更好地理解和利用圖片的內(nèi)容。

穿搭博主：大模型可以分析用戶的個(gè)性偏好和需求，定制推薦。

行為描述：用戶輸入人類行為的任何圖片，大模型都能生成相應(yīng)的描述、解釋和介紹。

圖像制作：當(dāng)用戶輸入文本時(shí)，大模型可以根據(jù)描述自動(dòng)生成圖像。

景觀欣賞：大模型通過(guò)對(duì)大量文獻(xiàn)和影像資料的研究分析，了解不同類型和區(qū)域的景觀特征和文化內(nèi)涵。用戶可以隨意輸入一張景觀圖片，大模型可以對(duì)景觀進(jìn)行描述和評(píng)價(jià)。

紫東太初基于業(yè)界領(lǐng)先的中文預(yù)訓(xùn)練模型、語(yǔ)音預(yù)訓(xùn)練模型和視覺(jué)預(yù)訓(xùn)練模型，采用多層次多任務(wù)自我監(jiān)控預(yù)訓(xùn)練學(xué)習(xí)模式，其中視覺(jué)預(yù)訓(xùn)練模型首次超越監(jiān)督學(xué)習(xí)的性能，速度比其他方法高8倍，在語(yǔ)義切分結(jié)果上也超越了監(jiān)督學(xué)習(xí)的水平；在中文預(yù)訓(xùn)練模型方面，提出的任務(wù)意識(shí)和推理增強(qiáng)模型的性能較GPT-3有明顯提高；在語(yǔ)音預(yù)訓(xùn)練模型中，有效突破了多語(yǔ)言、多任務(wù)、低資源等語(yǔ)音預(yù)訓(xùn)練的關(guān)鍵技術(shù)，解決了語(yǔ)音領(lǐng)域語(yǔ)言多樣、標(biāo)注成本高的問(wèn)題，使人們能夠用很少的標(biāo)注數(shù)據(jù)大幅提升語(yǔ)音識(shí)別的性能。然而，與這些訓(xùn)練和學(xué)習(xí)方法相關(guān)的論文已經(jīng)發(fā)表，論文中提出的三種模式數(shù)據(jù)的統(tǒng)一語(yǔ)義表達(dá)可以同時(shí)支持三種或任意兩種模式下的多個(gè)數(shù)據(jù)預(yù)訓(xùn)練。紫東太初模型可以在跨模態(tài)理解的基礎(chǔ)上實(shí)現(xiàn)跨模態(tài)生成，可以平衡理解和生成這兩種最重要的認(rèn)知能力，從而實(shí)現(xiàn)以圖傳聲和以圖傳聲。

“紫東太初”大模型已應(yīng)用于神經(jīng)外科導(dǎo)航、法律咨詢、醫(yī)學(xué)多模態(tài)鑒別診斷、交通違章圖像研究等領(lǐng)域。

在醫(yī)療領(lǐng)域，依托紫東泰初大模型開(kāi)放服務(wù)平臺(tái)，滿足了智能的數(shù)據(jù)標(biāo)注、高效的模型訓(xùn)練、靈活的模型部署，實(shí)現(xiàn)了骨科器械/耗材的自動(dòng)識(shí)別、庫(kù)存等功能，實(shí)現(xiàn)了智能化、精細(xì)化管理。與傳統(tǒng)方法相比，效率提高了6倍，準(zhǔn)確率達(dá)到97%以上。在醫(yī)療應(yīng)用場(chǎng)景中，神經(jīng)外科“紫東太初”模型部署的機(jī)器人MicroNeuro，通過(guò)融合醫(yī)療手術(shù)中的視覺(jué)、觸覺(jué)等多模態(tài)信息，幫助醫(yī)生對(duì)手術(shù)場(chǎng)景進(jìn)行實(shí)時(shí)推理和判斷，已完成國(guó)內(nèi)首例顱內(nèi)深部活檢。同時(shí)，“紫東太初”模式研究團(tuán)隊(duì)與北京協(xié)和醫(yī)院合作，試圖利用“紫東太初”強(qiáng)大的邏輯推理能力，突破人類罕見(jiàn)疾病診療的醫(yī)學(xué)領(lǐng)域。

在智慧物流領(lǐng)域，“紫東泰初”與湖北港著力打造多模態(tài)數(shù)據(jù)融合、泛化能力強(qiáng)、業(yè)務(wù)協(xié)同高效的全省供應(yīng)鏈通用人工智能基地。

在法律咨詢行業(yè)，“紫東太初”模式的應(yīng)用顯著提升了辦公效率。例如，法律案件拆解提取僅需0.546秒，實(shí)現(xiàn)了案件分析速度的百倍提升，有利于解決律師整體資源匱乏、服務(wù)成本高等問(wèn)題。

在智能交通領(lǐng)域，基于“紫東泰初”大模型的高速公路網(wǎng)雙生模擬、調(diào)度、維護(hù)、節(jié)能、服務(wù)的全周期、全天候、安全可靠的數(shù)字智能平臺(tái)，有效提升道路通行率30%。

在汽車領(lǐng)域，中科院自動(dòng)化所研究員、武漢人工智能研究院院長(zhǎng)王金橋在接受科技創(chuàng)新板日?qǐng)?bào)采訪時(shí)指出，“紫東泰初”大車型與東風(fēng)藍(lán)兔、長(zhǎng)安歐尚汽車等一系列智能車企有一系列合作，包括軟件的自動(dòng)代碼編寫和測(cè)試，為智能駕駛艙打造了成千上萬(wàn)的數(shù)字人。例如，長(zhǎng)安汽車基于“紫東太初”的多模態(tài)模型引入了元宇宙的概念，并創(chuàng)建了YYDS虛擬數(shù)字人。“YYDS”允許用戶重現(xiàn)自己或親人的形象和聲音，可以捏出自己的語(yǔ)音助手，滿足各種定制需求。