云雀語(yǔ)言模型是字節(jié)跳動(dòng)公司開(kāi)發(fā)的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型系列，有五個(gè)版本，即lite、plus、pro、pro-4k和chat。V1.0版本僅包含三個(gè)版本，即lite、plus和pro，于2023年8月6日發(fā)布。

基于字節(jié)神經(jīng)網(wǎng)絡(luò)加速器開(kāi)發(fā)了云雀模型。通過(guò)便捷的自然語(yǔ)言交互，它可以高效地完成交互對(duì)話、信息獲取、輔助創(chuàng)作等任務(wù)。它還提供簡(jiǎn)單的API調(diào)用，并可以快速構(gòu)建自己的AI應(yīng)用程序并基于大型模型進(jìn)行業(yè)務(wù)創(chuàng)新。

2023年8月17日，字節(jié)跳動(dòng)公開(kāi)測(cè)試了基于云雀模型的人工智能對(duì)話產(chǎn)品“豆包”，該產(chǎn)品具有web客戶端、iOS客戶端和Android客戶端，并預(yù)設(shè)了英語(yǔ)學(xué)習(xí)助手和寫作助手兩種功能。

2023年8月31日，包括云雀模型在內(nèi)的首批8個(gè)大模型通過(guò)了《生成式人工智能服務(wù)管理暫行辦法》。

2023年9月19日，火山引擎在“V-Tech數(shù)據(jù)驅(qū)動(dòng)技術(shù)峰會(huì)”上宣布，火山引擎中的數(shù)字智能平臺(tái)VeDI推出了“AI助手”，主要通過(guò)接入Lark模型來(lái)幫助企業(yè)提高數(shù)據(jù)處理和查詢分析的效率。這是字節(jié)首次公開(kāi)披露Lark的相關(guān)應(yīng)用。

代碼生成:該語(yǔ)言模型具有專業(yè)的代碼生成能力和知識(shí)儲(chǔ)備，能夠高效輔助代碼生產(chǎn)場(chǎng)景。

對(duì)話表達(dá):我們可以通過(guò)自然語(yǔ)言處理技術(shù)與用戶對(duì)話，回答用戶的問(wèn)題，并在訓(xùn)練時(shí)同時(shí)處理大量數(shù)據(jù)，從而學(xué)習(xí)更復(fù)雜的特征表達(dá)，掌握底層特征，然后完成復(fù)雜的多輪對(duì)話并提供相關(guān)信息和建議。

信息抽取:通過(guò)遞歸地理解和把握復(fù)雜的語(yǔ)義結(jié)構(gòu)，深入理解文本信息之間的邏輯關(guān)系，可以從非結(jié)構(gòu)化的文本信息中抽取出所需的結(jié)構(gòu)化信息。

邏輯推理:通過(guò)分析問(wèn)題的前提條件和假設(shè)，可以推導(dǎo)出答案或解決方案，并給出新的想法和觀點(diǎn)。

模型融合:通過(guò)將幾個(gè)小模型融合在一起，形成一個(gè)功能更強(qiáng)大的大模型，提高了模型的準(zhǔn)確性，使模型更加靈活，可以適應(yīng)更廣泛的數(shù)據(jù)和任務(wù)。

預(yù)訓(xùn)練能力:通過(guò)預(yù)訓(xùn)練，模型在訓(xùn)練前已經(jīng)學(xué)習(xí)了一些基礎(chǔ)知識(shí)和特征表示，這使得模型更高效，更具機(jī)動(dòng)性，能夠適應(yīng)更廣泛的數(shù)據(jù)集和任務(wù)。

Lark是一個(gè)基于Transformer架構(gòu)的語(yǔ)言模型，它通過(guò)預(yù)測(cè)上一篇文章中下一個(gè)最可能出現(xiàn)的單詞來(lái)實(shí)現(xiàn)文本生成。其中，使用的新技術(shù)主要是基于Transformer架構(gòu)的語(yǔ)言模型和基于人類反饋的強(qiáng)化學(xué)習(xí)。前者對(duì)自然語(yǔ)言中包含的大量知識(shí)進(jìn)行建模，而后者使模型能夠通過(guò)對(duì)話提供適當(dāng)?shù)膬?nèi)容。

傳動(dòng)機(jī)構(gòu)：用戶提問(wèn)后，百靈鳥(niǎo)首先識(shí)別用戶需求，通過(guò)提前學(xué)習(xí)全網(wǎng)搜索內(nèi)容，在對(duì)話框或登陸頁(yè)面顯示相應(yīng)結(jié)果。該模型首先通過(guò)大規(guī)模無(wú)監(jiān)督預(yù)訓(xùn)練學(xué)習(xí)語(yǔ)言的統(tǒng)計(jì)規(guī)律和知識(shí)，然后通過(guò)監(jiān)督微調(diào)使模型學(xué)會(huì)遵循用戶的指令，最后通過(guò)強(qiáng)化學(xué)習(xí)和訓(xùn)練使模型生成合適的內(nèi)容。

云雀主要用于今日頭條、Tik Tok、剪報(bào)、番茄小說(shuō)、西瓜視頻、飛書、豆包、悟空瀏覽器、知乎車皇等網(wǎng)站或應(yīng)用。它主要涵蓋以下三個(gè)方向:

內(nèi)容創(chuàng)作:該語(yǔ)言模型具有豐富的文本創(chuàng)作、嚴(yán)格的指令合規(guī)性和龐大的知識(shí)儲(chǔ)備能力，可應(yīng)用于大綱生成、營(yíng)銷文案生成等內(nèi)容創(chuàng)作場(chǎng)景。

知識(shí)問(wèn)答:這種語(yǔ)言模型集成了大量知識(shí)庫(kù)，可以高效地解決工作和生活等各種場(chǎng)景中的問(wèn)題。

人與人之間的對(duì)話:這種語(yǔ)言模型的角色扮演能力符合設(shè)定，具有多輪記憶，可應(yīng)用于社交同伴、虛擬主播和其他人設(shè)置對(duì)話場(chǎng)景。

Skylark-lite:Lite: Lite版響應(yīng)速度快，適用于實(shí)時(shí)性要求高、成本敏感、對(duì)模型精度要求低的場(chǎng)景，如快速智能回復(fù)、實(shí)時(shí)通知生成、基本文本理解等。

云雀-Plus:Plus:Plus版本兼顧了響應(yīng)速度和模型精度，適用于兼顧模型效果和使用成本的場(chǎng)景，如文本摘要、基礎(chǔ)文案、文本翻譯等。

Skylark-Pro:Pro: Pro版本具有較高的模型精度，適用于更復(fù)雜的文本生成場(chǎng)景，如專業(yè)領(lǐng)域的文案生成、小說(shuō)創(chuàng)作、高質(zhì)量翻譯等。

Skylark-Chat:聊天:聊天版本針對(duì)交互式場(chǎng)景進(jìn)行了優(yōu)化，可以更好地理解上下文并生成自然對(duì)話，適用于構(gòu)建聊天機(jī)器人、虛擬助理和在線客服。

豆包：“豆包”是基于云雀模型開(kāi)發(fā)的AI機(jī)器人。用戶可以通過(guò)手機(jī)號(hào)碼、Tik Tok或蘋果ID登錄。“豆包”提供聊天機(jī)器人、寫作助手、英語(yǔ)學(xué)習(xí)助手等功能。它可以回答各種問(wèn)題并進(jìn)行對(duì)話以幫助人們獲取信息。

云雀語(yǔ)言模型

除了文字，數(shù)字人“豆包”還會(huì)對(duì)每個(gè)答案進(jìn)行語(yǔ)音回答。在功能方面，豆包在注冊(cè)登錄后將默認(rèn)進(jìn)入聊天界面，提供豆包、英語(yǔ)學(xué)習(xí)助手、全能寫作助手和愛(ài)聊天的蕭寧等四個(gè)虛擬角色，為用戶提供多語(yǔ)言、多功能的AIGC服務(wù)，包括但不限于問(wèn)答、智能創(chuàng)作和聊天。在技術(shù)上，“豆包”基于深度學(xué)習(xí)，可以預(yù)測(cè)和生成輸入文本。其語(yǔ)言模型基于Transformer架構(gòu)，具有高效的并行處理能力和良好的語(yǔ)言理解能力。訓(xùn)練數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)上的大量文本，包括新聞、博客、小說(shuō)、論文等。在訓(xùn)練過(guò)程中，使用了各種優(yōu)化算法，包括隨機(jī)梯度下降、Adagrad、Adadelta等。

洪辰：洪辰相當(dāng)于海外版的“豆包”，于今年8月在多個(gè)海外市場(chǎng)推出。聚焦海外市場(chǎng)，已于2023年8月在多個(gè)海外市場(chǎng)上線，截至12月初已在36個(gè)國(guó)家和地區(qū)上線，基本覆蓋除歐美成熟市場(chǎng)外的全球其他所有地區(qū)。

ChitChop：ChitChop是一款基于云雀模型的人工智能助手工具，可為用戶提供20智能機(jī)器人服務(wù)，通過(guò)提供創(chuàng)意靈感和提高工作效率來(lái)服務(wù)用戶的工作和生活。就功能而言，ChitChopCici和豆腐更通用。在ChitChop APP的首頁(yè)可以看到包括創(chuàng)作、工作、AI繪畫、娛樂(lè)、AI學(xué)習(xí)和生活在內(nèi)的六大使用場(chǎng)景。每個(gè)場(chǎng)景包含10多個(gè)AI工具，總計(jì)200多個(gè)智能機(jī)器人，用戶甚至可以與AI虛擬角色一起玩游戲。

2023年12月，外媒報(bào)道稱字節(jié)跳動(dòng)正在使用OpenAI技術(shù)開(kāi)發(fā)自己的大型語(yǔ)言模型，這違反了OpenAI的服務(wù)條款。對(duì)此，字節(jié)跳動(dòng)相關(guān)負(fù)責(zé)人回應(yīng)稱，在使用OpenAI相關(guān)服務(wù)時(shí)，公司強(qiáng)調(diào)需要遵守其使用條款，同時(shí)也在與OpenAI聯(lián)系，以澄清外部報(bào)道可能造成的誤解。