【資料圖】

7月7日消息，7月7日下午消息，2023世界人工智能大會期間，在中國電信“算網(wǎng)一體·融創(chuàng)未來”的分論壇上，中國電信數(shù)字智能科技分公司（電信智科）正式對外發(fā)布中國電信大語言模型TeleChat，并展示了大模型賦能數(shù)據(jù)中臺、智能客服和智慧政務(wù)三個方向的產(chǎn)品。電信智科副總經(jīng)理何忠江介紹，TeleChat使用了大量高質(zhì)量中英文語料進(jìn)行預(yù)訓(xùn)練，并采用了千萬級問答數(shù)據(jù)進(jìn)行微調(diào)。同時，設(shè)計了漸進(jìn)膨脹注意力機(jī)制，用于增加模型的間隔采樣，擴(kuò)大實際感受野；研發(fā)了自校準(zhǔn)微調(diào)技術(shù)，將迭代后相關(guān)性偏差作為強(qiáng)化學(xué)習(xí)的監(jiān)督信號，提升強(qiáng)化學(xué)習(xí)效果；并且利用知識圖譜協(xié)同增強(qiáng)策略，通過知識圖譜增強(qiáng)大模型的預(yù)訓(xùn)練和推理能力，減少大模型幻覺現(xiàn)象。

關(guān)鍵詞：