【ＡＩ】騰訊混元推出「極小」模型HY-1.8B-2Bit，僅佔用600MB內存

　　今日，騰訊混元宣布正式推出一款面向消費級硬件場景的「極小」模型HY-1.8B-2Bit，等效參數量僅有0.3B，內存佔用僅600MB。

　　據介紹，該模型基於混元團隊首創的產業級2Bit端側量化方案，通過對此前混元的小尺寸語言模型HY-1.8B-Instruct進行2比特量化感知訓練(QAT)產出，對比原始精度模型等效參數量降低了6倍，在沿用原模型全思考能力同時，在真實端側設備上對比原始精度模型生成速度提升2-3倍，可大幅提升使用體驗。

　　Bit（比特）是計算機存儲的最小單位，一般模型的精度有2Bit、4Bit、8Bit、32Bit等表示方法，數值越大模型的精度更高，所佔的內存就越大。雖然2Bit量化的精度損失較大，但通過QAT和先進的量化策略，該2Bit模型具備接近全精度模型的性能，實現了「小而強」的設計目標。
《經濟通通訊社10日專訊》