(资料图片仅供参考)

【云从科技:对预训练模型生成式AI技术展开了相关研究】 从技术角度来看,公司认为ChatGPT是一个下游任务迁移之后更加专用的大模型,主要面向自由对话任务(Chat)。从业务角度来看,之前基于公司业务的需求,公司对预训练模型生成式的AI技术展开了相关研究,主要出发点是公司通过提升绝对性能方面的优势,以便在CV领域继续保持相应的技术地位,并且保持算法性能(即算法效果的技术水平)。同样公司在具体业务中发现,很多具体场景下有效数据(样本)较少,此时,预训练模型就能在降低对数据依赖的方面提供有效的帮助。从行业角度来看,目前业界认为,大概达到千亿级的参数规模后,智能化的效果将达到明显的提升。公司目前正在考虑减少NLP的中间技术研究,并集中精力投入到超级语言模型方面的探索,并加大算力、算法以及参数规模的投入。

推荐内容