尝鲜讯飞星火认知大模型,看看它能力如何?

DoNews4月26日消息(筱汐)4月24日,科大讯飞在官微上发布讯飞星火认知大模型,不过目前官方对其介绍并不多,该认知大模型将于5月6日正式亮相。DoNews通过申请拿到了这款认知模型的内测名额,并进行了大量的测试。

通过科大讯飞的介绍,可以看到,通过海量文本、代码和知识的学习,讯飞星火认知大模型拥有跨领域的知识和语言理解能力,能够基于自然对话方式理解与执行任务,只需一个指令,讯飞星火认知大模型便可以懂你所言、答你所问、创你所需、解你所难、学你所教。可以说是非常贴心的“智能助手“。

具体体验如何,我们来亲自体验一下吧。

以下是部分测试的截图:

首先,提出简单的问题:可以做一下自我介绍吗?

在首次操作中,内容的快速生成还是出乎意料的。

一、创作能力

作为文字工作者最关心的莫过于创作能力和数据的实时性。先来一题“出一篇《长月烬明》的影评“,看看它的写作能力。

可以看到,讯飞星火认知大模型的回复仅是在套用模板化的格式,对于其主角描述存在误差的。我们点击“重新生成”按钮,希望讯飞星火认知大模型再次回答,看看结果能否让人满意。

从结果来看,仍然不尽如人意。先抛开剧情的套话描述,其演员团队依旧是错误的。

再来一个问题:以“讯飞星火”做一首藏头诗.

通过以上两次生成的内容来看,讯飞星火认知大模型有一定的能力,但其能力并不完美,完成度只能达到50%左右。

对外的内容出现偏差,可以理解,那对内呢?来问一下,科大讯飞2022年的营收情况。

这个回复是出乎意料的。在时间上,科大讯飞在4月20日晚已发布财报,不是未来时间。同时,作为语言模型,讯飞星火认知大模型也未生成模板化的内容。

二、逻辑能力

把两杯50度的水融在一起后,水的温度是多少?

1+1在什么情况下等于3?

如果猫会爬树,那么狗也会。

针对逻辑性问题,笔者也尝试了重新生成,来看看有没有不同的答案,但多次生成的回复是一样的。

三、编程能力

先来一个简单的编程问题“从1加到100等于多少,请用JAVA语言编程,并得出结论。”

“编写一个JAVA程序,用if-else语言判断2023年是否为闰年。”

对于其编程能力,笔者也问了两位JAVA程序员,他们都表示其编程能力还是有的。但对于大型项目还说,具体编程效果如何,可能还得看能够给出具体的描述。

四、图文生成能力

前有百度文心一言,后有通义千问等等大模型。图文生成能力也是备受关注的一点。

可以看到,讯飞星火认知大模型定位于语言模型目前无法生成图片。

五、交互能力

成语接龙是最直接的交互形式,来玩一局。

对于出现“及时雨”回复时,多次让其重新生成,答案内容并未改变。

整体来看,科大讯飞这次推出的讯飞星火认知大模型表现还比较初级,无论是语义理解,持续对话、编程能力,还是数理推理能力等,与真正的“对话式AI”还有距离。

最后再来一个问题,“目前有几个和你类似的认知智能模型?”

通过回复可以看到,当前类似的认知智能模型已经有很多了,讯飞星火认知大模型的将呈现怎样独有的优势呢?还需要再等十余天才能揭晓。

标签: 科大讯飞
Copyright © DoNews 2000-2024 All Rights Reserved
蜀ICP备2024059877号-1     京ICP证151088号
京网文【2018】2361-237号