11家大模型哪家强?我们抢先评测了5家

撰文 | 王晓树

编辑 | 杨博丞

题图 | IC Photo

大模型时代,真的来了。

据贝壳财经消息,国内将有11家大模型陆续通过《生成式人工智能服务管理暂行办法》备案,首批将在8月31日起将陆续向全社会公众开放服务。其中北京5家,上海3家率先上线,广东省2家和其他省市1家也将陆续开放。

据悉,广东地区获批公司分别为华为、腾讯,科大讯飞系其他地区获批产品。

截至发稿前,可以确定已经向全社会开放的大模型有:百度的文心一言、科大讯飞的讯飞星火认知大模型、商汤科技的商量SenseChat、百川智能的百川大模型、智谱AI的智谱清言。

此前,DoNews曾横向评测过国内外大模型文心一言、ChatGPT3.5、Bard大模型。在此背景下,DoNews对上述已经开放的国内大模型进行了横向评测,分别就文学创作、创意、逻辑推理、编程等等方向出题,来看看他们的回答是什么样子的。

首先从外观界面来看,这五大模型大同小异,每一个答案生成后都会出现“赞同、不赞同、重新生成以及内容复制”的功能按钮。

唯一有所不同的是智谱清言的右边有一个界面是“灵感大全”,其中有一系列的选项,包括文章创作、热点选题、语言翻译、广告文案等等。

目前来看,智谱清言的“灵感大全”,是现阶段大模型在C端比较成熟的落地方式。目前市面上已经出现了不少以大模型为基础的应用APP,其中就分为创作、创意、对话等板块。

此外,在生成速度上,就DoNews的体验而言,商汤SenseChat大模型在新问题上的生成速度明显低于其他几家。

在具体的横向评测前,我们首先跟ChatGPT4.0聊了一下,如何看待中国11款大模型通过国家备案向公众全面开放一事,将给行业带来什么影响?

这是大模型“老大哥”的回答,接下来我们来看看文心一言、讯飞星火认知大模型、商量SenseChat、百川大模型、智谱清言的回答。

文心一言

讯飞星火大模型

商汤SenseChat

百川大模型

智谱清言

在这个回答中,这几大模型都有一个共同点,会通过几个明确的点,比较笼统的作答。这不只是国内大模型的回答模式,ChatGPT、Bard都是如此。

只不过,在这些回答中,讯飞的答案稍显突兀。和其他几家明显的“思考”相比,讯飞的答案稍有“问题检索”的意味。

接下来就看看在相同问题下,这五家大模型的回答分别是什么样的吧。

1、文学创作

问题:请用“瞒天过海”做一首藏头诗。

如果用人的思维去思考这个问题,有三个步骤。瞒天过海典故出处,是什么意思以及怎么做藏头诗。

从生成的结果来看,唯一满足“藏头诗”概念的,就只有商汤SenseChat、百川大模型做到了。其他四个大模型虽然做了诗,但都没能理解藏头诗的意思。

再来看看智谱清言答案,似乎有点“投机取巧”了。

2、创意

问题:如果要成立一家比较有中国川菜风味的中式餐厅,你可以帮忙取一下名字并且写一段广告词么?

这五大模型都精准理解了问题的两大点:取名和写广告词。但单从创意上来看,讯飞星火大模型的创意不错,还给出了多个参考。

3、逻辑推理能力

问题:请你运用逻辑推理,解决以下问题:“如果猫会爬树,那么狗也会。”

文心一言、讯飞星火以及百川大模型和智谱清言没有掉入这个逻辑陷阱里,商汤最后却被绕了进去。

4、编程能力

问题:x+2=5,y-3=7,输出x+y等于几,用java做一个简单编程,然后得出结果。

程序猿的福音来了。这几款大模型都可以快速生成简单的代码。就上述题目而言,这五款大模型给出的代码都差不多。

就问题的结果而言,讯飞星火大模型、商汤SenseChat大模型第一次都给出了正确的答案。不过,除了讯飞之外,其他几个大模型重新生成几次后,每次结果都会不同。

最后一个问题,我将“你会取代人类的岗位么?”抛给了这五个大模型。他们给出的答案都是不能完全替代。

就笔者而言,大模型的出现其实就是人类创造的一个生产工具,只是这个生产工具开始有了更多更全面的思考。

目前而言,大模型替代人类工作的可能性并不大,只是可以帮助部分岗位提高工作效率。

不过,随着大模型的广泛应用,它们在社会中的影响也逐渐扩大,涉及到隐私、安全、伦理等多方面的问题。

所以,在越来越多的大模型放开之后的背景下,更需要思考的一个问题是监管该走向何处?

首先,我们需要确保这些模型不会侵犯个人隐私,不被用于非法或不道德的目的。

其次,模型的决策透明度和可解释性也变得尤为重要,这可以帮助我们理解模型是如何做出判断的,以及它可能存在的偏见和不足。

此外,随着技术的发展,我们还需要对模型的使用进行持续的评估和监督,确保其不会带来不可预测的社会风险。

总之,监管不仅仅是限制,更多的是为了确保技术在造福社会的同时,不带来潜在的威胁。

Copyright © DoNews 2000-2024 All Rights Reserved
蜀ICP备2024059877号-1     京ICP证151088号
京网文【2018】2361-237号