freeform怎么下载

号称“世界首个上下文长度达32k的开源可商用大模型”来了。

名字“简单粗暴”，就叫“长颈鹿”（Giraffe），基于130亿规模的Llama-2打造。

如作者所言，原始的Llama-2和Llama-1都只有4k上下文，很难真正在企业领域被商用。

而现在这个是其8倍的“Giraffe”，直接改变这一局面：

能够一次处理更大文档、维持更长时间对话、执行更复杂检索且结果出错更少……在开源大模型界中，可谓真正的商业/企业友好。

网友纷纷表示：“太有用了”、“马上就要试试”。

所以，长颈鹿是如何从羊驼“进化”而来的？

扩充上下文长度的探索

长颈鹿的作者来自Abacus.AI。

这是一家搞AI数据科学平台的初创企业，成立于2019年，已完成5000万元C轮融资。

为了扩展开源模型的上下文长度，他们将目前最突出的已有方法整理在一起，并进行彻底测试确定出最有效的方法。

在此之上，他们也提出了一些新思路，其中一种称为“截断（truncation）”，它表现出了不小的潜力。

具体来看：

首先团队发现，目前已有的长下文外推方法普遍都是通过修改注意力机制中使用的位置编码系统，指示token和activation在输入序列中的位置而完成。

包括线性缩放/位置插值、xPos、随机化位置编码等等。

在此，他们提出了两种新方法。

一个叫Power Scaling，主要是对原始的RoPE编码进行了如下变换：

这使得基础的高频（短距离）元素比低频（长距离）元素受到的影响更小，让模型不得不对低频元素进行不那么复杂的外推，从而让整体得到提升。

另一个方法叫Truncated Basis（也就是上面所说的“截断”），主要是对原始RoPE编码进行了如下变换：

其中ρ是一个相对较小的固定值，a和b是选定的截止值。

作者在这里的想法是，保留basis的高频分量，但将低频分量设置为恒定值（比如0）。

而通过明智地选择截止值a，模型就可以在微调期间（由于正弦函数和正弦函数的周期性）经历上下文长度中的所有basis值，从而更好地外推到更大的上下文长度。

接下来，便是对以上这些方法进行彻底测试。

在此，作者认为，很多人只用困惑度来衡量模型的长下文能力是远远不够的，因为它的细粒度不够。

为此，除了困惑度，他们还加了三个新的评估任务（都已公开发布到HuggingFace之上）：

FreeFormQA、AlteredNumericQA和LongChat Lines，其中前两个是一类，为问答任务，第三个为关键值检索任务。

通过使用这两种类型的任务，我们能够强制要求模型更加关注完整的上下文，从而获得高精度的测试结果。

那么结果如何？

直接上结论：

首先，线性插值是最好的上下文长度外推方法。

其次，所有上下文长度外推方法都随着长度的增加，在任务准确性上出现了下降。

第三，通过在评估阶段使用比微调时更高的比例因子，可以进一步增加上下文长度，但比例因子似乎最多只能提高2倍。

以下是这些方法在三个评估数据集上的具体表现（精度为1.0表示性能完美，0.0表示每次评估都是错误的）：

△LongChat Lines

△AlteredNumericQA和FreeFormQA

可以看到，除了佐证上面的结论，作者们新提出的Truncated Basis方法表现确实不错，有一定的前景。

而基于以上研究，团队也在LLaMA2-13B基础模型上发布了长颈鹿大模型，当然，用的是性能最优的线性插值法。

根据上下文长度不同，长劲鹿家族最终一共有三个版本：4k、16k和32k，感兴趣的朋友就可以去HuggingFace上下载了。

其实是并列第一

虽然Abacus.AI号称长颈鹿是世界首个上下文可达32k的开源LLM，但Together.AI其实更为抢先一步：

他们已在本月初发布了32k的Llama-2-7B大模型（已有近1万7千次下载），以及在上周五发布了llama-2-7b-32k-instruct。

大家的上下文长度一样，唯一的大区别是Together.AI的参数规模要小些。

现在，大伙也好奇能不能出一个对比，看看究竟谁更胜一筹。

论文地址：

— 完 —

量子位 QbitAI · 头条号签约

宦石翟1154以下关于更改桌面路径的说法正确的是() - 上学吧
谷甘霞18221144505 ______ 可以啊.也可以和PROE结合,进行处理:比如做结构等,之后再加工.Freeform 通常是用于做外型,通过GS转为IGS曲面(当然你用PLUS版本的话,直接输出IGS也可以,好像文档有点大),再用PROE做结构,组合使用,更完美

宦石翟1154solidworks里的freeform自由曲面 -
谷甘霞18221144505 ______ 好像是其他软件导入到solidworks里的几何体,包括曲面、实体都是不能通过再直接修改原来的参数来编辑了,你能做的就是用solidworks里面的一些裁剪呀、分割呀、组合呀等等这些solidworks命令来操作了.你通过其他软件导入的时候,实际...

宦石翟1154freeform和zbrush这两个软件哪个高端? -
谷甘霞18221144505 ______ freeform没用过,但ZBRUSH在游戏中的应用是很广泛的.ZBrush有大量的笔刷,配合alpha、子工具、局部细化等功能能很容易刻画很多的细节,而且ZBrush 4.0与其他三维软件(maya、max等)结合的越来越好,大大提高了效率.ZBrush 4R8有中文版的,对于英文不感冒的小伙伴可以使用这个版本

宦石翟1154freeform能打开精雕文件吗 -
谷甘霞18221144505 ______ 1、什么是FreeForm?FreeForm是一套可以融合视觉与触觉来完成复杂3D模型建构的软件.使用者需要通过FreeForm的手柄(代替鼠标用的),即有触觉的雕刻笔来控制和雕刻电脑画面中的3D模型,可以随心所欲地构建任意的模型形状,是一...

宦石翟1154EFI的FieryFreeFormKit有什么特点?
谷甘霞18221144505 ______ EFI公司的Fiery FreeForm Kit为用户提供了创建VDP作业的一整套工具.FreeForm基于驱动的技术早已在Fiery服务器应用, 所以不会涉及额外费用,也无须特定的VDP软...

宦石翟1154PB 报表 分页打印 带表头 用的freeform , -
谷甘霞18221144505 ______ 没用过PB报表,确切说没听说过,我这里使用的FineReport报表,如果想分页预览或打印时均显示表头,可以在设计器中的表头那一行右键选择“重复标题行”即可,则表头的那行或者那几行就会在分页时重复显示,打印出来的效果也是如此.楼主你有什么问题还可以去“FineReport爱好者论坛”求助,有很多报表高手在.

宦石翟1154ClayTools系统与FreeForm系统之间有哪些区别? -
谷甘霞18221144505 ______ ClayTools系统主要用于数字化图形制作和美术的雕塑造型,FreeForm系统主要用于产品设计中的精密3D模型制作,提供解决方案

宦石翟1154freeform软件是圆雕笔的那个软件的,12.0de -
谷甘霞18221144505 ______ FreeformOrigami012的

宦石翟1154【PB】数据窗口格式是Freeform,无法在dw中显示 -
谷甘霞18221144505 ______ 首先你要确定你和数据库是否连接上了 然后在窗口的open事件中写 dw_traveller.settransobject(sqlca) dw_traveller.retrieve() 然后你再看能不能出来数据