怎么在github上查开源代码
据外媒报道，上周四，Google、微软、OpenAI 几家公司的 CEO 受邀去白宫，共论关于人工智能发展的一些重要问题。然而，让人有些想不通的是，深耕 AI 多年的 Meta 公司（前身为 Facebook）却没有在受邀之列。
没多久，更让 Meta CEO 扎克伯格扎心的是，一位官员对此解释称，本次会议“侧重的是目前在 AI 领域，尤其是面向消费者的产品方面，处于领先地位的公司。”
显然对于这样的解释，并不能让人信服，毕竟这一次受邀名单中还有一家由 OpenAI 的前成员创立的美国人工智能初创和公益公司 Anthropic。
似乎是为了出一口“气”，也为证明自家的实力，相比 OpenAI、Google 推出闭源的 GPT-4、Bard 模型，Meta 在开源大模型的路上一骑绝尘，继两个月前开源 LLaMA 大模型之后，再次于 5 月 9 日开源了一个新的 AI 模型——ImageBind（https://github.com/facebookresearch/ImageBind），短短一天时间，收获了 1.6k 个 Star。
这个模型与众不同之处便是可以将多个数据流连接在一起，包括文本、图像/视频和音频、视觉、IMU、热数据和深度（Depth）数据。这也是业界第一个能够整合六种类型数据的模型。
ImageBind 用图像对齐六模态，旨在实现感官大一统
简单来看，相比 Midjourney、Stable Diffusion 和 DALL-E 2 这样将文字与图像配对的图像生成器，ImageBind 更像是广撒网，可以连接文本、图像/视频、音频、3D 测量（深度）、温度数据（热）和运动数据（来自 IMU），而且它无需先针对每一种可能性进行训练，直接预测数据之间的联系，类似于人类感知或者想象环境的方式。
对此，Meta 在其官方博客中也说道，“ImageBind 可以胜过之前为一种特定模式单独训练的技术模型。但最重要的是，它能使机器更好地一起分析许多不同形式的信息，从而有助于推进人工智能。”
打个比喻，人类可以听或者阅读一些关于描述某个动物的文本，然后在现实生活中看到就能认识。
你站在繁忙的城市街道等有刺激性环境中，你的大脑会（很大程度上应该是无意识地）吸收景象、声音和其他感官体验，以此推断有关来往的汽车、行人、高楼、天气等信息。
在很多场景中，一个单一的联合嵌入空间包含许多不同种类的数据，如声音、图像、视频等等。
如今，基于 ImageBind 这样的模型可以让机器学习更接近人类学习。
在官方博客中，Meta 分享 ImageBind 是通过图像的绑定属性，只要将每个模态的嵌入与图像嵌入对齐，即图像与各种模式共存，可以作为连接这些模式的桥梁，例如利用网络数据将文本与图像连接起来，或者利用从带有 IMU 传感器的可穿戴相机中捕获的视频数据将运动与视频连接起来。
ImageBind 整体概览
从大规模网络数据中学到的视觉表征可以作为目标来学习不同模态的特征。这使得 ImageBind 能够对齐与图像共同出现的任何模式，自然地将这些模式相互对齐。与图像有强烈关联的模态，如热学和深度，更容易对齐。非视觉的模态，如音频和 IMU，具有较弱的关联性。
ImageBind 显示，图像配对数据足以将这六种模式绑定在一起。该模型可以更全面地解释内容，使不同的模式可以相互 "对话"，并在不观察它们的情况下找到联系。
例如，ImageBind 可以在没有看到它们在一起的情况下将音频和文本联系起来。这使得其他模型能够 "理解 "新的模式，而不需要任何资源密集型的训练。
不过，该模型目前只是一个研究项目，没有直接的消费者和实际应用，但是它展现了生成式 AI 在未来能够生成沉浸式、多感官内容的方式，也表明了 Meta 正在以与 OpenAI、Google 等竞争对手不同的方式，趟出一条属于开源大模型的路。
ImageBind 强大的背后
与此同时，作为一种多模态的模型，ImageBind 还加入了 Meta 近期开源的一系列 AI 工具，包括 DINOv2 计算机视觉模型，这是一种不需要微调训练高性能计算机视觉模型的新方法；以及 Segment Anything（SAM），这是一种通用分割模型，可以根据任何用户的提示，对任何图像中的任何物体进行分割。
ImageBind 是对这些模型的补充，因为它专注于多模态表示学习。它试图为多种模式学习提供一个统一的特征空间，包括但不限于图像和视频。在未来， ImageBind 可以利用 DINOv2 的强大视觉特征来进一步提高其能力。
ImageBind 的性能
针对 ImageBind 性能，Meta 研究科学家还发布了一篇《IMAGEBIND: One Embedding Space To Bind Them All》（https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf）论文，分享了技术细则。
通过分析表明，ImageBind 模型的性能实际上可以通过使用很少的训练实例来提高。这个模型有新的出现的能力，或者说是扩展行为--也就是说，在较小的模型中不存在的能力，但在较大的版本中出现。这可能包括识别哪种音频适合某张图片或从照片中预测场景的深度。
而 ImageBind 的缩放行为随着图像编码器的强度而提高。
换句话说，ImageBind 对准各种模式的能力随着视觉模型的强度和大小而增加。这表明，较大的视觉模型有利于非视觉任务，如音频分类，而且训练这种模型的好处超出了计算机视觉任务。
在实验中，研究人员使用了 ImageBind 的音频和深度编码器，并将其与之前在 zero-shot 检索以及音频和深度分类任务中的工作进行了比较。
结果显示，ImageBind 可以用于少量样本的音频和深度分类任务，并且优于之前定制的方法。
最终，Meta 认为 ImageBind 这项技术最终会超越目前的六种“感官”，其在博客上说道，“虽然我们在当前的研究中探索了六种模式，但我们相信引入连接尽可能多的感官的新模式——如触觉、语音、嗅觉和大脑 fMRI 信号——将使更丰富的以人为中心的人工智能模型成为可能。”
ImageBind 可以用来干什么？
如果说 ChatGPT 可以充当搜索引擎、问答社区，Midjourney 可以被用来当画画工具，那么用 ImageBind 可以做什么？
根据官方发布的 Demo 显示，它可以直接用图片生成音频：
也可以音频生成图片：
亦或者直接给一个文本，就可以检索相关的图片或者音频内容：
当然，基于 ImageBind 也可以给出一个音频+一张图，如“狗叫声”+海景图：
可以直接得到一张“狗在看海”的图：
也可以给出音频，生成相应的图像：
正如上文所述， ImageBind 给出了未来生成式 AI 系统可以以多模态呈现的方式，同时，结合 Meta 内部的虚拟现实、混合现实和元宇宙等技术和场景结合。
可以想象一下未来的头显设备，它不仅可以生成音频和视频输入，也可以生成物理舞台上的环境和运动，即可以动态构建 3D 场景（包括声音、运动等）。
亦或者，虚拟游戏开发人员也许最终可以使用它来减少设计过程中的大量跑腿工作。
同样，内容创作者可以仅基于文本、图像或音频输入制作具有逼真的音频和动作的沉浸式视频。
也很容易想象，用 ImageBind 这样的工具会在无障碍空间打开新的大门，譬如，生成实时多媒体描述来帮助有视力或听力障碍的人更好地感知他们的直接环境。
“在典型的人工智能系统中，每个模态都有特定的嵌入（即可以表示数据及其在机器学习中的关系的数字向量），”Meta 说。“ImageBind 表明可以跨多种模态创建联合嵌入空间，而无需使用每种不同模态组合对数据进行训练。这很重要，因为研究人员无法创建包含例如来自繁忙城市街道的音频数据和热数据，或深度数据和海边文本描述的样本的数据集。”
当前，外界可以通过大约 30 行 Python 代码就能使用这个多模式嵌入 API：
开源大模型是好事还是坏事？
ImageBind 一经官宣，也吸引了很多 AI 专家的关注。如卷积网络之父 Yann LeCun 也在第一时间分享了关于 ImageBind 的资料：
NVIDIA AI 科学家 Jim Fan 在 Twitter 上表示：
自从 LLaMA 以来，Meta 就在开源领域大放异彩。
ImageBind：Meta 最新的多模态嵌入，不仅涵盖了常规数据类型（文本、图像、音频），还包括深度、热量（红外）和 IMU 信号！
OpenAI Embedding 是 AI 驱动搜索和长期记忆的基础。ImageBind 是 Meta 的 Embedding API，用于丰富的多媒体搜索、虚拟现实甚至机器人技术。元宇宙将建立在向量的基础上。
通过对齐 6 种模态，你可以实现一些仅靠文本的 GPT-4 无法实现的花式功能：
跨模态检索：将其视为多媒体谷歌搜索
嵌入空间算术：无缝地组合不同的数据格式。
生成：通过扩散将任何模态映射到其他任何模态。
当然，这种通用的多模态嵌入在性能上优于领域特定的特征。
ImageBind：将它们全部绑定到一个嵌入空间。
也有网友评价道，「这项创新为增强搜索、沉浸式 VR 体验和高级机器人技术铺平了道路。对于 AI 爱好者和专业人士来说，激动人心的时刻即将到来！」。
不过，对于 Meta 采取开源的做法，也有人提出了质疑。
据 The Verge 报道，那些反对开源的人，如 OpenAI，表示这种做法对创作者有害，因为竞争对手可以复制他们的作品，并且可能具有潜在的危险，允许恶意行为者利用最先进的人工智能模型。
与之形成对比的是，支持开源的人则认为，像 Meta 开源 ImageBind 的做法有利于生态的快速建立与发展，也能集结全球的力量，帮助 AI 模型快速迭代和捕捉 Bug。
早些时候，Meta 开源的 LLaMA 模型只能用于研究用途，但是期间 LLaMA 模型在 4chan 上被泄露，有匿名用户通过 BT 种子公开了 LLaMA-65B—— 有 650 亿个参数的 LLaMA，容量为 220GB。
随着 LLaMA “被公开”，一大批基于这款大模型的衍生品，号称是 ChatGPT 开源替代品的工具在短时间内快速涌现，如跟着 LLaMA（美洲驼）名字走的“驼类”家族包含了：斯坦福大学发布的 Alpaca（羊驼，https://github.com/tatsu-lab/stanford_alpaca），伯克利、卡内基梅隆大学等高校研究人员开源的 Vicuna（骆马），还有基于 LLaMA 7B 的多语言指令跟随语言模型 Guanaco（原驼，https://guanaco-model.github.io/）等等。
面对这股新兴的力量，近日，在一位谷歌内部的研究人员泄露的一份文件中显示，在大模型时代，「
所以，OpenAI 和 Google 两家在 AI 大模型上你追我赶的竞争中，谁能笑到最后，也未必就不会是 Meta，我们也将拭目以待。对此，你是否看好开源大模型的发展？
相关阅读
论文地址：https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf
GitHub 地址：https://github.com/facebookresearch/ImageBind
Demo：https://imagebind.metademolab.com/
参考
https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/
https://www.theverge.com/2023/5/9/23716558/meta-imagebind-open-source-multisensory-modal-ai-model-research
","gnid":"9dc08b719ff17d096","img_data":[{"flag":2,"img":[{"desc":"","height":"80","s_url":"https://p0.ssl.img.360kuai.com/t013d73ffee4a20366b_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t013d73ffee4a20366b.gif","width":"640"},{"desc":"","height":"607","s_url":"https://p0.ssl.img.360kuai.com/t017b07cfd3f33a8188_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t017b07cfd3f33a8188.gif","width":"1079"},{"desc":"","height":"348","title":"","url":"https://p0.ssl.img.360kuai.com/t012094ab1bf9b26d27.jpg","width":"1080"},{"desc":"","height":"251","title":"","url":"https://p0.ssl.img.360kuai.com/t01e64614364fae4092.jpg","width":"1080"},{"desc":"","height":"554","title":"","url":"https://p0.ssl.img.360kuai.com/t0156de977110b6b7f5.jpg","width":"708"},{"desc":"","height":"327","title":"","url":"https://p0.ssl.img.360kuai.com/t01b0d51f12ddea2ed7.jpg","width":"1080"},{"desc":"","height":"553","title":"","url":"https://p0.ssl.img.360kuai.com/t018634786794f030d0.jpg","width":"1080"},{"desc":"","height":"795","title":"","url":"https://p0.ssl.img.360kuai.com/t0129bdb9f5db3f84b1.jpg","width":"1080"},{"desc":"","height":"828","title":"","url":"https://p0.ssl.img.360kuai.com/t014fb53f28848011c5.jpg","width":"1080"},{"desc":"","height":"868","title":"","url":"https://p0.ssl.img.360kuai.com/t0118324d1e55847266.jpg","width":"951"},{"desc":"","height":"438","title":"","url":"https://p0.ssl.img.360kuai.com/t0110f7bdec88e0914f.jpg","width":"375"},{"desc":"","height":"886","title":"","url":"https://p0.ssl.img.360kuai.com/t019e2dc35b0b015cbd.jpg","width":"736"},{"desc":"","height":"812","title":"","url":"https://p0.ssl.img.360kuai.com/t01cb11731d7960af58.jpg","width":"618"},{"desc":"","height":"1003","title":"","url":"https://p0.ssl.img.360kuai.com/t01215dcdac97e28b57.jpg","width":"1080"},{"desc":"","height":"566","title":"","url":"https://p0.ssl.img.360kuai.com/t013bbeba5b5ff48993.jpg","width":"585"},{"desc":"","height":"637","title":"","url":"https://p0.ssl.img.360kuai.com/t01c98b68f8473dfd32.jpg","width":"576"},{"desc":"","height":"239","title":"","url":"https://p0.ssl.img.360kuai.com/t019d32dfbd53d39633.jpg","width":"582"}]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"hbase","pub_time":1683705734000,"pure":"","rawurl":"http://zm.news.so.com/13565d71d21668084706334728345a47","redirect":0,"rptid":"ad550b8335b44dc8","rss_ext":[],"s":"t","src":"CSDN","tag":[],"title":"在 GitHub 上“搞事”，Meta 开源 ImageBind 新模型，超越 GPT-4，对齐文本、音频等 6 种模态！
谢南章4602怎么利用github寻找开源 -
冷蝶桂19862759749 ______ 之前发过一系列有关 GitHub 的文章,有同学问了,GitHub 我大概了解了,Git 也差不多会使用了,但是还是搞不清 GitHub 如何帮助我的工作,怎么提升我的工作效率?问到点子上了,GitHub 其中一个最重要的作用就是发现全世界最优秀的开源项目,你没事的时候刷刷微博、知乎,人家没事的时候刷刷 GitHub ,看看最近有哪些流行的项目,久而久之,这差距就越来越大,那么如何发现优秀的开源项目呢?这篇文章我就来给大家介绍下.http://www.cnblogs.com/jycboy/p/6388674.html
谢南章4602如何在GitHub找到需要的开源框架 -
冷蝶桂19862759749 ______ github提供搜索功能 并且提供各个前沿领域的分类 按照要搜索的方向搜索即可 当然star数多的话 开源框架的质量就更高 这只是初级知识 详细学习github推荐虚幻私塾的github全面详解视频教程
谢南章4602如何查看python的notebook文件.ipynb -
冷蝶桂19862759749 ______ 三种方法查看 .ipynb 文件:1,GitHub 中可以直接打开 .ipynb 文件.2,可以把 .ipynb 文件对应的下载链接复制到 https://nbviewer.jupyter.org/ 中查看.3,安装 Anaconda,从开始菜单中打开 jupyter notebook 的快捷方式(prompt 中用该命令打开同理),默认启动路径在 C:\Users\yourname 类似的文件夹.把 .ipynb 文件复制到这个目录下面,找到并打开即可查看.
谢南章4602如何查看github代码的开源协议 -
冷蝶桂19862759749 ______ 克隆之后会把源代码下载到本地,创建一个本地的代码库,可以任意在本地修改代码并使用git所提供的命令操作代码,有代码对应的历史记录和分支.
谢南章4602如何在github上怎样找到ssh key -
冷蝶桂19862759749 ______ 1,在本地生产public_key,在终端执行命令:ssh-keygen -t rsa -b 4096 -c ＂[email protected]＂2,粘贴到 ,在右上方又一个逗new ssh key地按钮,点击新增,把在本地的public_key复制上去,标题任意.3,点击保存即可.详细请参考:
谢南章4602android studio中怎么打开github -
冷蝶桂19862759749 ______ AndroidStudio项目发布到GitHub 1. 在AndroidStudio中新建一个项目(这个不能不知道吧!) 2. 设置: Settings -> Version Control -> Git , 设置git目录, 点击Test测试, 如果成功会有Success提示 3. 设置: Settring -> VersionControl -> ...
谢南章4602如何查看OpenCV源码 -
冷蝶桂19862759749 ______ 可以在github 上查看源代码 https://github.com/opencv/opencv
谢南章4602如何在github看源代码学习呢? -
冷蝶桂19862759749 ______ 只“看”源码是没办法学习的.你必须将这个项目运行起来,在调试过程中动态分析它的处理流程,才能比较好的弄清楚其中的原理.幸运的是node.js的源码非常容易编译和调试,我就是通过下面的步骤来研究它的实现机制的. 先说明一下,...
谢南章4602怎么在ubuntu上查看git是否安装 -
冷蝶桂19862759749 ______ 1,git 安装:sudo apt-get install git-core openssh-server openssh-client$ sudo apt-get install git-core git-gui git-doc sudo apt-get install libcurl4-gnutls-dev libexpat1-dev gettext libz-dev git-core (注意:红色部分很多网站都写错了,坑呐....git-...
谢南章4602yc调度是什么
冷蝶桂19862759749 ______ yc调度的意思是:简单来说,就是在安卓手机中通过改变CPU频率从而适应不同的使用场景的一种调度策略. YC调度这是一个为安卓用户开发的动态性能控制器,可以实现大部分内核态升频功能,并支持更多情景识别. 使用的方法是:1、首先确保你的手机上安装了Magisk框架,且其版本号不低于V18.0.2、在GitHub开源地址上打开最新的调度文件下载页面.3、查看这里的支持列表是否有自己机型的处理器,其中,sdm 代表高通处理器,后面的数字代表处理器型号.4、点开Assets列表并且下载完成之后,在Magisk框架中安装刷入刚下载的文件,重启手机 .