网络爬虫心得体会
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
家人们，OpenAI前脚刚发布自定义GPT，让人人都能搞开发；后脚国内一家大模型初创公司也搞了个产品，堪称重新定义开发——让AI智能体们协作起来！
只需一句话，最快3分钟不到，成本也只要2元多，“啪~”，一个软件就开发完了。
例如开发一个红包雨的小软件，现在只需要说一句就好了：
“红包雨”是一个点击小游戏，红包的外观是红色高瘦的圆角矩形，红包缓慢地从上方掉落，每个红包间距相等 ，没有重叠，鼠标点击任意一个红包，红包便随着互动点击而消失，同时显示一个吉利的数字，表示抢到这个红包得到了多少钱。
更重要的一点是，在开发的整个流程中，从产品经理到程序员，再到设计和测试等等，统统都是AI智能体！
没错，全程你只需要提需求，剩下的智能体们会自己讨论、交流，甚至还伴随着battle，最终确定方案并执行。
要知道，常规软件的开发周期是在2-3周，且成本在10000-50000美元之间（包括人力）；如此对比起来，可真的是大写的“降本增效”！
这款神器便是ChatDev，是由面壁智能最新推出的SaaS级智能软件开发平台。
其实早在两个月前，“ChatDev智能体协作开发框架”就已经在GitHub上开源，并多次霸榜Trending排行，目前已经揽获近17000颗star。
而此次面壁智能之所以推出产品版，就是为了把这种“一句话搞开发”的门槛再次“打下去”。
现在有了它，搞开发可以说拼得不再是技术了，拼得更多的反倒成了创意。
宛如身边有一只哆啦A梦，只要你敢想，它就敢给你“造”出来。
那么产品版ChatDev正在带来什么样的改变？又是如何做到的？
产品开发变了：可以把更多创意塞进去
在产品版ChatDev加持之下，开发的迭代，也变成了有想法就行的事。
例如你想把“红包”替换成你想要的元素，同样也是只需要一句话的那种。
然后AI智能体们就又开始了新一轮工作流程，这次，我们来具体看看它们之间到底是怎么展开工作的。
我们还是先以刚才红包雨的demo为例。
首先，就像刚才提到的，我们需要做的就只有填写好“项目名称”和“Prompt”。
而且即便Prompt写得不好，在ChatDev旁边也有一个“一键润色”的功能，自动帮你把需求补充完整。
然后我们就能看到AI智能体们就开始“搓搓小手”准备干活儿了。
CTO先发话，大概意思就是：
来活儿喽！客户要搞个“红包雨”~
紧接着CTO详细地拆解了这个需求，把项目要做的每一步都罗列了出来：
任务下达之后，就轮到程序员发力了。
只见他不费吹灰之力，立即给出了一段Python代码：
代码完成之后，还有会有一位AI Counselor，会对整个项目做个总结，并将逻辑、结果等等一并奉上：
整个对话过程可谓是非常丝滑，我们就像一位尊贵的客户，静静地看着这些“AI员工”有条不紊地推进着项目。
不得不感慨，现在搞开发，真的成了有想法就行的事儿了。
例如网络爬虫、数据库读写、文件批处理、网页设计这样的编程助手；像五子棋、贪吃蛇这样的休闲小游戏；再如数字时钟、计算器、绘画板、图片编辑器这样的效率管理和创作辅助工具。
统统都能hold得住~
怎么做到的？
从早期披露的消息和论文中可以看到，最初的ChatDev，是团队设计了一套由群体智能串联起的ChatChain（交流链）。
可视为由原子任务组成的“软件生产线”，通过专业角色的智能体进行对话式信息交互和决策，驱动其进行自动化全流程软件工程。
然而，应用的创新离不开基础模型能力的提升，随着面壁智能推出SaaS版ChatDev，我们发现其自研的基座模型也有了新的版本——
面壁智能自研的新一代千亿参数大模型——CPM-Cricket（CPM全称为Chinese Pretrained Model) 。
据了解，CPM-Cricket是面壁智能的第三代模型，前两代分别为CPM-Ant、CPM-Bee。
（有意思的一点是，每一代模型的名字是按照英文字母的顺序为首字母，并取一个昆虫的英文单词来命名。）
至于CPM-Cricket的能力几何，一言蔽之，是在逻辑、代码、知识、指令理解等方面有了大幅提升，且全面超越Llama 2的那种。
在经典的LLM评测集（HumanEval、C-Eval、MMLU、MBPP、CMMLU、BBH等）中，CPM-Cricket表现如下：
或许这样的一组数据并没法带来非常直观的感受。
那么同样是基于CPM-Cricket的类ChatGPT产品——Luca 3.0，把它“丢”进公考场景之后的表现，便可以让CPM-Cricket的能力变得更一目了然了。
题目是这样的：
选取2022-2023年的公考试题，包括常识判断、数量关系、资料分析、判断推理、语言理解与表达等多种题型的425道试题。
例如面对下面这道单选题，Luca 3.0不仅可以秒速作答，还能将每一步的解题步骤详尽地列出来：
即使是面对话术弯弯绕绕、真人看了都需要反应一会儿的逻辑题目，Luca 3.0的回答也是游刃有余：
可以说，Luca 3.0在这套题上的表现是做到了“快”和“准”。
而与之同台竞技的选手，面壁智能所选取的也是业界相对标杆的大模型，GPT-4。
不难看出，在重要的常识判断和判断推理两项能力中，Luca 3.0相比GPT-4已经能够保持相对的优势了。
不仅如此，在英文测试环境中，Luca 3.0在GMAT官方模拟考试题中的表现，同样也是GPT-4整体相当（其中阅读达到GPT-4的97%水位）。
而Luca 3.0之所以能够取得这般成绩，除了背后CPM大模型升级这个因素之外，面壁智能在微调方面也做了相应的策略：
一是课程学习（Curriculum learning，CL）的训练策略，模仿人类的由易到难的学习过程，先在预训练中让模型学习底层推理规律，然后在对齐阶段学习人类的逐步推理思维。
二是思维链（Chain-of-thought，CoT）策略，对推理过程分解，让模型的推理更加具有可解释性。
（PS：目前Luca已经正式面向公众开放服务，是可以免费体验的那种哦~）
在底层基础设施的其他方面，例如训练、压缩和推理，面壁智能也自研了自己的一套打法：
- BMTrain：大模型高效训练框架
- BMInf：大模型高效推理框架
- BMCook：大模型高效压缩框架
据说其大模型已集成超过16000多个真实API，可实现一键接入，调用工具解决更多复杂任务。
此外，面壁智能还部署了Int8量化模型，让模型推理成本降低50%。
总结来说，面壁智能探索了出更为低成本、高效率的模型训练方法，让大模型不仅能“训出来”，还能“训得好”、“用得好”。
这可能就是这家创业公司推动“大模型+Agent”应用落地的实力和底气。
还有更大的一盘棋
不过除此之外，基于大模型底座的基础能力，面壁智能还曾开源了两项重磅的工作——AgentVerse和XAgent。
加上之前我们提到的ChatDev，三者共同形成了面壁智能的“三驾马车”，围绕的核心便是AI智能体。
AgentVerse是一个大模型驱动的智能体通用平台，它的作用就是打造各式各样的AI智能体，让它们具备感知、思考、推理、理解、协作和执行的能力，以便“组团打怪”。
XAgent是大模型驱动的AI智能体应用框架，它可以让智能体们具备自主规划和决策能力，能够理解人类指令，制定复杂计划并自主采取行动完成任务。
而ChatDev则更为聚焦，是大模型驱动的多智能体协作开发框架，采用软件工程瀑布模型的思想，将软件开发分为软件设计、系统开发、集成测试、文档编制四个主要环节。
但若是我们将此次发布的所有“单节点”联系到一起，就能发现，面壁智能实则是在下一盘更大的棋——
左手大模型，右手AI智能体，要打造的是一个智能体网络（Internet of Agents，IoA）。
因为在面壁智能看来，我们已经经历了从互联网到物联网的过渡，而接下来的驶向便是智联网。
如果说互联网是二维信息的联通、物联网是三维空间的联结，那么智联网则是进入更高维度的智能体互联。
而在智联网中，AI智能体应当是最为关键的存在，它可以是拟人的原生智能体，也可以是现实中的人和物体的数字孪生智能体。
通过智能体的连接，可以让AI真正为人类服务，提供价值（生产力的提升、交互方式的改变）。
以一个大胆的想象来比喻，可能在智联网的将来，家中的哪怕是一张桌子、一台冰箱，也会具备智能体的特性，可以与人和其它物体做智能交互。
而这，也正是面壁智能愿景的由来——智周万物：
“智”即AI Agent智能体；“万物”可以是人，可以是物。
AI Agent智能体网络是连接现实世界与虚拟世界的桥梁，并使其真正交互和协作起来，创造价值。
不过有一说一，智联网的理想虽好，但现实的情况是，即使是ChatDev和第三代大模型的发布，也只能视为迈向愿景的一步。
那么面壁智能是否有足够的实力能够在将来解锁“智周万物”呢？
关于面壁智能
对于这个问题，我们首先就要看一下面壁智能的团队实力如何。
从官方披露的消息可知，面壁智能成立于2022年8月，CEO为李大海，首席科学家是刘知远。
二人的学术、技术实力已然是不容小觑。
李大海毕业于北大数学系，后加入谷歌成为Google中国创始员工之一；再后来也有在众多知名企业担任技术负责人、CTO等职务的经历，对技术体系的搭建和商业化落地有着丰富的经验。
刘知远是清华大学计算机系长聘副教授，主要研究方向为自然语言处理、知识图谱和社会计算。在人工智能领域著名国际期刊和会议发表相关论文200余篇，Google Scholar统计引用超过3.7万次，学术造诣可谓是十分深厚。
不仅如此，官方展示的“顾问”成员也是非常重量级，包括两位清华大学计算机系教授——孙茂松和刘洋。
不难看出，面壁智能是妥妥一家“清华味”十足的大模型初创企业。
除此之外，其在产学研生态道路上也有自己独特的打法，即“一体两翼”。
“一体”指的正是面壁智能，而“两翼”则是OpenBMB和清华NLP实验室。
据了解，OpenBMB是面壁智能团队在2021年与清华NLP实验室共同成立的国内领先大模型研发与应用开源社区，社区宗旨为“让大模型飞入千家万户”。
目前除了Agent技术框架，OpenBMB还开源了CPM-Ant、CPM-Bee 10B基础模型，BMTrain、BMCook、 BMInf 、OpenPrompt、OpenDelta等大模型全流程加速工具包，为中国大模型开源事业做出了独树一帜的贡献。
清华NLP实验室，则是国内最早系统开展深度学习与大模型研究的单位，团队在国际顶级学术会议和国际权威期刊发表论文200余篇，引用近44000次，并获得多项最佳论文奖。
由此可见，无论是自身实力，亦或是“一体两翼”式的强强联手，面壁智能在技术这一块可以说是妥妥拿捏住了。
这也就不难理解，为何仅成立一年的面壁智能，便可将CPM大模型迭代三代，又能在国内率先亮出“大模型+Agent”群体智能模式的产品应用了。
— 完 —
量子位 QbitAI · 头条号签约
","gnid":"91054fece57cb8f42","img_data":[{"flag":2,"img":[{"desc":"","height":224,"s_url":"https://p0.ssl.img.360kuai.com/t01d4cf0f9436ac16dd_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01697035c642fcf706.gif","width":500},{"desc":"","height":755,"s_url":"https://p0.ssl.img.360kuai.com/t01d1c5bad0c6dee1d6_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t019fcdf67ee9a66917.gif","width":1000},{"desc":"","height":395,"s_url":"https://p0.ssl.img.360kuai.com/t010af50a1885dacbe9_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t016c12b24a30980cb0.gif","width":640},{"desc":"","height":"415","title":"","url":"https://p0.ssl.img.360kuai.com/t012a50f7fc25fc4450.jpg","width":"1080"},{"desc":"","height":617,"title":"","url":"https://p0.ssl.img.360kuai.com/t017a8407ad7177d8d5.jpg","width":1080},{"desc":"","height":392,"s_url":"https://p0.ssl.img.360kuai.com/t01688dda33dde37532_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01cadb5fbe0f4ddf18.gif","width":640},{"desc":"","height":"669","title":"","url":"https://p0.ssl.img.360kuai.com/t01823ed74bb8ca1550.jpg","width":"1080"},{"desc":"","height":"663","title":"","url":"https://p0.ssl.img.360kuai.com/t012f1fffd0dc8b2506.jpg","width":"1080"},{"desc":"","height":"663","title":"","url":"https://p0.ssl.img.360kuai.com/t017111384b0d68c17d.jpg","width":"1080"},{"desc":"","height":305,"s_url":"https://p0.ssl.img.360kuai.com/t0152b758c3d38da5e9_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01c1273b4fde39f98c.gif","width":640},{"desc":"","height":"355","title":"","url":"https://p0.ssl.img.360kuai.com/t01221a4e8bbfb21858.jpg","width":"1080"},{"desc":"","height":"461","title":"","url":"https://p0.ssl.img.360kuai.com/t014ba9d9ffd82b21df.jpg","width":"1080"},{"desc":"","height":"720","title":"","url":"https://p0.ssl.img.360kuai.com/t0187307fcfd0006ad6.jpg","width":"1028"},{"desc":"","height":"720","title":"","url":"https://p0.ssl.img.360kuai.com/t0119e214a352581a7d.jpg","width":"825"},{"desc":"","height":"830","title":"","url":"https://p0.ssl.img.360kuai.com/t01266ee75ad5d1812b.jpg","width":"1080"},{"desc":"","height":"476","title":"","url":"https://p0.ssl.img.360kuai.com/t01edaa6880cee20d3a.jpg","width":"1080"},{"desc":"","height":"658","title":"","url":"https://p0.ssl.img.360kuai.com/t01766a14d2ca025fec.jpg","width":"1080"},{"desc":"","height":"617","title":"","url":"https://p0.ssl.img.360kuai.com/t0194962718506bd11c.jpg","width":"1080"},{"desc":"","height":"990","title":"","url":"https://p0.ssl.img.360kuai.com/t010cef7391d2d94275.jpg","width":"1080"}]}],"original":0,"pat":"zzc,qgc,art_src_3,fts0,sts0","powerby":"pika","pub_time":1700033640000,"pure":"","rawurl":"http://zm.news.so.com/4e07a16c5811718ec91c3ba4b12aa3b8","redirect":0,"rptid":"3dc0d0480a1ea309","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:游戏","k":"游戏","u":""}],"title":"成本2元开发游戏，最快3分钟完成！全程都是AI智能体在“打工”
牧唯轰3804如何用Python爬虫抓取网页内容? -
安娟砌18735932996 ______ 首先,你要安装requests和BeautifulSoup4,然后执行如下代码. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 importrequests frombs4 importBeautifulSoup iurl ='http://news.sina.com.cn/c/nd/2017...
牧唯轰3804网络爬虫有什么作用?? -
安娟砌18735932996 ______ 爬虫就是过来爬取并抓住你网站的内容把它放入互联网的文件中
牧唯轰3804请问传统爬虫的工作过程有什么特点?
安娟砌18735932996 ______ 传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件
牧唯轰3804小爬虫的启示换个题目应该换什么
安娟砌18735932996 ______ 小爬虫带给我的启示
牧唯轰3804如何用python实现网络爬虫原理?有木有高手啊?
安娟砌18735932996 ______ 对于一个网络爬虫,如果要按广度遍历的方式下载,它就是这样干活的: 1.从给定的入口网址把第一个网页下载下来 2.从第一个网页中提取出所有新的网页地址,放入...
牧唯轰3804请问网站搭建原理是什么?
安娟砌18735932996 ______ 网站搭建原理 1、认识网站虚拟空间:虚拟空间是用来存放网站文件的.如:图片信息,html文件,php文件等.虚拟空间相当于一个硬盘空间,只是这个空间可以被互联网用户以网址或IP地址的形式访问. 2、认识域名的作用含义:域名可以理解为网站的地址,多个域名可以对应一个主机IP地址.最常见的还是一个IP对应一个域名. 3、动态网站的数据库支持:传统的静态网站无需数据库支持.而这是用来存放网站数据的空间,这里的网站数据可并非指的是网站的html文件、图像信息等,指的是如网站访客提交的留言,个人信息等.
牧唯轰3804孕10周身体会发生什么变化?
安娟砌18735932996 ______ 1、怀孕10周的孕妇子宫大概有一个橙子那么大,但此时肚子还不太明显,看不出是个孕妇. 2、孕妇的身体会开始变形,体重会快速增加,腰部也会变得更粗.这时候的孕妇要注意了,牛仔裤等紧身衣物不应该再穿,以免箍住孕妇肚子,妨碍胎儿的发育,最好选择宽松的棉质衣物
牧唯轰3804检测家中甲醛是否超标的有效方法是怎样的呢?
安娟砌18735932996 ______ 1、感觉法:既装修后充分通风7-15天后,封锁门窗24小时,然后进入房间,如感觉刺眼耀眼刺眼或刺鼻的话那您室内的甲醛就很可能超标4倍以上了. 如果只有家具内有...
牧唯轰3804如何请求企查查删除公司行政处罚信息?竭诚为您企查查的公司行政处罚
安娟砌18735932996 ______ 企查查上的信息采取了相似的爬虫技能,从政府公示体系主动抓取,也就是说,假如一家企业(个人、高管等)在法律文书网上的确有相关的法律诉讼文书被公布出来,则很大的概率会被企查查抓取到,因而,很难铲除相关的诉讼信息.反惯例操作
牧唯轰3804pc端网站和手机网站的不同在哪些方面呢?
安娟砌18735932996 ______ 第一、操作系统不一样 pc端网站一般都是在Windows 7/8或者是 Windows xp等等操作系统之下运行的.但是手机网站就不是使用这些操作系统了,手机网站是使用安卓系统以及ios系统.具体运行的平台不一样,所能够展示出来的网站功能当然也是不相同的. 像pc端网站大部分都会专门配备一个“会员系统”,除了这个还有购物支付、视频播放、以及音乐收听等等一些功能,总体来说功能非常多.但是手机网站和pc端网站一对比的话,就显得十分精简了,手机网站里面基本上不会有什么会员系统,并且当我们在手机上浏览购物、视频、以及音乐等等功能的时候,都不会使用手机网站,二十专门下载一个相对应的手机APP软件,在手机软件上观看,使用.