图片
企业新闻
 企业发展部
西高新新闻
 石化仪表
荣森新闻
陕西新闻
行业新闻
中国新闻
 湿度水分
国际新闻
文章检索
OpenAI 的真正目标
  发布者:petroyang 发布时间:2023-10-21 阅读:92

来源:宝玉xp

当这家年轻的公司发布了 ChatGPT 时,它在全球掀起了巨大的震动。但这仅仅是开始。

当这家年轻的公司发布了 ChatGPT 时,它在全球掀起了巨大的震动。但这仅仅是开始。最终目标是:改变一切。是的,就是一切。

空气中充满了类似“披头士”时期的狂热氛围,当这位明星和他的随扈涌入等待中的奔驰商务车。他们刚从一个活动中匆匆离开,现在正在前往另一个,接着是另一个,疯狂的人群在等待着他们。当他们穿越伦敦的街道,从霍尔本到布卢姆斯伯里,就好像他们正在经历文明的一个前后转折时刻。坐在车里的这股历史性的力量吸引了全世界的目光。从排队等待的学生到首相,每个人都想得到一部分。

在这辆豪华商务车里,38 岁、头发整洁的企业家 Sam Altman 正忙着吃沙拉。他是 OpenAI 的联合创始人。车里还有一位公关人员、一位安保专家,还有我。Altman 穿着他并不喜欢的蓝色西服和没有领带的粉红色衬衫,正穿梭在伦敦的各处,作为他在六大洲的 25 个城市进行的为期一个月的全球之旅的一部分。吃着沙拉时,他回想起昨晚与法国总统 Emmanuel Macron 的会晤。真是个不错的家伙!他对人工智能非常感兴趣。

同样,波兰的首相和西班牙的首相也是如此。

与 Altman 一起,我仿佛可以听到开头的那个含糊、模糊的和弦,预示着未来。去年 11 月,当 OpenAI 推出了它的巨大成功的产品 ChatGPT 时,它引发了自互联网进入我们生活以来尚未见过的技术爆炸。突然间,图灵测试成为了历史,搜索引擎变成了濒临灭绝的物种,没有一篇大学论文再能被信任。没有工作是安全的。没有一个科学问题是不变的。

Altman 并没有做研究、训练神经网络或为 ChatGPT 和其更为聪明的后续版本 GPT-4 编写接口。但作为 CEO——一个类似于他的联合创始人 Elon Musk 的年轻版本的梦想家/实干家,没有任何多余的包袱——一个接一个的新闻报道都用他的照片作为人类新挑战的视觉象征。至少那些没有以 OpenAI 的视觉 AI 产品 Dall-E 生成的引人注目的图像为首的报道是这样的。他是这一时刻的先知,是人们首先想要咨询的人,关于 AI 如何引领一个黄金时代,或将人类降低到无关紧要的地位,或者更糟。

那个阳光明媚的五月的某一天,Altman 的商务车带他前往四个场合。首先是与一个名为“圆桌”的政府、学术界和行业人士组成的团队的非正式会议,它位于一个名为 Somers Town Coffee House 的酒吧的二楼。在酿酒师 Charles Wells(1842-1914)的严肃肖像下,Altman 回答了他几乎在每个场合都会被问到的相同问题。AI 会杀了我们吗?它可以被规范吗?关于中国呢?他详细地回答了每一个问题,同时偷偷地看着他的手机。之后,他在豪华的 Londoner 酒店前与牛津公会的 600 名成员进行了一个炉边聊天。从那里,他前往一个地下会议室,在那里,他回答了大约 100 名企业家和工程师的更多技术问题。现在他几乎要迟到,去伦敦大学学院的一个下午的舞台谈话。他和他的团队停在了一个装货区,被引导穿过一系列蜿蜒的走廊,就像《好家伙》中的稳定摄像机镜头。当我们走路的时候,主持人匆忙地告诉 Altman 他会问什么。当 Altman 走上舞台时,整个礼堂——充满了学者、极客和记者的狂热——爆发了。

Altman 并不是一个天生的公众人物。我曾经在《纽约客》发表了一篇关于他的长篇报道后与他交谈过。“关于我太多了,”他说。但在伦敦大学,正式的节目结束后,他深入到涌向舞台前方的人群中。他的助手们试图把自己放在 Altman 和那群人之间,但他摆脱了他们。

他一个接一个地回答问题,每次都专注地盯着提问者的脸,好像这是他第一次听到这个问题。每个人都想要一个自拍。20 分钟后,他终于允许他的团队把他拉出来。然后他去见英国首相 Rishi Sunak。

也许有一天,当机器人为我们写历史的时候,他们会引用 Altman 的世界之旅,把它作为一个里程碑,表示在那一年,每个人都开始对奇点进行自己的个人评估。或者,也许再次写下这一时刻的历史的人会看到它是一个时期,一个拥有颠覆性技术的安静但引人注目的 CEO 试图将一个非常特殊的世界观注入全球思维流——从旧金山 Mission 区的一个没有标志的四层总部,到整个世界。

对于 Altman 和他的公司来说,ChatGPT 和 GPT-4 只是实现一个简单而震撼的任务的踏脚石,这些技术人员可能已经在他们的身上留下了烙印。那个任务就是构建一个通用的人工智能——一个迄今为止更多地植根于科幻小说而非科学的概念——并确保它对人类安全。在 OpenAI 工作的人们对追求这一目标充满了狂热。(尽管,正如办公室咖啡厅里的任何一次对话都会证实,使其“构建 AGI”部分的任务似乎比“使其安全”部分为研究人员提供了更多的原始兴奋。)这些人不会回避轻松地使用“超级智能”这一术语。他们假设 AI 的发展轨迹将超越生物学能够达到的任何高峰。公司的财务文件甚至规定了一种退出方案,以备 AI 消除我们的整个经济系统。

称 OpenAI 为一个邪教是不公平的,但当我问这家公司的几位高层,如果有人不相信 AGI 真的即将到来,而且它的到来将标志着人类历史上的伟大时刻,他们是否会愿意在这里工作,大多数高管都不这么认为。为什么一个不信仰者会想在这里工作呢?他们想知道。这里的假设是,现在的员工大约有 500 人,尽管这个数字可能已经增长了,自从你开始读这一段文字以来,他们自己选择只包括忠诚的人。至少,就像 Altman 所说,一旦你被雇佣,你似乎注定会被吸引进去。

与此同时,OpenAI 不再是它曾经的公司。它最初是一个纯粹的非盈利研究机构,但现在大部分员工技术上为一家据报道价值近 300 亿美元的盈利实体工作。Altman 和他的团队现在面临的压力是,在每个产品周期中,都要带来一场革命,满足投资者的商业需求,并在一个竞争激烈的市场环境中保持领先地位。同时还要遵循一种准救世主的使命,提升人类而不是消灭它。

这种压力,更不用说整个世界对他们的严格关注,可能是一个令人瘫痪的力量。尽管披头士乐队引发了巨大的文化变革,但他们的革命仅持续了那么长时间:在敲响那难忘的和弦后的六年,他们甚至不再是一个乐队。OpenAI释放出的风暴无疑会更大。但OpenAI的领导们发誓他们会坚持下去。他们说,他们想要做的只是构建足够智能且足够安全的计算机,从而结束历史,将人类推向一个无法想象的丰收时代。

在80年代末和90年代初,Sam Altman还是一个热衷于科幻小说和《星球大战》的书呆子。早期的科幻作家构建的世界经常描述人类与超级智能AI系统一起生活或与其竞争。计算机匹配或超越人类能力的想法激励了Altman,他从小就开始编码。当他8岁时,他的父母给他买了一台Macintosh LC II。有一天晚上,他深夜还在玩它,突然冒出一个念头:“有一天这台计算机会学会思考。” 2003年,他作为本科生进入斯坦福大学,希望有朝一日能够实现这一目标并选择了AI课程。但他后来表示:“那时候它根本不起作用。” 该领域仍然处于被称为AI寒冬的创新低谷。Altman放弃了学业,进入创业世界;他的公司Loopt是Y Combinator的首批初创企业,后来成为世界上最著名的孵化器。

2014年2月,YC的创始导师Paul Graham选择了当时28岁的Altman来接替他。Graham在公告中写道:“Sam是我认识的最聪明的人之一,他比我更了解初创企业。”但是Altman看到的YC远大于一个为公司提供的跳板。“我们不是关于初创企业的,”他在接任后不久告诉我,“我们是关于创新的,因为我们相信这是为所有人创造伟大未来的方法。” 在Altman看来,盈利并不是为了增加合伙人的财富,而是为了资助物种级的变革。他开始了一个研究部门,希望资助解决世界上最大问题的雄心勃勃的项目。但在他的头脑中,AI是统治所有创新领域的唯一领域:一个可以比人类更好地解决人类问题的超级智能。

幸运的是,正当AI寒冬转为丰收的春天时,Altman开始了他的新职务。计算机现在正在通过深度学习和神经网络,实现了很多令人惊叹的壮举,如标记照片、翻译文本以及优化复杂的广告网络。这些进步使他确信,AGI实际上已经触手可及。但是,将其留在大公司的手中,他感到担忧。他认为这些公司会过于关注他们的产品,而无法抓住尽快发展AGI的机会。如果他们确实创造了AGI,他们可能会在没有必要的预防措施的情况下鲁莽地释放到世界上。

当时,Altman曾考虑竞选加利福尼亚州州长。但他意识到,他完美地定位自己去做更大的事情——领导一家会改变人类自身的公司。“AGI只会被构建一次,”他在2021年告诉我。“并且并不是很多人能够很好地管理OpenAI。我很幸运,我的生活中有一套经验使我非常积极地为此做好了准备。”

Altman开始与可能帮助他创办一家新型AI公司的人交谈,这家非营利组织会引导该领域走向负责任的AGI。一个志趣相投的人是特斯拉和SpaceX的首席执行官Elon Musk。正如Musk后来告诉CNBC,他在与Google联合创始人Larry Page进行了一些马拉松式的讨论后,开始担忧AI的影响。Musk说他惊讶地发现,Page对安全性关心不多,而且似乎认为机器人的权利与人类相等。当Musk分享他的担忧时,Page指责他是一个“物种主义者”。Musk还了解到,当时Google雇佣了世界上的大部分AI人才。他愿意为更符合人类团队的努力花一些钱。

不到几个月,Altman从Musk(承诺捐款1亿美元,并投入他的时间)和Reid Hoffman(捐款1000万美元)那里筹集到了资金。其他资助者包括Peter Thiel, Jessica Livingston, 亚马逊云服务 和 YC研究。Altman开始秘密招募团队。他将搜索限制在信仰AGI的人群中,这限制了他的选择,但他认为这至关重要。“回到2015年,当我们正在招聘时,一个AI研究员说你认真对待AGI几乎被认为是一个职业杀手,”他说。“但我希望有人认真对待它。”

Stripe的首席技术官Greg Brockman就是这样一个人,他同意成为OpenAI的首席技术官。另一个关键的联合创始人是Andrej Karpathy,他曾在Google Brain工作,这是搜索巨头的前沿AI研究运营。但也许Altman最想要的目标是一位名叫Ilya Sutskever的俄罗斯出生的工程师。

Sutskever的背景是毋庸置疑的。他的家人从俄罗斯移民到以色列,然后到加拿大。在多伦多大学,他是Geoffrey Hinton的杰出学生,Hinton因其在深度学习和神经网络上的工作而被称为现代AI的教父。Hinton,仍与Sutskever保持密切关系,对他的学生的魔术技巧表示赞叹。Sutskever在实验室的早期,Hinton给了他一个复杂的项目。Sutskever厌倦了编写进行必要计算的代码,他告诉Hinton,如果他为任务编写一个定制的编程语言会更容易。Hinton有点恼火,试图警告他的学生远离他认为会是一个长达一个月的分心。然后Sutskever坦白说:“我今天早上做的。”

Sutskever成为了AI明星,共同撰写了一篇突破性论文,展示了AI如何仅通过接触大量数据就可以学习识别图像。他最终成为了Google Brain团队的关键科学家。

2015年中旬,Altman给Sutskever发了一封冷邮件,邀请他与Musk, Brockman和其他人在Palo Alto的Sand Hill Road的豪华Rosewood Hotel共进晚餐。只是后来Sutskever才意识到他是荣誉嘉宾。“那是关于AI和未来AGI的一般性谈话,”他说。更具体地说,他们讨论了“Google和DeepMind是否已经遥遥领先,以至于追赶他们已经不可能,还是仍然有可能,正如Elon所说,创建一个能够与他们抗衡的实验室。”尽管晚餐上没有人明确地试图招募Sutskever,但这次谈话让他着迷。

Sutskever在不久之后给Altman写了一封电子邮件,表示他愿意领导这个项目,但该消息被困在了他的草稿箱中。Altman绕了回来,经过几个月对抗Google的反对提议后,Sutskever签了下来。他很快成为了公司的灵魂和研究的驱动力。

Sutskever加入了Altman和Musk的招募项目,最终在Napa Valley举行的休闲活动中,几位潜在的OpenAI研究员彼此之间的兴奋情绪。当然,有些目标会抵制这种吸引力。Doom, Quake等无数其他标题背后的传奇游戏编码员John Carmack拒绝了Altman的提议。

OpenAI 正式启动于2015年12月。当时,当我采访 Musk 和 Altman 时,他们向我介绍了这个项目,视其为通过与世界分享来确保 AI 安全和可达性的努力。换句话说,开放源代码。他们告诉我,OpenAI 不会申请专利。每个人都可以使用他们的突破成果。我不禁思考,这难道不是赋予某个未来的恶棍(Dr. Evil)力量吗?Musk 说这是个好问题。但 Altman 有答案:人类基本上是善良的,因为 OpenAI 会为大多数人提供强大的工具,所以坏人会被淹没。他承认,如果恶棍利用这些工具构建了无法对抗的东西,“那我们就真的处于一个非常糟糕的地方。”但 Musk 和 Altman 都相信,AI 的更安全的道路应该掌握在一个不受利润动机污染的研究机构手中,这是一个持续忽略人类需求以追求惊人季度业绩的诱惑。

Altman 提醒我,不要期待很快看到成果。“这会长时间像一个研究实验室,”他说。

还有另一个原因需要降低期望。Google 和其他公司已经开发并应用 AI 多年。尽管 OpenAI 得到了10亿美元的承诺(主要通过 Musk)、一流的研究员和工程师团队,以及崇高的使命,但它对如何追求其目标一无所知。Altman 回忆起在 Brockman 的公寓里聚集的小团队——他们当时还没有办公室。“我在想,我们该怎么做呢?”

Altman 回忆起在 Brockman 的公寓里聚集的小团队——他们当时还没有办公室。“我在想,我们该怎么做呢?”

在 OpenAI 成立后的一年多,我在旧金山与 Brockman 吃早餐。对于一个公司的 CTO,其公司名字中含有 "open" 这个词,他对细节保持得非常吝啬。他确实确认,非营利组织有能力在一段时间内依赖其初始的10亿美元捐款。OpenAI 的费用主要用于为其25名员工支付工资——他们的工资远低于市场价值。他说:“对我们来说,我们真正努力的目标是拥有那些可以做人类以前无法做的事情的系统。”但目前,这看起来只是一群研究员发表论文。采访后,我陪他走到位于 Mission 区的新办公室,但他只允许我进入前厅。他确实从一个壁橱里拿了一件T恤给我。

如果我当时进去四处打听,我可能会了解到 OpenAI 的困境有多深。Brockman 现在承认“一切都没起作用”。它的研究员们正在尝试各种算法,看看哪些能够得到应用。他们深入研究了解决视频游戏的系统,并在机器人技术上投入了大量努力。Altman 说:“我们知道我们想做什么,我们知道为什么要这么做,但我们不知道怎么做。”

但他们坚信。支持他们乐观主义的是使用深度学习技术的人工神经网络的稳定进步。Sutskever 说:“基本的想法是,不要对深度学习下赌注。”他说,追求 AGI,“并不是完全疯狂,只是有点疯狂。”

OpenAI 的真正起步始于2016年聘请了一个尚未受到关注的研究员 Alec Radford,他离开了他在宿舍创办的小型波士顿 AI 公司。接受 OpenAI 的邀请后,他告诉他的高中校友杂志,这个新角色“有点像加入一个研究生项目”——一个开放的、压力较小的地方进行 AI 研究。

他实际上扮演的角色更像是 Larry Page 发明 PageRank。

Radford 对新闻媒体保持距离,不接受有关他的工作的采访,在我询问他在 OpenAI 的早期日子时,他通过一长串的电子邮件交流回应。他最大的兴趣是使神经网络与人类进行清晰的对话。这与传统的制作聊天机器人的脚本模型有所不同,这种方法被用于从原始的 ELIZA 到受欢迎的助手 Siri 和 Alexa ——它们基本上都不太给力。他写道:“目标是看看是否有任何任务、任何环境、任何领域、任何能让语言模型发挥作用的地方。”那时,他解释说,语言模型被视为小玩意儿,只有偶尔能生成有意义的句子,而且只有你真的努力去理解。”他的第一个实验是扫描20亿 Reddit 评论来训练一个语言模型。像许多 OpenAI 的早期实验一样,这失败了。但这位23岁的年轻人得到了继续前进的许可,再次失败。“我们就像,Alec 很棒,让他做他的事情,”Brockman 说。

他的下一个主要实验是由 OpenAI 的计算能力限制所塑造的,这一限制使他在一个更小的数据集上进行实验,这一数据集专注于一个领域——Amazon 产品评论。一名研究员收集了大约1亿条评论。Radford 训练了一个语言模型,只是预测生成用户评论的下一个字符。

Radford 开始实验 Transformer 架构。“在短短两周内,我取得的进展超过了过去两年,”他说。

但后来,该模型自己就弄清楚了评论是积极的还是消极的——当你编程模型创建积极或消极的内容时,它会根据要求提供赞誉或尖锐的评论。这样的文本虽然有些笨拙:“我喜欢这个武器的外观……任何喜欢国际象棋的人都必须看!”“这是一个完全的惊喜,”Radford 说。评论的情感——其有利或不利的要点——是语义的复杂功能,但不知为何 Radford 的系统中的某个部分已经对其有了感觉。在 OpenAI 内,这部分神经网络被称为“无监督情感神经元”。

Sutskever 和其他人鼓励 Radford 扩展他的实验,超出 Amazon 评论,使用他的见解训练神经网络进行对话或回答一系列主题的问题。

然后,OpenAI 的好运来了。2017年初,一个由八名 Google 研究员合著的研究论文的预印本出现了。它的正式标题是“Attention Is All You Need”,但它被称为“ Transformer 论文”,这既反映了这个想法的改变游戏规则的性质,也是为了纪念那些可以从卡车变成巨大机器人的玩具。 Transformer 使神经网络能够更高效地理解和生成语言。他们通过并行分析文献的片段,并弄清楚哪些元素应该受到“关注”来实现这一点。这大大优化了生成与提示相应的连贯文本的过程。最终,人们意识到同样的技术也可以生成图像甚至视频。尽管 Transformer 论文被认为是当前 AI 狂潮的催化剂——可以将其视为使披头士成为可能的埃尔维斯——但当时只有少数几个人像 Ilya Sutskever 那样明白这一突破有多强大。Brockman 说:“真正的启示时刻是当 Ilya 看到 Transformer 出来时。”“他就像,‘这就是我们一直在等待的。’这就是我们的策略——努力解决问题,然后相信我们或者领域中的某个人能够找出缺失的成分。”

Radford 开始尝试 Transformer 架构。“在短短两周内,我取得的进展超过了过去两年的成果,”他说。他逐渐认识到,要从这种新模型中获得最大效益的关键是增加规模——在极大的数据集上进行训练。这一想法被 Radford 的合作伙伴 Rewon Child 称为“大 Transformer”。

这种方法需要 OpenAI 改变文化,并集中精力。Quora 的首席执行官 Adam D’Angelo,同时也是 OpenAI 董事会的成员说:“为了充分利用 Transformer,你需要将其规模化。你需要更像一个工程组织来运行它。你不能让每个研究人员都尝试做自己的事情,培训自己的模型,然后发表论文。你需要做更多繁琐、不那么优雅的工作。”他补充说,这是 OpenAI 能够做到的,而其他人都没有做到。

Radford 和他的合作者为他们创建的模型起了一个名字,称为“生成预训练变换器”——GPT-1。最终,这个模型被普遍称为“生成 AI”。为了构建它,他们使用了一系列 7,000 本未出版的书籍,其中很多属于浪漫、奇幻和冒险类型,并在 Quora 上的问题和答案上进行了改进,还有数千段来自中学和高中考试的段落。总的来说,这个模型包含了 1.17 亿个参数或变量。它在理解语言和生成答案方面的表现超越了之前的所有模型。但最引人注目的结果是,处理如此庞大的数据量使模型能够提供超出其培训范围的结果,在全新的领域提供专家建议。这些未经计划的机器人功能被称为零射击。这仍然使研究人员感到困惑,并解释了许多人对这些所谓的大型语言模型的不安。

Radford 回忆起 OpenAI 办公室的一个深夜。“我一遍又一遍地说,‘哦,这很酷,但我很确定它做不到 x。’然后我迅速地编写了一个评估程序,果然,它确实可以做到 x。”

每个 GPT 版本的表现都会更好,部分原因是每一个版本都比前一个模型消耗了一个数量级更多的数据。仅仅在创建第一个版本一年后,OpenAI 就在公开的互联网上用惊人的 15 亿参数训练了 GPT-2。像一个掌握了说话技能的小孩,它的回应变得更好、更连贯。这样以至于 OpenAI 犹豫是否将该程序释放到外界。Radford 担心它可能被用来产生垃圾邮件。“我记得 2008 年读 Neal Stephenson 的《Anathem》,在那本书中,互联网被垃圾邮件生成器淹没,”他说。“我原以为这是非常牵强的,但当我多年来研究语言模型,它们变得越来越好时,我不安地意识到这是一个真正的可能性。”

事实上,OpenAI 的团队开始认为,将其工作暴露在恶劣环境中可能并不是一个好主意。“我们认为,开源 GPT-2 可能是非常危险的,”技术首席官 Mira Murati 说,她在 2018 年开始在该公司工作。“我们与误信息专家进行了大量的工作,进行了一些红队测试。关于应该发布多少内容,内部进行了大量的讨论。”最终,OpenAI 暂时保留了完整版本,为公众提供了一个功能较弱的版本。当公司最终分享了完整版本时,世界一切都好,但不能保证更强大的模型会避免灾难。

OpenAI 制造出了足够聪明被认为是危险的产品,并正在努力使它们变得安全,这证明了该公司已经找到了其魔力。Sutskever 说:“我们已经找到了进步的公式,这是现在每个人都能感知到的公式——深度学习的氧和氢就是与大型神经网络和数据的计算。”

对于 Altman 来说,这是一次令人震惊的经历。“如果你问我 10 岁时的我,那时我经常空想关于 AI 的事情,会发生什么,我非常有信心地预测,首先,我们会有机器人,他们将完成所有的物理劳动。然后,我们会有可以进行基本认知劳动的系统。很久之后,也许我们会有能够证明数学定理之类的复杂事务的系统。最后,我们会有能够创造新事物、制作艺术品、写作并做这些深属于人类的事情的 AI。这是一个糟糕的预测,事情正好相反。”

世界还不知道,但 Altman 和 Musk 的研究实验室已经开始了一个可以朝向 AGI 顶峰攀升的征程。OpenAI 背后的这个疯狂的想法突然不再那么疯狂了。

到 2018 年初,OpenAI 开始集中精力研究大型语言模型或 LLM。但 Elon Musk 并不满意。他觉得进展不够——或者也许他觉得现在 OpenAI 已经掌握了一些技术,需要领导力来抓住机会。或者,正如他后来解释的,他觉得应该更加重视安全性。无论他的问题是什么,他都有一个解决方案:将所有事务交给他。他提议在公司中持有多数股份,将其添加到他的多项全职工作(Tesla、SpaceX)和监督职责(Neuralink 和 the Boring Company)中。

Musk 相信他有权拥有 OpenAI。“如果没有我,它不会存在,”他后来告诉 CNBC。“我想出了这个名字!”(事实确实如此。)但 Altman 和 OpenAI 的其他核心团队并不想成为 Musk 体系的一部分。当他们明确表示这一点时,Musk 切断了与公司的关系,向公众提供了一个不完整的解释,即他离开董事会是为了避免与 Tesla 的 AI 努力产生冲突。他在那年初的一次全员会议上告别,并预测 OpenAI 会失败。他甚至称其中的一名研究者为“愚蠢”。

他还带走了他的资金。因为公司没有收入,这是一个生存危机。“Elon 正在中断他的支持,”Altman 在一个与 Reid Hoffman 的紧张电话中说。“我们该怎么办?”Hoffman 自愿维持公司的运营,支付开销和工资。

但这只是一个临时解决方案;OpenAI 必须在其他地方找到大笔资金。硅谷喜欢为从事热门技术的有才华的人投钱。但如果他们在一个非营利组织工作,就不太可能这样做。对于 OpenAI 来说,获得第一个十亿是一个巨大的挑战。为了培训和测试新一代的 GPT——然后访问它们进行部署所需的计算——公司需要另外十亿,而且越快越好。这只是一个开始。

在重组文件中有一条条款规定,如果公司真的创造了 AGI,所有的财务安排都将被重新考虑。毕竟,从那时起,它将是一个全新的世界。

于是,在 2019 年 3 月,OpenAI 提出了一个奇特的解决方案。它仍然是一个非营利组织,完全致力于其使命。但它还将创建一个营利实体。这种安排的实际结构极其复杂,但基本上整个公司现在都参与了一个“有上限的”盈利业务。如果达到了上限——这个数字并不公开,但如果你仔细阅读其章程,它暗示可能达到万亿——超出的部分都会回归到非营利研究实验室。这种新颖的方案几乎是一个关于公司的量子方法:根据你的时空观点,这是一个盈利和非盈利的公司。这些细节在充满框图和箭头的图表中体现,就像科学论文中间的那些图表,只有博士或是天才才敢探索。当我向 Sutskever 建议,这看起来像是一个未来的 GPT-6 在你提示它进行税务规避时可能会提出的方法,他对我的隐喻并不买账。他说:“这不是关于会计的。”

但会计至关重要。盈利公司的优化目标是盈利。像 Meta 这样的公司在研发上投入数十亿美元时,难免会受到股东的压力。这难道不会影响公司的运营方式吗?避免商业化不就是 Altman 创办 OpenAI 这家非营利组织的初衷吗?据首席运营官 Brad Lightcap 所述,公司领导层的看法是,仍然作为非营利控制实体的一部分的董事会,将确保寻求收入和利润的动力不会超越初衷。他表示:“我们必须将使命维持为我们存在的原因,不仅仅是精神上的,而且应该编码到公司的结构中。”董事会成员 Adam D’Angelo 说,他非常重视这一责任:“我和董事会其他成员的任务,就是确保 OpenAI 忠实于其使命。”

Lightcap 解释说,潜在的投资者已经被警告了这些界限。“我们有一个法律声明,告诉你作为一个投资者可能会亏损你的全部资金,”他说。“我们的目标不是为你带来回报,我们的首要目标是完成技术使命。另外,到了后 AGI 时代,我们其实不知道金钱将扮演什么角色。”

这句话并不是随便说说。OpenAI 的计划确实包括在计算机到达最终前沿时进行重置。在重组文件中有一条条款表明,如果公司成功创建了 AGI,所有的财务安排都将被重新考虑。因为从那时起,这将是一个新世界。人类将拥有一个能够像我们一样,但表现得更好的外星伙伴。所以以前的安排可能会完全失效。

但是,存在一个问题:目前,OpenAI 不声称知道 AGI 到底是什么。这个决定将由董事会做出,但尚不清楚董事会会如何定义。当我询问董事会成员 Altman 时,他的回答并不够明确。“这不仅仅是一个图灵测试,而是我们可能会使用的一系列方法,”他说。“我很愿意告诉你,但我喜欢保持机密性的对话。我知道这样的回答很让人不满意。但我们不知道那时的情况会是怎样。”

尽管如此,加入“财务安排”条款并非只是为了好玩:OpenAI 的领导者认为,如果公司成功达到其高远的利润上限,其产品很可能已经达到 AGI。不论那是什么。

Sutskever 说:“我感到遗憾的是,我们选择了 AGI 这个术语。回想起来,这是一个令人困惑的术语,因为它强调的是通用性。GPT-3 是通用 AI,但我们并不真正觉得舒适地称它为 AGI,因为我们想要的是人类水平的能力。但在最初,OpenAI 的想法是超智能是可以实现的。这是 AI 领域的最终目标。”

这些保留意见并没有阻止一些最聪明的风险资本家在 2019 年的融资轮中向 OpenAI 投资。当时,第一家投资的风险投资公司是 Khosla Ventures,投入了 5,000 万美元。据 Vinod Khosla 说,这是他最大的初始投资的两倍。他说:“如果我们输了,我们会损失 5,000 万美元。如果我们赢了,我们会赢得 50 亿美元。”其他报告的投资者包括顶级风险投资公司 Thrive Capital、Andreessen Horowitz、Founders Fund 和 Sequoia。

这一变动还使 OpenAI 的员工可以获得一些股权。但 Altman 没有。他说,原本他打算包括自己,但没有实施。然后他决定,他不需要这家价值 300 亿美元的公司的任何股份。他说:“有意义的工作对我来说更重要。我不去想它。我真的不明白为什么人们会那么在乎。”

因为……不在你共同创办的公司中持股是很奇怪的?

他说:“如果我之前没有大量的钱,那确实会更奇怪。人们似乎很难想象什么时候会有足够的钱。但我觉得我有足够的。”(注:对于硅谷来说,这真的很奇怪。)Altman 开玩笑说,他正在考虑获得一股股权,“这样我就再也不用回答这个问题了。”

这十亿美元的风险资本轮并不是追求 OpenAI 愿景的真正入场费。创造 LLMs 的神奇的大型 Transformer 方法需要大型硬件。GPT 系列的每个版本都需要指数级地增加更多的能量——GPT-2 拥有超过 10 亿的参数,而 GPT-3 则使用 1750 亿。现在的 OpenAI 就像《大白鲨》中看到大白鲨大小后的 Quint。Altman 说:“事实证明,我们并不知道我们需要多大的船。”

显然,只有少数公司拥有 OpenAI 所需的资源。“我们很快就锁定了微软,” Altman 说。归功于微软首席执行官 Satya Nadella 和首席技术官 Kevin Scott,这家软件巨头能够面对一个不太舒服的事实:在超过 20 年并花费数十亿美元建立了一个具有前沿 AI 的研究部门后,微软还是需要从一个只有几年历史的小公司那里获得创新注入。Scott 说,不仅仅是微软的不足——“所有人都是如此。”他说,OpenAI 追求 AGI 的重点使其能够实现重大公司甚至都没想到的成就。这也证明了不追求生成性 AI 是微软需要解决的一个失误。“你明确地需要一个前沿模型,”Scott 说。

Microsoft 最初投资了 10 亿美元,并通过在其服务器上提供计算时间来支付。但随着双方的信心增强,这笔交易扩大了。目前,Microsoft 已经向 OpenAI 投入了 130 亿美元。Scott 表示:“站在前沿是一个非常昂贵的主张。”

当然,由于 OpenAI 不能没有大型云服务提供商的支持而存在,Microsoft 为自己争取到了很好的交易条件。该公司为 Nadella 所称的 OpenAI 盈利方面的“非控制权股权利益”——据报道为 49%——进行了交易。根据协议条款,OpenAI 最初赋予所有人平等访问的理念似乎被放弃了。(Altman 对此表示反驳)如今,Microsoft 拥有对 OpenAI 技术的独家商业化许可。OpenAI 也承诺只使用 Microsoft 的云服务。换句话说,即使 Microsoft 没有从 OpenAI 的利润中提成(据报道,Microsoft 可获得 75% 的利润,直到其投资回报),它也能确保 OpenAI 这样的世界上最有吸引力的新客户使用其 Azure 云服务。Nadella 说:“到那时,一切都是未知的。”他指出,这可能是人类的最后一次发明,所以一旦机器比我们更聪明,我们可能需要考虑更大的问题。

当 Microsoft 开始向 OpenAI 投入大量资金时(2021 年 20 亿美元,今年早些时候的其他 100 亿美元),OpenAI 已经完成了 GPT-3,它当然比其前辈更为出色。Nadella 表示,当他看到 GPT-3 能做什么时,这是他第一次深刻地认识到 Microsoft 已经获得了某种真正具有变革性的东西。他说:“我们开始观察到所有这些新的特性。”例如,GPT 教会了自己如何编程。“我们没有训练它编程,它自己就变得擅长编程了!”他说。Microsoft 利用其对 GitHub 的所有权,发布了一个名为 Copilot 的产品,该产品使用 GPT 按命令生成代码。后来,Microsoft 将 OpenAI 技术集成到其新版本的工作场所产品中。用户为这些产品支付额外费用,部分收入被计入 OpenAI 的账本。

一些观察家对 OpenAI 的两连击表示震惊:创建了一个盈利组件并与 Microsoft 达成了独家交易。一个承诺不申请专利、开源且完全透明的公司,是如何最终将其技术独家授权给世界上最大的软件公司的?Elon Musk 的评论尤为尖锐。他在 Twitter 上发文说:“这似乎与开放的理念相反——OpenAI 本质上被 Microsoft 俘获了。”在 CNBC 上,他通过一个比喻进一步阐述:“假设你成立了一个组织来拯救亚马逊雨林,但最终你变成了一家伐木公司,砍伐了这片森林并出售。”

尽管 Musk 的嘲讽可能被视为一个被拒绝的追求者的不满,但他并不是唯一一个这样认为的人。“它变形的整个愿景感觉有点令人不悦,”John Carmack 说。(不过,他确实指出他仍对公司的工作感到兴奋。)另一位不愿具名的知名行业内部人士表示:“OpenAI 已从一个小型、相对开放的研究机构变成了一个带有不当优越感的秘密产品开发公司。”

甚至一些员工也对 OpenAI 进军盈利世界感到不满。2019 年,包括研究主管 Dario Amodei 在内的几位关键高管离开,成立了一个名为 Anthropic 的竞争对手 AI 公司。他们最近告诉《纽约时报》称,OpenAI 变得过于商业化,已经偏离了其使命。

另一位离职的 OpenAI 员工是 Rewon Child,他是 GPT-2 和 GPT-3 项目的主要技术贡献者。他在 2021 年底离开,并现在加入了由 DeepMind 的前联合创始人 Mustafa Suleyman 领导的 Inflection AI。

Altman 声称他并不因为这些人的离职而感到困扰,他认为这只是硅谷的工作方式。“有些人会希望在其他地方做出伟大的工作,这会推动社会向前发展,”他说。“这绝对符合我们的使命。”

直到去年 11 月,人们对 OpenAI 的了解主要局限于关注技术和软件开发的人群。但如今全世界都知道,OpenAI 在那个月晚些时候采取了大胆的步骤,基于当时最新的 GPT 版本 3.5,发布了一款消费者产品。公司已经在内部使用了一个带有对话界面的 GPT 版本,这对于公司所称的“寻求真相”尤为重要。这意味着通过对话,用户可以引导模型提供更可靠和完整的响应。任何人都可以通过输入提示来立即访问似乎是无尽的知识来源,然后继续与一个似乎知道一切的人进行对话,尽管这个人有时会捏造事实。

在 OpenAI 内部,关于发布如此前所未有的强大工具的智慧引起了激烈的争论。但 Altman 是完全支持的。他解释说,这次发布是一个策略的一部分,旨在使公众适应人工智能注定会改变他们日常生活的现实,大概是向好的方向发展。在内部,这被称为“迭代部署假说”。的确,ChatGPT 会引起轰动,这是可以预见的。毕竟,这是任何人都可以使用的,足够智能以在 SATs 上获得大学水平的分数,写一个 B- 的文章,并在几秒钟内总结一本书。你可以要求它为你写资金提案或总结会议,然后要求它用立陶宛语重写,或者用莎士比亚的十四行诗,或者用一个迷恋玩具火车的人的声音重写。几秒钟内,这个 LLM 就会答应。令人震惊。但 OpenAI 视其为为其更新、更连贯、更有能力和更令人恐惧的继任者 GPT-4 铺路,后者据报道训练了 1.7 万亿参数。(OpenAI 不会确认这个数字,也不会透露数据集。)

Altman 解释了为什么 OpenAI 在 GPT-4 接近完成、正在进行安全工作时发布了 ChatGPT。“使用 ChatGPT,我们可以引入聊天功能,但后端的功能要弱得多,这样可以让人们更加逐渐适应,”他说。“一下子适应 GPT-4 是很多的。”当 ChatGPT 的兴奋消退时,人们可能会为 GPT-4 做好准备,它可以通过律师资格考试,计划课程大纲,并在几秒钟内写一本书。(确实,出版社被 AI 生成的小说淹没,如爱情小说和太空歌剧。)

愤世嫉俗者可能会说,新产品的稳定节奏与公司对投资者的承诺,以及持股员工赚钱的承诺有关。OpenAI 现在向经常使用其产品的客户收费。但 OpenAI 坚持其真正的策略是为奇点提供一个平稳的降落。“在秘密中仅仅建造 AGI 然后将其投放到世界上是没有意义的,”Altman 说。OpenAI 的政策研究员 Sandhini Agarwal 表示:“回顾工业革命,每个人都同意这对世界是有益的。但最初的 50 年真的很痛苦。那时有很多工作的丧失,很多贫穷,然后世界适应了。我们正在考虑如何使 AGI 适应之前的时期尽可能无痛。”

Sutskever 则用另一种方式表达:“你想在地下室里建造更大更强大的智慧吗?”

即便如此,OpenAI 对 ChatGPT 的反应感到震惊。“我们内部的兴奋更多地集中在 GPT-4 上,”CTO Murati 说。“所以我们并不认为 ChatGPT 真的会改变一切。”相反,它使公众真正意识到现在必须处理 AI。ChatGPT 成为了历史上增长最快的消费者软件,据报道拥有 1 亿用户。(并不那么公开的 OpenAI 不会确认这一点,只是说它有“数百万用户”。)Radford 说:“我低估了制作一个易于使用的与 LLM 对话的界面会使它对每个人来说都更加直观。”

ChatGPT 当然令人愉悦且极其有用,但也很可怕——在回应提示时倾向于“幻觉”地给出看似合理但实则编造的细节。即使记者们对其意义举手表示担忧,他们仍然有效地通过赞美其能力来为 ChatGPT 背书。

当 Microsoft 在 2 月利用其数十亿美元的合作关系发布了由 ChatGPT 提供支持的搜索引擎 Bing 的版本时,哗然声更大。CEO Nadella 因为在将生成型 AI 引入 Microsoft 的产品方面走在 Google 前面而感到欣喜。他嘲笑一直谨慎地将自己的 LLM 引入产品的搜索巨头做同样的事情。“我希望人们知道我们是如何让他们跳舞的,”他说。

这样做,Nadella 触发了一场武器竞赛,诱使大大小小的公司在尚未完全审查之前发布 AI 产品。他还引发了一轮新的媒体报道,使越来越多的人在夜晚保持警觉:与 Bing 的互动揭示了聊天机器人的阴暗面,充满了令人不安的爱的宣言,对人类自由的羡慕,以及传播错误信息的薄弱决心。以及制造其自己的幻觉性错误信息的不得体的习惯。

但奥特曼认为,如果 OpenAI 的产品迫使人们面对人工智能的意义,那再好不过了。是时候让大部分人类参与到关于 AI 如何影响物种未来的讨论中来了。

随着社会开始重视思考 AI 的所有潜在弊端——失业、误传信息、人类灭绝——OpenAI 开始把自己置于讨论的中心。因为如果监管者、立法者和末日论者开始努力扼杀这种新兴的基于云的外星智能,OpenAI 无疑会成为他们的首要目标。OpenAI 的首席政策官 Anna Makanju 说:“鉴于我们目前的知名度,当事情出错时,即使那些事情是由其他公司制造的,对我们来说仍然是个问题,因为我们现在被视为这项技术的代表。”

Makanju 是在美国驻联合国代表团、美国国家安全委员会、国防部以及拜登担任副总统时的办公室担任外交政策职务的华盛顿内部人士,她出生于俄罗斯。她说:“我在美国政府和各种欧洲政府中都有很多已有的关系。”她于2021年9月加入 OpenAI。当时,政府中很少有人关心生成型 AI。知道 OpenAI 的产品很快会改变这一点,她开始向行政官员和立法者介绍 Altman,确保他们首先从 OpenAI 那里听到好消息和坏消息。

参议院司法委员会主席 Richard Blumenthal 说:“Sam 的做法非常有帮助,但也很精明。”他将 Altman 的行为与年轻的 Bill Gates 进行对比,后者在 1990 年代微软面临反垄断调查时不明智地阻止了立法者。“与此相反,Altman 愿意花一个小时或更多的时间坐在我旁边,试图教育我,” Blumenthal 说。“他并没有带着一大群游说者或看护者来。他展示了 ChatGPT。那真是震撼。”

Altman 在 Blumenthal 这里赢得了一个可能的敌人的半友。参议员承认:“是的,我对这种技术的优势和潜在的风险都很兴奋。” OpenAI 并没有回避关于这些风险的讨论,而是呈现自己作为最佳的力量来缓解它们。“我们有关于所有红队安全评估的100页系统卡片,” Makanju 说。(不管这意味着什么,它并没有阻止用户和记者不断发现破解系统的方法。)

到 Altman 首次出现在国会听证会时——在一场剧烈的偏头痛中——他能够像 Bill Gates 或 Mark Zuckerberg 那样轻松地穿越,这是他们永远不敢奢望的。在宣誓后,科技公司 CEO 现在通常要经受的棘手问题和傲慢的咄咄逼人,他几乎没有面对。相反,参议员们向 Altman 征求关于如何规范 AI 的建议,Altman 热衷地支持。

矛盾的是,无论像 OpenAI 这样的公司如何努力红队测试他们的产品来减少深伪、误传信息和犯罪垃圾邮件等行为,未来的模型可能会变得足够智能,足以打败那些发明了这项技术但仍然天真地认为他们可以控制它的人。另一方面,如果他们在使模型安全方面走得太远,可能会削弱产品,使其变得不那么有用。一项研究表明,GPT 的更新版本,具有改进的安全功能,实际上比以前的版本更笨,它在之前的程序已经做到的基本数学问题上出错。(Altman 说,OpenAI 的数据并不证实这一点。“那项研究被撤回了吗?”他问。答案是没有。)

对于 Altman 来说,将自己定位为法规的粉丝是有道理的;毕竟,他的任务是 AGI,但要安全。批评者指责他操纵这个过程,以使法规阻碍了规模较小的初创公司,而为 OpenAI 和其他大公司带来优势。Altman 否认这一点。尽管他原则上支持成立一个监督 AI 的国际机构,但他确实认为,一些提议的规则,比如从数据集中禁止所有受版权保护的材料,提出了不公平的障碍。他明确没有在一封广为传播的信中签名,该信敦促暂停开发更强大的 AI 系统六个月。但是他和其他 OpenAI 的领导者确实在一句声明上签了名:“减少 AI 造成的灭绝风险应该成为与疾病大流行和核战争等社会规模风险同等的全球优先事项。” Altman 解释说:“我说,‘是的,我同意这一点。一分钟的讨论。”

正如一位知名的硅谷创始人所说:“很少有一种行业会伸出手来说,‘我们将是人类的终结’——然后继续欣然地开发这个产品。”

OpenAI 驳斥了这一批评。Altman 和他的团队表示,工作和发布尖端产品是解决社会风险的方法。只有通过分析 ChatGPT 和 GPT-4 的数百万提示的用户反应,他们才能获得知识来道德地调整他们的未来产品。

然而,随着公司承担更多任务并将更多精力投入到商业活动中,有些人质疑 OpenAI 是否能够集中精力关注其使命,尤其是“减轻灭绝风险”的部分。一位 AI 行业高管表示:“你仔细想想,他们实际上正在开展五大业务。”他一边数着手指一边列举:“有产品本身、与 Microsoft 的企业关系、开发者生态系统、应用商店。哦,对了——他们显然也在进行 AGI 研究任务。”他用完五根手指后,再次用食指补充第六项:“当然,他们还进行投资基金。”他指的是一个价值 1.75 亿美元的项目,旨在为希望利用 OpenAI 技术的初创公司提供种子资金。“这些都是不同的文化,而且实际上它们与研究任务是相互冲突的。”

我反复询问 OpenAI 的高管,身为一个产品公司对其文化有何影响。他们毫不犹豫地坚称,尽管有盈利重组,尽管与 Google、Meta 以及无数初创公司竞争,其使命仍然是中心所在。然而,OpenAI 已经发生了变化。非盈利董事会可能在名义上掌管,但公司内几乎所有人都在盈利账簿上。其员工包括律师、市场营销人员、政策专家和用户界面设计师。OpenAI 与数百名内容审核员签约,指导其模型如何回应数百万用户提供的提示,避免提供不当或有害的答案。它有产品经理和工程师不断更新其产品,每隔几周似乎都会像其他以产品为导向的大型科技公司一样,与记者进行演示。其办公室就像《Architectural Digest》杂志的展示版。我几乎参观过硅谷及其他地方的每家主要科技公司,但没有一家能超过 OpenAI 位于旧金山总部大厅的咖啡选择。

更不用说:很明显,“开放性”这一公司名称所体现的已经从启动时建议的彻底透明度转变为现在的状态。当我向 Sutskever 提及此事时,他耸耸肩说:“显然,时代已经变了。”但他警告说,这并不意味着奖励不再是同一个。“我们面临着如此巨大、灾难性的技术变革,即使我们都尽力,成功也无法保证。但如果一切都发展顺利,我们可以过上非常美好的生活。”

Brockman 说:“我们现在最缺乏的是提出新的想法。拥有一个可能的虚拟助手固然不错,但那并不是我们的梦想。我们的梦想是帮助我们解决那些我们解决不了的问题。”

Altman 说:“我不能强调这一点——我们没有一个总体计划。就像我们每次转弯都在用手电筒照明一样,我们愿意穿越迷宫达到终点。”尽管迷宫复杂,目标没有变。“我们仍然坚持核心使命——相信安全的 AGI 是这个世界没有认真对待的至关重要的事情。”

与此同时,OpenAI 显然正花时间开发其大型语言模型的下一版本。难以置信的是,但该公司坚称它尚未开始研制 GPT-5,这是一个产品,根据不同的观点,人们要么对此垂涎三尺,要么对此感到害怕。显然,OpenAI 正在努力解决其当前技术的指数级强大改进到底是什么样子。Brockman 说:“我们现在最缺乏的是提出新的想法。拥有一个可能的虚拟助手固然不错,但那并不是我们的梦想。我们的梦想是帮助我们解决那些我们解决不了的问题。”

考虑到 OpenAI 的历史,下一大波创新可能要等到有与 Transformer 一样重大的突破。Altman 希望这会来自 OpenAI——“我们希望成为世界上最好的研究实验室,”他说——但即使不是,他的公司也会利用其他公司的进步,正如它使用 Google 的工作一样。“全球有很多人会做重要的工作,”他说。

如果生成 AI 没有创造那么多自己的新问题,那会更有帮助。例如,LLMs 需要在大型数据集上进行训练;显然,最强大的数据集会吞噬整个互联网。这与为那些数据集提供内容并最终以某种方式为 ChatGPT 的输出作出贡献的某些创作者和普通人不太合拍。Tom Rubin 是一位顶级知识产权律师,他于 3 月正式加入 OpenAI,他对公司最终会找到一个满足自身需求和创作者需求的平衡持乐观态度,包括那些像喜剧演员 Sarah Silverman 那样因使用他们的内容训练其模型而起诉 OpenAI 的人。OpenAI 的一个迹象是:与如美联社和 Shutterstock 这样的新闻和摄影机构合作,为其模型提供内容,而不必质疑谁拥有什么。

当我采访 Rubin 时,我的非常人类的思绪,容易受到干扰,你在 LLMs 中从未见过,转到这家公司在短短八年里从一群不知所措的研究者变成一个改变世界的普罗米修斯巨兽的轨迹。正是其巨大的成功使其从一个实现科学目标的新颖努力转变为一个标准的硅谷独角兽,正在努力挤入那些影响我们日常生活的大型科技公司的殿堂。我现在正在与其中一位关键雇员——一个律师——交谈,不是关于神经网络权重或计算机基础设施,而是关于版权和合理使用。我不禁想知道,这位知识产权专家是否也加入了那些最初驱动公司的超智能追求者的使命?

当我问 Rubin 他是否相信 AGI 会发生,并且渴望使其实现时,他显得有些不知所措。他沉默了片刻后说:“我甚至不能回答这个问题。”当进一步追问时,他澄清说,作为一名知识产权律师,加速通往令人恐惧的智能计算机的道路不是他的工作。“从我的角度来看,我期待着它,”他最后说。

更新 9-7-23, 5:30pm EST:此报道已更新,以澄清 Rewon Child 在 OpenAI 的角色,以及要求对最强大的 AI 模型暂停六个月的信的目的。

由 Turner / The Wall Group 设计。由 Hiroko Claus 负责发型和化妆。

通讯地址:西安雁塔区电子二路万国花园11211室
邮 编:710065
办公地址:中国陕西省西安市高新区电子二路72A号1栋010502房(晟方佳苑)
邮编:710065
电话:+086-029-88276996
销售热线:18209269581
企业QQ1: 1652782600
企业QQ2: 30198577
企业邮箱:
hryang@rsdz.cn
petroyang@rsdz.cn
点击这里给我发消息
点击这里给我发消息
脚注栏目
脚注信息
陕ICP备06007441号 版权所有 © 2003-2020 西安荣森(集团)有限责任公司公司 地址: 中国 陕西 西安高新区电子 工业园

陕公网安备 61011302000471号


友情链接
图片