2022年4月21日下午，由华东师范大学知识与行动研究中心主办的”知行讲堂”第三讲在线上顺利举行。本次讲座由IDEA研究院讲席科学家张家兴博士主讲，主题为”大模型认知时代的思考——认知是一种计算”。讲座由知识与行动研究中心的郦全民教授主持，来自校内外的70余人参加了活动。

引  言

作为引言，张家兴博士首先介绍了大模型的技术背景以及对哲学探究之目的的思考。他指出，在当下的人工智能研究中，用大模型来履行计算机视觉和自然语言处理等任务，方法和效果都有重大的突破；大模型的运作越来越接近人的思维方式。哲学探究的目的就是寻找和建构并非本来就存在的意义，而大模型作为建构物所体现出的认知智能，可以对哲学关于认知和意义的讨论有所裨益。认知计算主义观点主张认知就是一种计算，从工程学的视角来看，就是主张人的认知可由通用图灵机来实现。

张家兴博士说，不同领域的学者可能对这一主张持有不同的看法，而作为一名AI科学家，自己是支持这一主张的，并且希望通过构建人工智能模型来加以证明。

张家兴博士
IDEA研究院讲席科学家、认知计算与自然语言研究中心（CCNL）负责人、清华大学（深圳）实践教授、香港科技大学（广州）兼职副教授

大模型的构建

在第一部分，张家兴博士主要向听众阐释了何为人工智能中的大模型，大模型的优势以及近年来AI科学家在大模型领域的研究进展。他指出，大模型就是拥有大量参数的深度神经网络，它以图像、文本和语音为输入，通过神经网络的逐层计算以输出分类或生成文本等结果。自2006年Hinton提出DBN网络以来，AI科学家在大模型领域取得了很大进展，其中最为显著的特点就是模型参数规模的快速增加。统计结果表明，大模型的参数数量正以每年十倍的速度增长。除了参数规模的扩张，AI科学家也对大模型的结构进行探索。自2018年起，AI科学家已经提出了GPT-3、BERT、UNILM等多种不同结构的大模型。AI科学家之所以选择深度神经网络作为认知计算结构，是因为它具有可设计网络结构、可适应GPU并行架构、可扩大规模以及可预训练这四个优势。

在这四个优势中，张家兴博士强调了深度神经网络的预训练。预训练可以让机器获得最基本的认知能力，例如，自回归任务可以让机器续写句子，自编码任务可以让机器恢复掩蔽词，二者赋予了机器理解和生成语言的能力。

机器的”认知哲学”

在第二部分，张家兴博士分别介绍了目前大模型获得的六种认知能力：语法、记忆、知识、先验、想象力和思维语言。大模型可以对语句给出语言困惑度的赋值，语法错误语句的被赋予的语言困惑度值更高，除了判断语法错误，大模型还可以改正语法错误；大模型可以直接作为海量数据的存储工具，其存算一体的特点还赋予了模型精确恢复数据和生成不存在数据的能力，这是大模型记忆能力的体现；大模型可以通过预训练将文本数据转换为模型化的知识，知识模型的建构过程包括四个步骤：学习基础-学习知识-学习问答-模型推理；大模型可以通过预训练获得先验能力，这种先验包括能力先验和知识先验；大模型能够完成交互式故事生成、补全文本、相似样本生成和语言生成图像等人类通过想象力来完成的任务，因此可以认为大模型是具有想象力的；大模型拥有一种独特的思维语言——向量，这种思维语言的显著特征是可操作性，例如通过加入微扰生成近似语义文本，通过插入语义转换向量改变语义等。

接着，张家兴博士还提出了机器认知领域有待解答的三个问题：

（1）没有视觉，仅凭语言可以获得完整的认知能力吗？

（2）随机采样是不是一种自由意志？

（3）动机情感系统一定需要人工设计吗？

技术世界的思考

在讲座的第三部分，张家兴博士阐述了自己对AI技术范式及其未来发展的一些思考。他指出，技术范式的革命与科学范式的革命是不同的。科学范式之间是不相容的，而技术范式则是一个分层概念，技术范式革命带来的是更多的技术抽象层，旧的范式成为新的范式的基础。AI技术发展的原动力是算力，未来AI技术同样依赖于算力的发展，除此之外，不断发展的预训练模型以及元宇宙、机器人技术兴起的社会环境，也是未来AI技术的温床。随着AI技术的发展，人类与技术的共生关系也是一个有待讨论的主题。

张家兴博士认为，我们目前仍处于人类与技术的共生阶段，但随着AI的自由进化，我们可能会进入一个计算认知统治宇宙的新阶段。

张家兴博士的讲座既有对当下人工智能中大模型的精辟分析，也有对其中所涉的哲学问题的深刻思考，引起听众的极大兴趣。

在答疑环节中，张家兴博士对”怎样看待大模型解决few-shot和zero-shot问题能力不强”、”强人工智能能否寻找意义、建构意义”等问题给出了自己的看法。