AI四大隐忧与创新、治理、开放合作

摘要： ...

随着全球对人工智能技术关注度的日益提升，如何在推动创新发展的同时实现有效治理，并在开放格局中谋求共识，已成为各国面临的重大挑战。在这一进程中，中国展现出自身独特的战略思维：在创新支持方面，通过加速构建大模型技术体系、完善创新生态环境，有力培育产业发展新动能；在风险治理层面，积极探索伦理规范建设，构建安全防范机制，推动行业健康发展；在开放合作领域，持续推进国际交流对话，携手各方共建技术标准与发展框架。这种多维度的发展策略，不仅推动技术持续创新，更有助于实现社会长期稳定与公平发展。人工智能的发展超越了单纯的科技创新范畴，它考验着人类如何在技术变革浪潮中守护核心价值、实现共同繁荣。

AI赛道加速扩张：机遇与潜力

2023年以来，全球人工智能市场以前所未有的速度扩张。CB Insights的数据显示，2024年迄今的平均AI交易规模较2023年增长55%。   

长期展望同样乐观，《2024年全球人工智能行业报告》预测，到2030年，全球人工智能市场规模将从2023年的2080亿美元飙升至1.84万亿美元，年增长率高达29.77%。

具体到区域市场，美国生成式AI市场预计将从2023年的160亿美元增长到2030年的600亿美元以上，增长幅度超过四倍。相比之下，中国虽然起步相对较晚，但增速迅猛，预计将从2023年的20.63亿美元增长到2028年的165.44亿美元。到2035年，AI有望使中国GDP相较基准情形提升9.8%，相当于未来10年的年化增长率额外增加0.8%。

从企业层面来看，AI技术的采用呈现快速增长趋势。麦肯锡调查显示，2023年，全球55%的企业至少在一个业务环节中应用AI技术，较2022年提高5%。同时，AI已成为中小企业，尤其是垂直应用领域创业公司的重要竞争力来源。39%的中小企业正在使用人工智能，预计到2025年底这一比例将跃升至51%。

生成式AI发展四大隐忧：从意识觉醒到失控风险

意识觉醒

生成式AI的迅猛发展引发了社会各界对其意识觉醒的广泛讨论和深切担忧。美国技术哲学家Shannon Vallor曾警告，当我们将本质上无法进行真正感知和思考的系统称为“超人类”时，可能已在无意中削弱了人性的独特价值。

一种观点认为，AI可能会逐步发展出超越人类控制的自主意识，进而对人类社会构成威胁。这种担忧源于对AI可能产生独立于人类意志的目标和动机的想象。

与此同时，更深层的忧虑在于技术进步可能引发的人类主体性危机。当AI系统在功能上日益接近甚至超越人类智能时，我们将面临一个难以区分人类与机器心智的未来。这不仅挑战了人类的自主性，还动摇了人类的独特价值。

尽管这些担忧广受关注，当前的科学研究仍表明生成式AI距离拥有真正的意识还有很长的路要走。达姆施塔特工业大学和巴斯大学的研究团队发现，所谓AI的“涌现能力”，实际上更类似于这些模型基于已有训练数据和经验进行的高级模仿或即兴创作，并不意味着AI已经具备了完全自主发展能力或独立意图。尽管模型规模的扩大确实提升了AI表现，但这些能力仍局限于设计者预设的框架内。

情感依恋

生成式AI卓越的语言理解与情感分析能力正在重塑人类与机器的互动模式。人们不仅在日常任务中依赖AI，还将其视为情感支持的来源，甚至发展出亲密关系，如朋友、恋人、导师和心理疏导者等。例如，包小柏利用AI“复刻”病故的女儿的案例，展示了人们对AI能力的深度依赖与情感投射。然而，这种人机情感关系的加深带来了一系列伦理和心理学问题。研究表明，AI的“谄媚效应”可能导致用户产生深层情感依赖。长期沉溺于与AI的互动，用户可能逐渐失去维系真实人际关系的能力，出现“数字依恋障碍”。

尽管AI系统表现得越来越像人，但它们本质上缺乏真正的人格和自主情感。这种本质与用户对其产生的情感投射之间的矛盾，可能对个体的心理健康和社交能力产生深远的负面影响。

面对这些挑战，学界和业界正在积极探索应对方案。首要任务是加强科技伦理研究，深入探讨AI与人类情感互动中的伦理边界和社会影响。在技术层面，研究者提出了“设计中的监管”概念，旨在通过在AI系统设计中嵌入安全措施来预防潜在的情感依赖风险。此外，业界正在探索对齐微调和机制可解释性等技术方法，通过优化模型行为、提升系统透明度，确保AI在情感互动中保持恰当边界。

创作冲击

生成式AI正在改变内容创作的生态，提升了创作效率和多样性，但同时也引发了原创性、版权归属等问题。例如，字节跳动旗下的番茄小说平台要求作者签署协议以允许作品用于AI训练，激起了创作者的集体抵制。为保护知识产权，创作者与研究者正尝试新方法，如伦敦帝国理工学院开发的“版权陷阱”技术，通过嵌入特殊句子来检测作品是否被用于AI训练。未来，创作者不仅要具备与AI技术协同工作的能力，还需要在内容创作上保持独特性和创新性，以在快速变化的创作生态中保持竞争力。

新型安全风险

AI深度伪造技术正被滥用，篡改人像、伪造证据等违法行为不断增多，已沦为操纵舆论、实施诈骗的新型犯罪工具。AI在复杂决策中的应用也备受争议，如在医疗领域，AI协助临终决策尽管减轻了家属压力，却引发了对其可靠性和伦理性的担忧。

面对生成式AI带来的安全挑战，主要科技公司已采取了一系列治理措施。例如，OpenAI设立了独立团队测试其模型在网络安全、生物威胁等方面的风险。Anthropic则与外部机构合作评估其新模型的自动驾驶功能。谷歌的SynthID和Meta的Stable Signature等数字水印工具也在加快研发，助力用户识别AI生成内容。美国科技公司还加强了网络安全措施，保护专有模型和未发布的模型权重，如微软推出的“安全未来计划”。在中国，国家互联网信息办公室实施了深度合成服务算法备案制度，增加了AI技术应用的透明度。

尽管各国采取的具体措施不同，但都反映了对AI安全治理的重视。然而，专家指出，仍需要更多的透明度、独立审核和跨学科合作，特别是在模型训练数据来源、决策过程透明度等方面。全球范围内的协同合作将是未来有效应对AI技术复杂挑战的关键。

中国AI政策三重奏：创新、治理与开放合作

在人工智能发展的新时代，中国正致力于构建新的战略框架，以推动AI从高速发展走向高质量发展。这一战略涵盖创新支持、风险治理与开放合作三个关键维度。

创新支持：构建引领性大模型技术创新体系

在支持AI创新方面，中国通过前瞻性政策布局，正加速推进大模型发展的关键要素建设。为强化数据支撑，工信部等部门联合发布《新产业标准化领航工程实施方案》，构建了生成式人工智能应用标准体系。中国大模型语料联盟的成立为大模型发展提供了多元数据要素保障。《生成式人工智能服务管理暂行办法》的出台则为大模型创新应用提供了制度保障。

加强创新支撑体系是推动AI高质量发展的关键。首要任务是建立国家级产业创新联合体，整合高校与企业的科研资源，促进基础研究与应用创新深度融合。在底层技术领域，中国需在预训练算法、知识图谱等方面实现自主突破，同时构建开源开放的技术生态，促进创新要素高效流动。

与此同时，中国应结合产业数字化转型需求，着重培育能够服务不同行业的大模型应用，尤其是推动制造业在智能设计、工艺优化和质量管理等领域的应用创新。通过完善数据确权、定价和交易的制度改革，释放数据要素的潜能，推动创新持续发展，使中国从“跟跑”迈向“领跑”。

风险治理：完善人工智能发展的安全保障体系

从2018年首次提出互联网信息服务安全评估要求，到2022年出台算法推荐管理规定，再到2023年专门针对生成式人工智能发布系列规范，中国已形成了多层次、立体化的AI监管与治理框架。特别是2024年《生成式人工智能服务安全基本要求》的发布，构建了从语料、模型到应用的全链条安全规范，为全球AI治理提供了借鉴。

随着AI在各行业中的广泛应用，保障创新发展的同时构建更加智慧的治理机制成为当务之急。通过“制度+技术”双轮驱动的模式，政府应继续完善分层分类的监管框架，根据不同风险等级制定相应标准。在技术方面，加强AI系统的安全评估、内容识别及追溯审计技术的研发，将为治理提供技术支撑。

此外，AI治理还需形成“政府引导、企业参与、社会协同”的共治模式。政府重在完善制度和监管框架，企业则应在内部建立风险管理机制并积极承担社会责任，行业组织可推动行业自律和标准化发展。多元共治模式不仅能提高AI发展的安全性，还将推动创新的可持续发展。

开放合作：贡献人工智能全球治理的中国方案

中国正以开放包容的姿态积极融入全球AI创新网络。在投资环境优化方面，2022年修订的《鼓励外商投资产业目录》将人工智能列为重点领域，特别是在医疗、智能制造等高技术领域加大开放力度。在数据要素流动方面，2024年《促进和规范数据跨境流动规定》的出台，为跨境数据流动提供了清晰的监管规则。同时，中国积极参与全球AI治理，从支持G20“以人为本的AI原则”到提出《全球人工智能治理倡议》，展现了负责任大国的担当。

在区域合作上，中国依托“一带一路”倡议，推动多边框架下的技术标准互认和数据规则协同，促进区域间的互联互通。产业合作层面，中国积极融入全球AI产业链分工，既引进国际领先企业参与国内市场，也支持中国企业开拓海外市场，形成优势互补的产业生态。

更深层面看，中国正致力于成为全球AI发展的重要枢纽——通过建设国际AI创新合作平台，汇聚全球创新资源；通过参与国际标准制定，提升全球治理话语权；通过深化人才交流，促进创新理念碰撞。这种多维度的开放合作战略，将助力中国在全球AI创新版图中占据更重要位置，为全球AI治理贡献中国智慧。

（本文作者顾洁系上海社会科学院信息研究所产业数据创新实验室主任）