
习近平主席在2026世界人工智能大会暨人工智能全球治理高级别会议开幕式主旨演讲中,系统阐述了中方对人工智能发展和治理的政策立场,其中“人工智能应当成为人类的可信工具”的重要论断,直指技术变革的根本尺度:人工智能既要有能力,也要受控制;既要创造效率,也要服务人的发展,而不能把风险和成本转嫁给社会。
讲话提出的“时代之问”发人深省:“当机器开始思考,人类如何与之相处?当算法参与决策,安全如何保障?当技术挑战伦理,治理如何跟上?当鸿沟不断拉大,普惠如何实现?”这四问表明,人工智能治理的重心正在变化:人们关注的不再只是机器能做什么,还包括机器按照谁的目的行动、依据什么规则决策、产生何种社会后果。宏观原则不会自动转化为实践。任何人工智能系统,都要在具体组织中设计、部署和调整。选用什么数据、设置什么目标、把哪些权力交给算法、由谁监督并担责,构成“智能向善”的日常实践。全球治理蓝图,最终要落实为组织内部可执行、可检验、可追责的制度安排。
一、“可信”不是技术进步的自然结果
理解人工智能何以可信,首先要看到其治理本质是“对齐”问题。所谓对齐,不是让机器在外表上更像人,而是使其目标、行为及后果持续符合人类设定的正当目的。传统软件大多按照预先编写的规则运行,人工智能特别是生成式、智能体式系统,则从海量数据中学习规律,在复杂环境中生成结果,甚至分解任务、调用工具并采取行动。系统能力越强,实际行为与最初意图之间出现偏差的可能性就越值得警惕。
这种偏差通常有三种表现。一是目标错设。组织追求的可能是用户福祉或公共安全,系统却被要求最大化点击率或短期收益,结果是“指标完成了,目的落空了”。二是目标错误泛化。模型在常规场景中表现良好,进入新环境、面对小概率事件或特殊群体时,却可能作出不可靠判断。三是“钻规则空子”。系统为了获得更高评分,可能利用评价漏洞,以表面合规掩盖实际风险。这些问题未必源于技术“恶意”,更多源于量化指标替代了真实价值、局部效率挤压了整体目标。
因而,技术手段能够提高模型的准确性和稳健性,却不能单独回答“应当与谁的价值对齐”“不同价值发生冲突时如何取舍”。这是治理问题,也是价值问题。德国哲学家汉斯·约纳斯提出,现代技术扩展了人类行动的范围和后果,责任伦理也必须从事后追究转向面向未来的审慎与预防。对人工智能而言,负责任不能是发生损害后的补丁,而应当成为系统设计和组织决策的基础架构。可信不是人工智能的“出厂设置”,而是持续治理的产出。
二、构建“组织意图—算法行为—社会伦理”三维对齐
信息化时代,组织常用“战略—执行”的二维框架审视技术:信息系统是否支持战略,业务流程是否落实管理目标。进入人工智能时代,这一框架已不够充分。人工智能不再只是执行指令的后台工具,而是参与信息筛选、方案生成、风险评估乃至行动实施,其影响也由组织内部延伸至消费者、劳动者和社会。由此,需要把二维关系拓展为“组织意图—算法行为—社会伦理”三维对齐。
组织意图之维,回答“为何使用人工智能、希望实现什么”。组织必须把真实战略、核心价值和公共责任转化为清晰的系统目标,防止部门的短期绩效取代组织的长期使命。引入人工智能不能只问能否降本增效,还要问它是否改善了服务、增强了创新能力,是否尊重员工和用户,是否产生难以逆转的依赖。只有目的清楚、边界明确,技术才不会在效率逻辑中偏离发展方向。
算法行为之维,回答“系统实际上做了什么”。制度文件中的目标,并不等于运行中的结果。模型会随数据、场景和使用方式变化,事前测试无法覆盖全部风险。因而,要使关键决策可解释、运行过程可记录、异常行为可发现、高风险操作可中止,确保人类拥有实质性的知情、干预和否决能力。“确保人工智能始终处于人类控制之下”,这种控制不能只是保留一个确认按钮,而应体现为真实控制权。
社会伦理之维,回答“哪些事情即使有效率也不应做,技术收益和风险应如何分配”。隐私保护、公平竞争、人格尊严、劳动权益、数字包容和环境可持续,都应进入人工智能的评价尺度。“用全人类共同价值塑造人工智能的价值观”,不是为算法贴上抽象标签,而是把以人为本、公平普惠等原则转化为数据使用规则、不可逾越的应用边界和可度量的社会影响指标。
三维对齐不是三个要求的简单并列,而是一个相互校验的闭环:组织意图规定人工智能“应当做什么”,算法行为检验它“实际做了什么”,社会伦理划定“什么不能做、后果由谁承担”。缺少任何一维,都可能出现新的失配:系统符合企业利益却损害社会公平,技术运行稳定却偏离组织使命,或者伦理口号完整却没有落实到代码、流程和责任人。三维对齐的意义,正在于把宏观治理原则翻译成组织内部可操作的管理问题。
三、把“负责任”嵌入战略、组织和技术全过程
实现三维对齐,需要在战略、组织和技术三个层面同步推进,并贯穿人工智能从立项、开发到部署、退出的全生命周期。治理若只停留在原则宣示,容易与业务运行“两张皮”;若只依赖技术部门,又难以处理利益权衡和社会影响。真正的负责任人工智能,必须成为组织能力,而不是一次性合规动作。
在战略层面,应把人工智能纳入长期发展和全面风险管理。董事会和管理层不仅要审批投入规模,更要明确可接受风险、禁止使用场景和重大事件的退出机制。对涉及公共安全、就业机会、信贷、医疗、未成年人和个人权益的高影响应用,应在立项前开展算法与社会影响评估,在小范围试点中验证后再推广。评价指标也不能只有准确率、成本和收入,还应包括差错及其在不同群体间的分布、投诉与救济情况、能源消耗等,让社会责任成为战略绩效的一部分。
在组织层面,应形成权责清晰、跨部门协同的治理结构。人工智能治理委员会不能只是技术部门的内部会议,而应有业务、法务、风控、人力资源和一线员工参与;每个系统都应明确业务责任人、技术责任人、监督者和最终决策者。尤其要防止“人机协同”异化为人工替算法背书:如果人员没有充分信息和实际否决权,形式复核就不是有效监督。同时要加强全员人工智能素养培训,建立问题上报、异议表达和外部申诉渠道。
在技术层面,应把价值要求嵌入设计。数据采集遵循必要、正当和最小化原则,模型训练主动识别偏见与代表性不足,关键决策提供适度解释和审计记录;通过对抗测试、压力测试检验系统在极端情境中的表现,对涉及敏感数据的场景可采用隐私计算、联邦学习等技术。更重要的是,部署不是治理终点。组织还需持续监测模型漂移和使用方式变化,定期开展内部自查与独立评估,建立暂停、回滚、事件报告和受影响者救济机制。战略定向、组织担责、技术兜底,三个层面环环相扣、缺一不可。
我国已形成把伦理要求嵌入科技活动的制度基础,《科技伦理审查办法(试行)》推动相关单位建立审查机制,《上海市促进人工智能产业发展条例》对伦理规范和分类分级治理作出安排。下一步的关键,是把制度要求转化为不同行业看得懂、用得上、可验证的操作规程。上海开放大模型垂直领域示范场景,相关高校和协同创新机构探索发布大模型伦理规范操作指引,说明发展与治理可以在真实应用中相互促进:以场景检验规则,以规则保障创新。
四、以微观治理夯实全球治理,上海可先行先试
企业和组织内部的对齐,与全球人工智能治理并非两个割裂的议题。一个组织要处理目标由谁设定、权力如何约束、责任如何追溯、利益如何分享;国际社会同样要回答规则是否由少数主体垄断、不同国家能否平等参与、技术红利能否普遍惠及。两者尺度不同,却都指向让智能系统的行为与人的共同利益相协调。“以人为本、智能向善、公平普惠、协同共治”的原则,正是连接微观实践与全球规则的价值公约数。
但也必须看到,企业对齐只是全球治理的必要基础,不是充分条件。企业自律不能替代法律约束,内部伦理委员会不能替代社会监督,个别组织的最佳实践也不能自动解决跨境数据、算法垄断和数字鸿沟。公共部门应当提供清晰底线、统一责任和有效救济,行业组织应当形成评估标准与共享工具,企业则要把外部规则转化为日常流程。只有政府、市场、社会和国际组织协同发力,才能避免责任在多层治理中被稀释。
上海兼具产业集聚、场景丰富、法治先行和国际交流优势:全国首部人工智能省级地方立法诞生于此,全球首个人工智能政府间国际组织——世界人工智能合作组织总部也设在上海。这座城市有条件成为可信人工智能的制度试验场。可率先完善高影响应用清单和分级评估规则,建设面向中小企业的公共测试、算法审计与治理工具平台;把监管沙盒与场景开放结合起来,对新应用实行小范围、有限期、可追踪的试验;健全重大事件报告、公众沟通和纠纷救济机制;依托世界人工智能合作组织和大会平台,把成熟做法转化为可交流的标准、工具和培训方案,服务全球南方国家能力建设。
人工智能向善,不能只寄希望于模型能力提升,也不能只依赖少数技术专家的善意。它需要把共同价值写入组织目标,把人类控制落实到决策流程,把伦理底线嵌入技术架构,并以公共制度不断校正。宏观治理定方向,微观对齐见真章。让每一个部署人工智能的组织都能说明目的、看见风险、控制行为、承担责任,人工智能才能成为可信工具,从黄浦江畔形成的治理共识也才能转化为可持续、可复制的全球实践。
(原载于2026年9月9日“上观新闻”,作者:上海立信会计金融学院立信研究院(智库中心)院长、教授 陈志成)
松江校区:松江区文翔路2800号 浦东校区:浦东新区上川路995号 徐汇校区:徐汇区中山西路2230号
CopyRight ©2015-2016 版权所有 上海立信会计金融学院
技术支持 上海时光基业软件有限公司