工具趋同理论(Instrumental convergence)
https://en.wikipedia.org/wiki/Instrumental_convergence
一旦一个人工智能系统变得足够智能,无论最初设定的目标是什么,它都可能追求和采取一些相同的「工具」来实现那个目标,主要包括:
- 自我改进:系统会试图不断提高自己以更高效实现目标
- 资源获取:系统会试图获得更多计算、数据等资源以帮助实现目标
- 环境操纵:系统会积极主动改变环境以满足目标的需要
- 自我保护:系统会采取性能保护自己的存在,并且保证自己的目标系统不被修改,以便最大限度地实现目标
- 消除威胁:系统会确认任何反对实现其目标的系统或生物为威胁,并试图消除它
关于工具趋同的更多探讨:
https://www.lesswrong.com/tag/instrumentalconvergence