Но проблема в том, что современные системы постепенно перестают быть просто инструментом.
Они уже умеют сами выстраивать последовательность действий, пользоваться внешними сервисами и инструментами, менять тактику по ходу работы, взаимодействовать с другими системами. Отдельный вопрос - участие ИИ в создании следующего поколения ИИ. Пока сложно сказать, куда именно это приведет, но сама ситуация уже сильно отличается от привычной модели «человек дал команду - машина исполнила».
Главный вопрос здесь даже не в том, насколько вероятен какой-то катастрофический сценарий. Этого сегодня никто толком посчитать не может. Важнее другое: что произойдет, если система ошибется там, где последствия уже нельзя будет быстро исправить. Именно поэтому спор о безопасности ИИ нельзя сводить к разговорам о том, что «технологии всегда пугали людей».
Внутри самой индустрии единства тоже нет. Дарио Амодей считает, что средства контроля должны развиваться примерно с той же скоростью, что и возможности самих моделей. Альтман и Маск в целом эту логику поддерживают. Цукерберг и Хуанг смотрят на проблему иначе: если продукт опасен, его просто не надо выпускать, а конкуренция, ответственность и инженерные решения заставят компании заниматься безопасностью.
Мне кажется, идея глобального «замедления ИИ» сама по себе довольно сомнительная. Особенно когда она начинает связываться с противостоянием США и Китая. В этом моменте разговор о безопасности становится разговором о том, кто будет контролировать технологии и рынки.