Злата

Мне думается, что контроллеров и машинных алгоритмов для серьёзных задач вы всё же сами никогда не писали,
Уровня шофера — нет, не писала.

понятие смерти не сущестует для автомата как субъективной неизбежной действительности
Неизбежной — нет.
Возможной — да.
Субъективной — нет.
Объективной — да.

которую надо всеми возможностями избегать
Если как-то заложено в алгоритм.
Может быть — не "всеми возможностями", а с неким (высоким) весовым коэффициентом.
Человек способен к самопожертвованию. Значит тоже избегает не "всеми возможностями".

Ситуация зависит еще и от способности алгоритма накапливать информацию, добавлять новые причинно-следственные и корреляционные связи в алгоритм поведения.
Иначе — это не ИИ, а просто говорящий попугай.

Человек всю жизнь учится.
Попробовал незнакомую еду — стошнило.
Ага, не будем больше есть эту бяку.