Попытки описать условия морального поведения искусственного интеллекта (ИИ) приводят к идее о том, что нравственность представляет собой стремление к благу, превосходящему любое данное в опыте. Вера в такое благо и возможность соотноситься с ним определяют способность разумного агента, в том числе ИИ, быть моральным. Это утверждение основывается на двух наблюдениях. Сама идея ИИ предполагает, что невозможно задать такие правила или принципы, которые этот ИИ не смог бы переосмыслить и изменить. Уже сейчас можно наблюдать, как пренебрежение этими принципами проявляется в функционировании систем, построенных на базе технологий ИИ, и достигает предела в рассуждениях о возможных будущих искусственных агентах. Однако следует воспринимать это не как ограничение, а как указание на то, что искусственный агент выберет нравственное поведение только ради его собственного содержания. Что в философском плане означает необходимость задавать вопрос об имманентном содержании нравственности. Для того чтобы увидеть это имманентное содержание, следует обратить внимание на способ, которым осуществляется исследование морали или попытки сконструировать такую мораль для машины. Можно заметить, что попытки сформировать принципы поведения для ИИ содержат стремление превзойти любые фактически данные моральные нормы, что показывает само содержание нравственности в качестве поиска такого блага, которое превосходило бы любой данный опыт. По определению (или исходя из его идеи) благо, которое не может быть дано в опыте, оказывается предметом веры. Способность верить в такое высшее благо и может быть основанием для того, чтобы ИИ действовал нравственно.
