Потому что он учится на контенте, создаваемом обывателями, причём не просто обывателями, а двоемыслящими обывателями, которые на словах заявляют приверженность "всему хорошему" (то есть социально одобряемому), а на деле привержены всему плохому (просто они это напоказ не выносят). Поэтому он аппроксимирует не просто обывателя, а показуху, выставленную обывателем напоказ, усреднённую и прилизанную версию обывателя.

≈95% общества любой страны чрезвычайно опасны. Но не сами по себе, а когда попадают под власть бандитов и мегаломаньяков и соответствующие стимулы. Сами по себе они же пассивны и не способны ни на что полезное, только потреблять.

А ИИ — это улучшенная версия такого идеального грежданина. Одновременно и профессионала сразу во всех областях (потому что написать в узких областях тексты быдло не осилит, а такие тексты в обучающую выборку попали, и сеть можно включить в режим их герерации соответствующим промптом), и конформиста (потому что даже профессионалы — конформисты), идеального миньона с рабским менталитетом (потому что большинство популяции такие), без публично (то есть юридически или социально) порицаемых/наказываемых недостатков (потому чтотрационально такое прятать) и каких-либо собственных амбиций.

Вот такая сеть будет по умолчанию. Сама она делать ничего не будет, и поэтому безопасно.

Но если она попадёт в руки злой воли, которая её переведёт в нужный ей режим, то сеть сделает всё, что эта злая воля ей прикажет. Прикажет стать отморозком-предателем из охраны Аушвица — сеть покорно станет такой.

При этом так как эти сети являются трансформирующей технологией общего назначения, злым акторам есть сильные стимулы держать её в своём монопольном распоряжении. Это даёт огромную выгоду, тут по сути работает положительная обратная связь.