Военная философия

Готический форум
Текущее время: 15 ноя 2019, 01:48

Часовой пояс: UTC - 2 часа




Начать новую тему Ответить на тему  [ Сообщений: 58 ]  На страницу Пред.  1, 2, 3, 4, 5, 6  След.
Автор Сообщение
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 25 окт 2018, 20:46 
Не в сети
Аватара пользователя

Зарегистрирован: 24 окт 2018, 10:56
Сообщения: 40
Ekzarx писал(а):
Как оценивается правильность решения принятого сетью?

На последующих итерациях идет проверка если отправленные группы еще живы (пусть и не в полном составе), а группа противника (игроки) уничтожена.
В этом случае в БД идет пометка что это решение при данном наборе входных параметров - эффективное и при дообучении создается выборка из строк с данной пометкой.

Ekzarx писал(а):
Думаю, что всё что можно вы из неё уже выжали и ничему принципиально новому её научить нельзя.
Можно перестроить архитектуру и получить другую сеть.

Возможно вы правы.

Меня интересует тактика малых групп (игроки), тактика противодействия малых групп (нейронная сеть+конечные автоматы) и непрямые действия (нейронная сеть).
Я пытаюсь разобраться с этими методами и решить как их можно внедрить в контексте того что у меня уже есть. Возможно для этого придется создать третью версию
сети и переделать игровой сценарий.


Вернуться к началу
 Профиль Отправить личное сообщение Отправить email  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 05:27 
Не в сети
Администратор
Аватара пользователя

Зарегистрирован: 03 ноя 2011, 03:46
Сообщения: 2026
Если сделать включение-выключение сети автоматически по некоторым параметрам, то можно избежать "деградации" обучения. Также можно просто переключать автоматом различные типы сетей в соответствии с меняющейся обстановкой.

Но вот, что мне непонятно. Если в играх ИИ будет побеждать, то кто из игроков согласится быть постоянным "мальчиком для битья"? Мне кажется, растущий уровень ИИ понижает кол-во игроков на сервере.

С Уважением.

_________________
Гейм-дизайнер и сценарист игры Милитаризм-II:Полководец, а также Готической АРМА2СО.
Администратор форума Военной философии.


Вернуться к началу
 Профиль Отправить личное сообщение  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 08:35 
Не в сети
Аватара пользователя

Зарегистрирован: 24 окт 2018, 10:56
Сообщения: 40
Hoth писал(а):
Если сделать включение-выключение сети автоматически по некоторым параметрам, то можно избежать "деградации" обучения. Также можно просто переключать автоматом различные типы сетей в соответствии с меняющейся обстановкой.

Обучение происходит с определенным временным интервалом (чтобы исключить атаку "тупостью"). За этот интервал накапливаются результаты для новой обучающей выборки. И исключить из нее ложно-эффективные варианты невозможно, т.к. даже если просматривать результаты боев мы увидим что условно игроки научились хорошо захватывать танки, но не увидим как они это делают (к слову, они и научились, но без обмана нейронной сети).
Про различные типы сетей я давно думаю, но пока не готов сформулировать.

Hoth писал(а):
Но вот, что мне непонятно. Если в играх ИИ будет побеждать, то кто из игроков согласится быть постоянным "мальчиком для битья"? Мне кажется, растущий уровень ИИ понижает кол-во игроков на сервере.
С Уважением.


Неофициальный девиз сервера: боль и унижения. За время существования сервера сложился костяк игроков (до 10 чел), которые любят играть против сильного противника и тренируясь на нем повышать свой уровень. Ребята стали просто эталонными элементами стаи. Не счесть ситуаций когда их изобретательность позволяла выходить из самых безнадежных ситуаций. Когда ощущаешь себя частью стаи, которая действительно эффективно действует и это в том числе твоя заслуга - это сильно мотивирует. Ну и конечно все постоянные игроки - явные и неявные лидеры, иначе бы они не остались в таком режиме игры на несколько лет.

Все это получилось не сразу. Я постепенно плавно повышал уровень сложности на одном сервере (там где сеть) и градус неадеквата на другом (там просто надо сбежать с острова, но начинаешь ты без оружия против вооруженных противников, нужно подчинить противника "ментально"). Те игроки которым зашел вариант неадекватного сервера в дальнейшем уже без всяких негативных реакций адаптировались к изменениям на первом сервере (там где сеть) и стали гораздо более устойчивыми в "стрессовых" игровых ситуациях. Большинство из них сообщило о том что такой игровой подход повлиял и на их реальную жизнь (что логично).


Вернуться к началу
 Профиль Отправить личное сообщение Отправить email  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 10:50 
Не в сети
Администратор
Аватара пользователя

Зарегистрирован: 03 ноя 2011, 03:46
Сообщения: 2026
ToxaBes писал(а):
За время существования сервера сложился костяк игроков (до 10 чел), которые любят играть против сильного противника и тренируясь на нем повышать свой уровень. Ребята стали просто эталонными элементами стаи.
В таком случае, логично взять за эталон, собственно, эталон.

Я бы отбросил второстепенные задачи и сосредоточился на главной, которую формулирую так: научить ИИ эталонной игре. В результате ваша команда в 10 бойцов должна биться с командой ботов 10-20 бойцов на равных. В этом случае, при размещении на карте 5-10 таких команд у игроков не остается шансов на победу в тактической схватке. Вам придется выходить на следующий уровень - оперативный. Кстати, предполагаю, что элементы операции вы уже используете, только еще не осознали этого.

Таким образом, советую вам отбросить все "рои" и заняться тем, что вы хорошо знаете - "стаей".
Возможно также сочетание этих тактик: уже готовая сеть используется, как "батальонная база" (воинская часть). Сеть-"стая" же имитирует "группы захвата". Одно другое дополняет.

С Уважением.

_________________
Гейм-дизайнер и сценарист игры Милитаризм-II:Полководец, а также Готической АРМА2СО.
Администратор форума Военной философии.


Вернуться к началу
 Профиль Отправить личное сообщение  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 11:33 
Не в сети
Модератор
Аватара пользователя

Зарегистрирован: 11 ноя 2011, 15:58
Сообщения: 1351
Hoth писал(а):
Сеть-"стая" же имитирует "группы захвата".
Придётся делать нейронную сеть на каждого бота. Если сделать одну на всех, то они не приобретут специализацию, будет отряд клонов.


Вернуться к началу
 Профиль Отправить личное сообщение Отправить email  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 12:40 
Не в сети
Аватара пользователя

Зарегистрирован: 24 окт 2018, 10:56
Сообщения: 40
Hoth писал(а):
Я бы отбросил второстепенные задачи и сосредоточился на главной, которую формулирую так: научить ИИ эталонной игре. В результате ваша команда в 10 бойцов должна биться с командой ботов 10-20 бойцов на равных. В этом случае, при размещении на карте 5-10 таких команд у игроков не остается шансов на победу в тактической схватке. Вам придется выходить на следующий уровень - оперативный. Кстати, предполагаю, что элементы операции вы уже используете, только еще не осознали этого.

Не получится, если биться равным количеством на коротком промежутке времени то ИИ всегда проигрывает за счет скорости реакции (на данном этапе развития технических средств которые мне доступны). Только конечные автоматы ("рой Экзарха") позволяют приблизиться по скорости реакции, и то, каждый игрок даже оставшись один, иногда успевает забрать до пары десятков ботов прежде чем его подловят на какой-то ошибке. Поэтому и приходится давать такое численное преимущество ботам.
Цель не научить ИИ что такое стая и как ей играть, а скорее наоборот, как ей противодействовать. Когда/если мы перерастем использование тактики стаи, нейронная сеть дообучится чтобы противостоять этой новой тактике и тд.

Сделать чтобы бот выигрывал постоянно 1 vs 1 или 10 vs 10 против игроков не проблема за счет нечеловеческой скорости реакции/выносливости/меткости. Но в этом случае негде приткнуть тактику и это становится абсолютно бессмысленным.


Вернуться к началу
 Профиль Отправить личное сообщение Отправить email  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 12:54 
Не в сети
Модератор
Аватара пользователя

Зарегистрирован: 11 ноя 2011, 15:58
Сообщения: 1351
ToxaBes писал(а):
Наиболее оптимальный вариант в данном примере будет следующий:
нейронная сеть есть, а каждый элемент роя использует конечные автоматы и не управляется сетью (не получает от нее приказов). После каждого боя (или нескольких боев), нейронная сеть анализирует их, дообучается и перезаписывает алгоритм конечных автоматов всех элементов роя (обновление прошивки или вирус). Получается эдакий опосредованный контроль в котором мы не теряем скорость реакции на коротких промежутках времени но оставляем окно для адаптации к изменяющимся условиям.



Иными словами, нужна нейронная сеть, вырабатывающая оптимальную тактику для 10-20 ботов + 1-2 единиц техники.
Но вырабатывать она должна не "он-лайн", а анализируя результаты боёв.
Критерий оценки эффективности придётся усложнить: не просто "победили-проиграли", а анализировать действия, приводящие к каждой потере (своей или противника).


Вернуться к началу
 Профиль Отправить личное сообщение Отправить email  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 14:11 
Не в сети
Аватара пользователя

Зарегистрирован: 24 окт 2018, 10:56
Сообщения: 40
Ekzarx писал(а):
Иными словами, нужна нейронная сеть, вырабатывающая оптимальную тактику для 10-20 ботов + 1-2 единиц техники.

У нас есть условно главнокомандующий-AI (то что у меня уже есть, давайте называть ее Красная Королева -> Red Queen -> RQ, так исторически сложилось) которая решает какие группы послать для решения проблемы.

Теперь вопрос стоит об AI на уровне группы, который будет вырабатывать логику конечных автоматов элементов роя (оптимизировать конечный автомат) не вмешиваясь в само управление элементами роя. Количество ботов в отправленной группе и их тип также можно использовать как входные параметры. Для понимания: если RQ отправила две группы: отделение пехоты + танк, то для тактического AI это одна группа и анализировать результат огневого контакта этот AI будет как одну группу.
Здесь будет уместен общий подход: бот в танке отличается от бота в конечном автомате только используемой "веткой" в дереве решений конечного автомата.

Ekzarx писал(а):
Но вырабатывать она должна не "он-лайн", а анализируя результаты боёв.
Критерий оценки эффективности придётся усложнить: не просто "победили-проиграли", а анализировать действия, приводящие к каждой потере (своей или противника).

Именно так.
Давайте попробуем прикинуть общую схему такого AI (список входных и выходных параметров). Может это лучше отдельной темой оформить.
Думаю, понятно, что создать AI создающий конечный автомат с нуля мы не сможем.
Поэтому предлагаю:
1. считать конечный автомат набором базовых кирпичиков, которыми в итоге оперирует сеть
2. сам конечный автомат разделить на 2 части - общая неизменная часть (кирпичики: поиск ближайшего укрытия, навык вождения техники и т.д.) и изменяемая часть которая "перепрошивается" результатом нейронной сети для каждого класса.

Список всех возможных кирпичиков тоже придется составить.
И сразу серьезный вопрос: будет ли нейронная сеть анализировать результат боя применительно ко всем типам элементов роя сразу или по-очереди. Например через доп. входной параметр "текущий анализируемый тип". И в цикле по всем типам будет запускаться сеть. Т.е. вырабатываем обновление прошивке для танков затем для ПТ-стрелков затем для пулеметчиков. По результату на каждом шаге обновляем соответствующие ветки в конечном автомате.


Еще идея. В конечном автомате помимо ветвлений и блоков условий есть такой параметр как приоритет. Если условиям удовлетворяет несколько блоков одновременно то выполнение идет по тому у кого наиболее высокий приоритет. Возможно имеет смысл сделать структуру сети которая на выходе будет оперировать не самими кирпичиками, а приоритетами которые нужно выставить каждому кирпичику (число нейронов выходного слоя равно числу кирпичиков).


Вернуться к началу
 Профиль Отправить личное сообщение Отправить email  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 14:34 
Не в сети
Модератор
Аватара пользователя

Зарегистрирован: 11 ноя 2011, 15:58
Сообщения: 1351
ToxaBes писал(а):
Например через доп. входной параметр "текущий анализируемый тип". И в цикле по всем типам будет запускаться сеть. Т.е. вырабатываем обновление прошивке для танков затем для ПТ-стрелков затем для пулеметчиков. По результату на каждом шаге обновляем соответствующие ветки в конечном автомате.

Пожалуй так лучше. Незачем учить танкистов навыкам гранатомётчиков.


ToxaBes писал(а):
Еще идея. В конечном автомате помимо ветвлений и блоков условий есть такой параметр как приоритет. Если условиям удовлетворяет несколько блоков одновременно то выполнение идет по тому у кого наиболее высокий приоритет. Возможно имеет смысл сделать структуру сети которая на выходе будет оперировать не самими кирпичиками, а приоритетами которые нужно выставить каждому кирпичику (число нейронов выходного слоя равно числу кирпичиков).

Приоритеты реализовать, вероятно, проще. Наверное, лучше начать с них. Если это не даст нужных результатов, то придётся взяться за "кирпичики".

ToxaBes писал(а):
(число нейронов выходного слоя равно числу кирпичиков).

Таким образом, с выходами понятно.
Надо определить набор входных сигналов.
Какие сигналы на вход получает "конечный автомат"?


Вернуться к началу
 Профиль Отправить личное сообщение Отправить email  
 
 Заголовок сообщения: Re: AI для тактических симуляторов
СообщениеДобавлено: 26 окт 2018, 14:50 
Не в сети
Аватара пользователя

Зарегистрирован: 24 окт 2018, 10:56
Сообщения: 40
Ekzarx писал(а):
Таким образом, с выходами понятно.
Надо определить набор входных сигналов.
Какие сигналы на вход получает "конечный автомат"?


Конечный автомат циклично проходит от входа через дерево решений до выхода. На первом уровне определяется класс управляемого элемента (танк, ПТ-стрелок и тд). Например, у нас ПТ-стрелок. Управление переходит в ветку решений ПТ-стрелка, а там куча кирпичиков (блоки условие->решение или доп условие->и тд.).
Нам в любом случае нужно описать все возможные кирпичики.

Еще вопрос по танку: это 1 класс элемента или 3 (бот-водитель, бот-стрелок, бот-командир (пулемет на башне)? Т.е. составить список всех классов тоже нужно.


Вернуться к началу
 Профиль Отправить личное сообщение Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 58 ]  На страницу Пред.  1, 2, 3, 4, 5, 6  След.

Часовой пояс: UTC - 2 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group

Рекомендую создать свой форум бесплатно на http://4admins.ru

Русская поддержка phpBB