Моя музыка.

[Андрей Карпишин]

BDK,

phpBB [video]

[BDK]

Да, смысл в том чтобы играть руками в реальном времени. Но это не обязательно должен быть гитарный гриф или клавиши. Это может быть и тачпад. На самом деле я даже не представляю какого вида и эргономики должен быть этот тачпад - я просто набросаю простейший и начну что-то на нем наигрывать а затем стану модифицировать эргономику тачпада и что-то добавлять уже в процессе (я использую планшет и виртуальный графический тачпад, не физический). На самом деле мне не очень нравится дискретный тачпад или клавиши. На гитаре струны можно дергать очень по разному и от этого очень сильно меняется тембр и динамика. Поэтому у меня есть идея в итоге сделать такое - просто микрофон. Я играю на гитаре или стучу по столу, микрофон снимает, нейросеть преобразует в упрявляющие команды на синты. Всё это в риалтайме. Причем нейросеть может не только распознавать что я ударил в определенный момент по определенной точке стола но и силу удара и другие аналоговые характеристики удара - таким образом я получу тонкое управление параметрами звучания синта в реальном времени. Ну это на перспективу. А пока буду играть просто на клавишах.

То есть я столкнулся с тем что я заранее не знаю что хочу сделать. Я беру гитару - и я понятия не имею что хочу наиграть. Но я начинаю наигрывать - и по чуть чуть тема начинает развиваться, усложняться и в итоге получаются очень крутые переборы, мелодии и рифы.

Не нужно думать что я начинаю и бросаю не закончив. На самом деле все функции и наработки остаются. Применены будут они же. То есть прошлые наработки не пропадают зря. Идет лишь поиск и переигрывание уже высокоуровневой надстройки - она еще не определилась и тут у меня семь пятниц на неделю - идеи приходят и уходят, я их пробую, что-то мне нравится что-то не устраивает. Но постепенно я к чему-то прихожу. Уже есть звучащие материалы. Как только начнет получаться настолько круто насколько меня устраивает - начну выкладывать.

Возможно это не совсем верный подход. Я хочу получить какой-то идеал. Возможно стоит начать получать уже что-то и выкладывать. А совершенствование уже будет идти процессе. Но это должно быть принципиально что-то в риалтайме. Пусть не идеальное но обязательно в риалтайме. Так и сделаю - пока простейшую игру в риалтайме и сразу же начну выкладывать что получается.

[BDK]

Но вообще эргономика гитары мне очень нравится. Левой рукой выбирается гармония, правой рукой ритмическая структура перебора. Вместе получаются крутые переборы и мелодии. Так что я пока поэкспериментирую именно с аналогом гитарной эргономики разложенной на клавиатуру ноутбука.

Нейросети я применю для генерации вместо одиночных звуков некоторых более сложных фраз в зависимости от комбинаций касаний клавиш. Смысл в том что это не просто заранее записанные фразы а они зависят от того как ударяешь по клавишам, и слыша обратную связь в реальном времени можно уловить как зависит характер фраз от типа удара и освоить игру нужных структур. То есть это получится всё же живая человеческая игра но усиленная нейросетью в реальном времени.

[BDK]

Да, живое исполнение. И собственные эксклюзивные инструменты. Да - использование нейросетей, но не тех которыми пользуются все а собственных, обученных на собственном материале и по собственным не раскрываемым алгоритмам - это ключ к эксклюзивности звучания.

Живое исполнение дает ту самую живую компоненту которая убивается в редактировании. Поэтому живое исполнение должно быть принципиально. Но инструмент должен позволять вживую создавать весь окончательный профессиональный звук. Без редактирования. В реальном времени.

Ну не совсем так радикально. На самом деле прихожу к концепции многопроходного живого исполнения. Но это не дорожки. В каждом проходе исполняются какие-то отдельные аспекты и параметры звучания потому что исполнить за один проход всё и вся не реально. Скажем так - нейроассистированные инструменты которые обогащают сложность звучания в реальном времени - генеративная нейросеть которая генерирует сотни параметров из допустим комбинации трех фэйдеров которые я кручу в реальном времени. Но это всё равно создаваемое мной звучание с отслеживанием обратной связи и с оттачиванием навыка извлекать именно тот звук который я хочу - это не музыка из кнопки.

[BDK]

Полный отказ от попыток делать что-то типовое - напрмер фонк. Была у меня такая затея. Но нет. Не моё. Делать в определенном стиле не моё.

А моё - чистый эксперимент. Делать чистейшей воды экспериментальное. Заранее даже без понятия что получится в итоге. Без претензии на суперкачество. Но абсолютный эксклюзив.

Я бы назвал это - нейропанк.

[BDK]

На сейчас у меня вырисовывается симуляция гитары. Для игры в реальном времени. Симуляция пока не сильно достоверная в плане звука но довольно достоверная в плане игры - то есть определенные клавиши на ноутбуке это зажатие струн, другие клавиши это дёргание струн. В плане физической силы попроще играть чем на реальной гитаре - подушечки пальцев не натираются до мозолей. Но в остальном похоже. То есть нужно так же умело перебирать в реальном времени. Моя ближайшая цель - сделать максимально живой и отзывчивый инструмент - включая плавные сдвиги строя и другие эффекты в реальном времени. Затем приближенное к достоверности звучание похожее на реальную гитару. Ну и затем эксперименты с синтетическими тембрами управляемыми в гитарной манере исполнения.

Затем эксперименты с автоакомпанированием. Не совсем автоматическим. Тоже управляемым в реальном времени посредством небольшого количества клавиш и других управляющих контролов.

По сути я хочу сделать минимально достаточный сконфигурированный для игры в реальном времени инструмент который будет выдавать на выходе сразу в живую окончательное звучание музыкальной композиции.

Разумеется полностью автоакомпанирование не получится загнать в риалтайм управляемое. То есть понадобятся какие-то предварительные конфигурирования. Но в целом идея чтобы звук целиком поддавался управлению в реальном времени. То есть это не должна быть генерация музыки по кнопке - это должно быть живое исполнение.

Например можно настроить барабанщика под определенный стиль. Создать пресеты и выбирать разных барабанщиков перед тем как играть. То есть барабанщик должен сам чувствовать композицию и играть в нужный момент как надо. Но сама эта манера игры барабанщика конечно должна настраиваться или обучаться предварительно на примерах. Точно так же и басист и другие виртуальные "участники" группы. То есть это нейросетевые музыканты. От которых не требуется выдача полноценной музыки но умение играть по заученным схемам акомпанируя моему живому исполнению.

Все это пока без всякого удобного для пользователей графического интерфейса - то есть всё это пока чисто из кода. Когда нибудь позже когда это уже будет хорошо работать в таком виде можно будет подумать о том чтобы оформить это в красивый графический интерфейс пригодный для стороннего пользователя.

[BDK]

Игру на виртуальной гитаре могу продемонстрировать уже. Но пока воздержусь. Сейчас много работы поэтому улучшу более подходящий момент. В этой жизни важно терпение. Спешка комуто что-то показать и доказать - всегда путь не туда. Но если умеешь полюбить преодоление и трудный процесс который нужно терпеливо проходить в длительном времени - то всё само начинает происходить максимально в нужное время и в нужном месте.

[BDK]

Да, я определился - риалтайм процессы.

Нейросеть должна не генерить звук а управлять инструментом в реальном времени как живой музыкант.

Пайплайн идентичный живому концертному исполнению - несколько виртуальных нейроучастников группы + нейрозвукоинженер который все обрабатывает эффектами и сводит в реальном времени.
=====

Как только я подумал о такой концепции я сразу почувствовал множество голосов с тонких планов - "да! это то что нужно! сделай это!". Видимо это голоса музыкантов которые при жизни были виртуозами на земле в своё время. Они хотят этот инструмент.
=====

Процесс сочинения - так же максимально приближенный к стилю рок-коллективов прошлого - что-то начинает наигрывать соло-музыкант, другие вживую начинают подыгрывать, потом указывается на моменты которые стоит сыграть иначе и в таком итеративном процессе вырисовывается композиция.

Никакого редактирования нот. Только живой итеративный процесс. Нейросети постоянно дообучаются на этом процессе.
=====
Никакого обучения нейросетей на мировом датасете - нейросети обучаются исключительно на живом исполнении конкретного исполнителя и перенимают конкретно его манеру и стиль. То есть каждый музыкант получает виртуальное масштабирование самого себя со своим эксклюзивным стилем а не среднее по мировой палате.
====

Насчет своего стиля я тоже определился - я назвал бы его нейропанк. То есть музыка того кто играть не умеет но очень хочет и пытается, и это масштабировано нейросетями.

[BDK]

Да моей ошибкой было всегда то что я пытался сходу получить идеальный результат и если он не устраивал меня хотя бы на миллиметр я перечеркивал всю затею. Сейчас я выбрал другую стратегию - реализовать грубую заготовку и затем ее последовательно улучшать.

Моя сильная сторона - эксперимент. Я умею делать вещи на основе проб, ошибок и обратной связи от реальности в итеративном процессе адаптации. Это максимально моё. Так и нужно мне двигаться. Моей проблемой было когда я пытался напялить на себя не свойственные мне корпоративные подходы к разработке продукта. Я исключительно мастер эксклюзива. Погонные метры не моя стихия.
=====

И да блять. Я понял главное - слать на хуй. Слать слать и слать. Это максимально моё. Мой духовный путь ёб его мать! Я другой и общие подходы для меня не работают. Поэтому любые критики и советчики всегда тулят мне не моё, чуждые мне критерии, методы и подходы. Просто слать это всю муть к хуям и делать исключительно по своему - только так это работает.

Даже не так - не слать на хуй а убивать. не хуй с ними вообще разговаривать. Это и есть мой путь успеха.

phpBB [video]

[BDK]

Пока куча работы по работе. Поэтому с музыкой пауза.
=====
Я думаю примерно представляю как само явление музыка возникло эволюционно.

Поначалу это скорей всего было продолжением охотничьей горячки. Охотники вернувшиеся с охоты были на адреналине и рассказывали и показывали соплеменникам как шла охота. Это были прыжки и ужимки сопровождаемые громкими выкриками прыжками и одновременными движениями разных участников которые показывали как все происходило.

Эти истории-спектакли рассказываемые у костра и были первыми рэп-баттлами где охотники наперебой хвастались кто был круче на охоте а другие соплеменники ели свежую добычу смотрели и слушали и им было клёво от ощущения безопасности, сытости и защиты.

Так происходило длительное время - возможно сотни тысяч лет , и гормональные реакции на синхронные звуки стали закрепляться генетически.

И теперь когда мы слышим музыку в нас запускаются всплески гормонов схожие с теми ощущениями безопасности, сытости, защищённости, адреналина и прочего.



У меня схожее происходит именно после трудного но успешного рабочего дня - накрывает эйфория и отрывается азарт на сочинение стишков и тусить на танцполе под музыку. Это чисто эволюционная штука.

И ещё я подметил такую штуку - наиболее ярко и сочно музыка воспринимается именно после длительного периода отсутствия чего либо яркого и сочного в жизни - когда ты весь в рутине дел и тебе не до развлечений. Вот именно после таких периодов раскрывается музыкальное восприятие.

И я думаю хорошая музыка получается именно после периодов какой-то серьезной деятельности. Как выражение реального серьезного опыта. Именно поэтому музыканты как правило интересны вначале - пока в них силен опыт реальной жизни и он сквозит в их музыке. Когда они уже целиком уходят в карьеру музыкантов - опыт реальной жизни уходит из их жизни и это неизбежно отражается на их творчестве - они и начинают выражать свою окуклившуюся жизнь, которая становится чужда и не понятна другим потому что их опыт их жизней другой.