Audio to midi зачем это вообще надо?

Область применения программ преобразующих аудио сигнал в midi данные может быть достаточно широка, это может быть потребность “снять” ноты с композиции, или при записи соло инструмента продублировать его в midi, или сделать подклад, или лид-сопровождение к вокальной партии, а может быть прописать барабаны в миди и использовать сэмплы. Кроме того возможна и реализация художественных приемов, например прописать инструмент при помощи pitch bend и получить таким образом оригинальную и выразительную партию, замечу, что сделать это вручную трудоемко, а можно использовать в технических целях, для управления посредством миди, на одном из концертов я видел такой сетап: main mix преобразовывался в midi и эти данные управляли визуальными образами в vj секвенсере, психоделично )).
В этой публикации сделаю обзор нескольких плагинов позволяющих конвертировать аудио данные в миди, что называется на лету и поделюсь своими мыслями от использования. Одна из возможностей которую я хочу выяснить возможно ли использовать обычную электрическую гитару в качестве миди контроллера, рассматривать tune и melodine я не буду, тк они достойны отдельной статьи и имеют несколько иное назначение. Методология крайне проста, каждый плагин будет распознавать одноголосую синтезаторную и чистую гитарную партию, аккорд, вокал с вибрато и обертонами(соло+хор) и соло вырезанное эквалайзером в миксе, (128 bpm). Конечно тест условный и в вашем миксе конкретный плагин может повести себя иначе чем у меня, по этой причине я не буду приводить результаты теста в аудио или миди, а только приведу описание результатов. Несмотря на такую условность, тест позволит быстрее сориентироваться в выборе плагина под задачу.

Midifer



Первый подопытный – Midifer, плагин имеет множество настроек, возможность распознавать в басовой области, он прост в работе. Для более корректной отстройки имеется режим выхода чистого аудио сигнала или уже распознанного миди в самом плагине, это позволяет налету произвести требуемые операции и добиться желаемого качества. Midifer работает с питчем, но если эта опция не нужна, то ее можно отключить.
Плагин хорошо сработал на соло с синтезатором — все ноты четко распознаны, с гитарой иногда ошибался на октаву на некоторых нотах(видимо резонансы), с остальными испытаниями он не справился, полифонию не распознает, вокал превратился в “кашу из нот”, мелодию в миксе так же не распознал, периодически проглатывал ноты. Понравилась как работает с питчем и возможность быстро настроить плаг.

Nutone



Nutone очень аскетичен в настройках, входной, выходной уровень и диапазон принимаемых нот, может работать с басом, нижняя нота c2. Плагин корректно показал тональность, но не определил длину нот, в итоге все ноты сыгранные последовательно слились в одну, тоже случилось и с гитарой. Полифонию Nutone не распознает, с вокалом и миксом он не справился, не определил даже тональность. Полагаю, что его можно использовать в технических целях, как тюнер или в медленной музыке.

Widi_vst



Widi гибкая в настройках программа распознающая полифонию, с соло на синтезаторе и гитарой она справилась без труда, но переусердствовала и посчитала все обертона. Используя настройки эквалайзера и чувствительности я сумел добиться лучшего качества, но все равно ровной картинки с четко сыгранной каждой нотой по длине без обертонов, как с Midifer я не получил. С аккордами Widi так же справился и так же не идеально, все ноты были распознаны, но результат потребовал редактирования. Вокал Widi не одолел, при разных настройках либо распознавал не все ноты, либо лезли обертона и получалась “каша”. Мелодию в миксе программа распознала, как можно и было ожидать с кучей нот других партий(эквалайзер не помог) и обертонов, при наличии желания можно почистить партию, но проще это сделать на слух.

От остальных рассмотренных плагинов я не добился желаемого результата, все они, на моем материале, существенно уступают рассмотренным выше по всем параметрам, и описывать их не целесообразно, вот их список: Synodeia 2, Gatefish, TheExtractor.
Нужно упомянуть еще об одном неприятном моменте, это задержка, она крайне велика у всех плагинов, комфортно использовать гитару в качестве контроллера для синтезатора не получится.
В качестве итога, я для себя сделал вывод, что рассмотренные алгоритмы для преобразования Audio to midi в реал тайм недостаточно хороши, комфортной работы с качественным результатом не получится, простая мелодия быстрее распознается на слух, однако вполне возможна работа с отдельными партиями, если для подобной работы нужен качественный результат, стоит смотреть в сторону melodyne, в целом применение этих программ сводится к технической стороне и экспериментам.