Робот Шимон поет и сам пишет свои песни

Исследователи из Технологического института Джорджии создали робота по имени Шимон, который может писать песни, играть музыку и петь. Робот, играющий на маримбе, отправляется в тур, чтобы поддержать новый альбом, который он написал и поет. На альбоме будет от восьми до десяти песен, и Шимон написал их в сотрудничестве с людьми. Сотрудничество с людьми начинается с того, что человек дает роботу тему, например, про космос, и Шимон пишет текст на эту тему.

Робот также может генерировать некоторые мелодии для исследователя Гила Вайнберга, которые тот использует для создания песни. Люди-музыканты будут играть музыку для Шимона, пока робот поет песни. Исследователи, работающие над проектом, обучили робота с использованием наборов данных из 50 000 текстов песен из жанров джаз, рок и хип-хоп. Робот использует глубокое обучение, чтобы генерировать слова, соответствующие темам, заданным в наборе данных.

Глубокое обучение сочетается с семантическими знаниями, так как необходимы рифма и ритм. Сотрудники создали голос, с которым робот поет в Университете Помпеу Фабра в Барселоне. Для разработки голоса использовались нейронные сети, которые обучались на сотнях песен.

Также с момента «рождения» Шимон претерпел ряд изменений. Теперь он имеет новое оборудование, которое позволяет ему играть и двигаться на сцене. Робот в основном неподвижен, но у него есть рот, брови и двигающаяся голова – все они передают эмоции и позволяют взаимодействовать с товарищами по группе. Модернизированное оборудование позволяет роботу играть намного быстрее, чем раньше, в диапазоне от 25 до 30 герц.

Шимон теперь может считать в начале песни, чтобы подать сигнал группе, и время от времени он будет размахивать молотком под такт музыке. Бесщеточные двигатели дают роботу большой размах движений и контроль над этими движениями.