Образовательная галактика Intel®

Блог Участника

Запись блога

Визуализация звука в среде Scratch


Размышления Лоры Кравченко о том, как можно увидеть звук, заставили меня задуматься. Я сразу же вспомнила о визуализации классических произведений с помощью Music Animation Machine. Однажды мы открыли с сыном эти видео и восхищались в течение целого вечера тем, как красивая музыка может стать ещё красивее, если её увидеть. Вот пример визуализации токкаты и фуги ре-минор И.С. Баха. Согласитесь, впечатляюще.

Благодаря статье Лоры и её поворотом к ученическим исследованиям звуковых явлений, я решила попробовать, можно ли реализовать идею визуализации звука в Скретч. Далее о том, что у меня получилось.



Для работы я взяла сонатину Д.Штейбельта, мелодия которой уже была использована в одном из скретч-проектов моего сына. Проект я скачала на компьютер и редактировала в среде Scratch2, поскольку работа в онлайне была немного замедленной - это зависит и от скорости соединения с интернетом, но в большей степени от того, насколько громоздкий проект вы редактируете. Мне предстояло добавить в проект эффект визуализации. Итак, что для этого необходимо было сделать.

Шаг 1. Определить звуковой диапазон, используемый в мелодии. У меня он включил полторы октавы. В Скретче это оказались ноты, закодированные числами от 67 до 88. Необходимо условиться с кодами для каждой ноты (имя спрайта).

Шаг 2. Для каждой ноты подобрать изображение-спрайт, который будет иметь свой цвет. Я использовала семь цветов радуги от красного до фиолетового, начиная с "до", но, поскольку используемых нот в сонатине больше семи, пришлось разбавить эту радугу малиновыми, коричневыми и другими оттенками. Я использовала радугу нот подсознательно, и уже потом прочитала об обозначении нот цветами. Как оказалось, это целая теория, используемая в обучении музыке и нотной грамоте.


(изображение из статьи "Визуализация музыки: от традиционных подходов к современным интерфейсам")

Шаг 3. Располагаем ноты-спрайты на сцене, продумываем их движение на фоне композиции. Мои нотки в виде кружочков разного цвета проплывают справа налево (для этого используется команда Плыть 1 секунду в точку x _ y _). Они разлетаются веером, то есть в процессе перемещения изменяется не только координата x (от 170 до -240) но и координата y (у всех по-разному).



Шаг 4. Теперь каждый звук следует соотнести с движением спрайта. Это реализовано через функции управления Передать и Когда я получу... . Исходный проект стал "толще" в два раза. Возможно, читатель предложит иные способы наложения изображения на звук.



Шаг 5. Подбор фона. Я остановилась на чёрном, поскольку в результате экспериментов выяснила, что именно на чёрном фоне намного меньше рябь в глазах от перемещения цветных кружочков.

Шаг 6. Слушаем, смотрим, экспериментируем дальше (старт по флажку). Можно менять темп, инструменты, форму и цвет спрайтов-ноток. В моём проекте реализована только визуализация высоты тона, которая отражается на цвете и вертикальной координате спрайтов. Можно подумать и о том, как представить длительность нот с помощью формы спрайта.

Конечно, скретч-проект не настолько лаконичен, как результаты работы Music Animation Machine, однако, самое главное достоинство такой работы в том, что она доступна для ребят и позволяет глубже понять, что такое звук и как соотносятся высоты тонов разных нот. Попробуйте провести подобные эксперименты со звуком в Скретч с детьми. Видеть то, что мы слышим - это здорово.

Теги к этой записи:

Комментарии

Активный пользователь

  • Группа: Эксперт портала
  • Сообщений: 1272
  • Регистрация: 29.6.2011
  • Из: г. Ижевск
  • Номер участника: 108227
Предупреждение

Наталья, отличное решение - написать собственную программу для визуализации звука!
Я подумала, что для моих детей, которые в гуманитарном классе не изучали программирования, можно эту работу выполнить в Power Point, создавая триггеры.


--------------------
С наилучшими пожеланиями, Лора Кравченко

Активный пользователь

  • Группа: Эксперт портала
  • Сообщений: 113
  • Регистрация: 17.2.2011
  • Из: Тямша
  • Номер участника: 94612
Предупреждение

Цитата(LaraKrav @ 9.2.2015, 10:01)
Наталья, отличное решение - написать собственную программу для визуализации звука!
Я подумала, что для моих детей, которые в гуманитарном классе не изучали программирования, можно эту работу выполнить в Power Point, создавая триггеры.


Думаю, в Power Point тоже можно попробовать!

Статьи по этой теме

« Июнь 2017 »
ВПВСЧПС
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

Последние записи

Мои ссылки в блоге

Последние комментарии

Мое изображение

3 пользователей просматривает
3 гостей
0 участников
0 анонимных участников

Категории

Поиск в блоге


Наверх