Harnessing the Computational Modelling of the Perception of Orchestral Effects for Computer-Aided Orchestration Tools

Title: Harnessing the Computational Modelling of the Perception of Orchestral Effects for Computer-Aided Orchestration Tools
Authors: Aurélien Antoine, Philippe Depalle, and Stephen McAdams (McGill University)
Conference: Spatialization, Orchestration, Perception. IRCAM Forum Workshops hors les murs, Montreal (Online) February 4–5–6 and 11–12, 2021
Presentation Slideshow: here
Source URL: https://www.ircamforummontreal.org/table-ronde-1/#antoine_video

RESUMÉ / ABSTRACT

Recent developments in the field of computer-aided orchestration have provided interesting approaches for addressing some of the many orchestration challenges, supported by advances in computational capacities and artificial intelligence methods. Nevertheless, harnessing the many sides of this musical art, which involves combining the acoustic properties of a large ensemble of varied instruments, has not yet been achieved. One interesting aspect to investigate is the perceptual effects shaped by the instrument combinations, such as blend, segregation, and orchestral contrasts, to name but three. These effects result from three auditory grouping processes, namely concurrent, sequential, and segmental grouping. Therefore, research in Auditory Scene Analysis (ASA) could be utilised to establish computational models that process symbolic musical score and audio signal information to identify specific orchestral effects. Our work in this area could help to understand and identify the different musical properties and techniques involved in achieving these effects that are appreciated by composers. These developments could benefit systems designed to perform orchestration analysis from machine-readable musical scores. Moreover, grasping the different parameters responsible for the perception of orchestral effects could be incorporated into computer-aided orchestration tools designed to search for the optimal instrument combinations by adding perceptual characteristics to their search methods.

De récentes avancées dans le domaine de l’orchestration assistée par ordinateur ont fourni des approches intéressantes pour relever certains des nombreux défis de l’orchestration, soutenus par les progrès des capacités informatiques et des méthodes d’intelligence artificielle. Néanmoins, la maîtrise des multiples facettes de cet art musical, qui consiste à combiner les propriétés acoustiques d’un grand ensemble d’instruments variés, n’a pas encore été atteinte. Un des aspects à étudier touche les effets perceptuels façonnés par les combinaisons d’instruments, comme le mélange, la ségrégation et les contrastes orchestraux, pour n’en nommer que trois. Ces effets résultent de trois processus de regroupement auditif, à savoir le regroupement simultané, séquentiel et segmentaire. Par conséquent, la recherche en analyse de scène auditive (ASA) pourrait être utilisée pour établir des modèles informatiques qui traitent l’information sur les partitions musicales symboliques et les signaux audio pour identifier des effets orchestraux spécifiques. Notre travail dans ce domaine, pourrait aider à comprendre et à identifier les différentes propriétés techniques musicales impliquées dans la réalisation de ces effets qui sont appréciés par les compositeurs. Ces développements pourraient profiter aux systèmes conçus pour effectuer des analyses d'orchestration à partir de partitions musicales lisibles par machine. De plus, la compréhension des différents paramètres responsables de la perception des effets orchestraux pourrait être incorporée dans des outils d'orchestration assistée par ordinateur conçus pour rechercher les combinaisons d'instruments optimales en ajoutant des caractéristiques perceptuelles à leurs méthodes de recherche.

BIOGRAPHY

Aurélien Antoine is a post-doctoral fellow at McGill University working with Stephen McAdams and Philippe Depalle. His current research focuses on modeling of orchestration effects and techniques from machine-readable symbolic score information and audio signals through data mining and machine learning techniques. This work benefits from the resources available in the Orchard database and aims to expand it. Its outcomes will also contribute to the understanding and use of the different orchestration effects and techniques.

Aurélien Antoine est boursier postdoctoral à l'Université McGill et travaille avec Stephen McAdams et Philippe Depalle. Ses recherches actuelles se concentrent sur la modélisation des effets et des techniques d’orchestration à partir d’informations symboliques de partitions et de signaux audio lisibles par machine, en passant par l’exploration de données et les techniques d’apprentissage machine. Son travail bénéficie des ressources disponible dans la base de données Orchard, et souhaite la développer. Ses résultats contribueront également à la compréhension et à l’utilisation des différents effets et techniques d’orchestration.