Présentation
La première partie du cours est construite autour de la chaîne de traitement du signal audio pour la voix et la musique. On parlera de psychoacoustique (dynamique de l’oreille, masquage), d’acoustique musicale (gammes, synthèse sonore) , de compression MP3 et d’illusions sonores, et des effets de traitement audio les plus courants dans les systèmes audio professionnels (post-prod cinéma et production musicale, radio, TV, robotique, jeu video), en particulier l’égalisation, la compression dynamique, la spatialisation et la réverbération.
Une seconde partie porte sur les aspects architecture pour le traitement audio : CODEC audio, DSP, STM32, interfaces I2S, SAI, SPDIF, etc
Une troisième et dernière partie est consacrée au traitement du signal audio pour la MIR (Music Information Retrieval) : indexation et classification, séparation de sources, machine learning et inférence bayésienne.
Enfin, les sujets de TP prolongent le cours plus qu’ils ne l’illustrent : il s’agit davantage d’un espace d’exploration et de réflexion autour du traitement du signal audio via l’étude d’une ou deux problématiques particulières sur plusieurs séances.
Supports de cours
- Première partie (rappels d’acoustique, psychoacoustique, chaîne analogique, chaîne numérique, architectures) – S. Reynal, ETIS CNRS
- Séparation de sources appliquée à la musique (R. Hennequin, Deezer)
- Transformation et séparation du son (G. Peeters, IRCAM)
- Modèles de signaux, estimateurs, descripteurs audio et apprentissage machine (G. Peeters, IRCAM)
- Non-Negative Matrix Factorization pour la séparation de source : calcul détaillé (Dogac Basaran, Audible Magic, UK)
- Deep learning pour la classification de morceaux de musique (R. Hennequin)
Travaux Pratiques
Les 4 séances de TP permettent d’explorer plusieurs thèmes, au choix :
- un premier thème orienté “signal audio avancé” et “MIR” (Music Information Retrieval).
- un second thème orienté “architectures audio” et “effets audio”
[COVID-19] Attention, certains sujets doivent être adaptés dans une situation d’enseignement à distance.
Thème “Signal audio/MIR”
- Modification du signal audio par TFCT inverse (débruitage, dilatation temporelle, vocoder de phase) : le sujet, un script de départ pour Matlab et un fichier audio bruité pour les tests ; également, les diapos sur les diverses transformées de Fourier pour le signal musical
- Séparation de sources par décomposition en matrices non-négatives : sujet et documents Matlab sous forme de fichier ZIP (ou accès direct aux fichiers séparés)
Thème “architecture/effets”
- Effets audio pour la production
- Réponses impulsionnelles pour la réverbération (en format “signed int” sur 24 bits, à charger avec la fonction read de matlab et les paramètres appropriés bien entendu) : studio à revêtement en bois et hall
- Fichier audio pour tests additionnels pour la noise gate voix noyée dans un bruit de foule
- Doc constructeur NTR Rode à ruban
- Doc constructeur Neuman KM183
- Doc constructeur Shure SM58
- Traitement audio temps réel avec ALSA (rebooter sous Ubuntu dans ce cas) : introduction à ALSA, un bon howto sur l’API et un très bon tuto pour écrire du code d’effet audio temps réel
- Traitement audio temps réel avec Java Audio API : introduction à la Java Audio API, un bon howto sur l’API et le site de référence pour les resources audio en Java