Les sujets de mini-projets 2019-2020 sont ici : sujets-2019-2020.pdf
Présentation
La première partie du cours est construite autour de la chaîne de traitement du signal audio pour la voix et la musique. On parlera de psychoacoustique (dynamique de l’oreille, masquage), d’acoustique musicale (gammes, synthèse sonore) , de compression MP3 et d’illusions sonores, et des effets de traitement audio les plus courants dans les systèmes audio professionnels (post-prod cinéma et production musicale, radio, TV, robotique, jeu video), en particulier l’égalisation, la compression dynamique, la spatialisation et la réverbération.
Une seconde partie porte sur les aspects architecture pour le traitement audio : CODEC audio, DSP, STM32, interfaces I2S, SAI, SPDIF, etc
Une troisième et dernière partie est consacrée au traitement du signal audio pour la MIR (Music Information Retrieval) : indexation et classification, séparation de sources, machine learning et inférence bayésienne.
Enfin, les sujets de TP prolongent le cours plus qu’ils ne l’illustrent : il s’agit davantage d’un espace d’exploration et de réflexion autour du traitement du signal audio via l’étude d’une ou deux problématiques particulières sur plusieurs séances.
Supports de cours
- Première partie (rappels d’acoustique, psychoacoustique, chaîne analogique, chaîne numérique, architectures) – S. Reynal, ETIS CNRS
- Séparation de sources appliquée à la musique (R. Hennequin, Deezer)
- Transformation et séparation du son (G. Peeters, IRCAM)
- Modèles de signaux, estimateurs, descripteurs audio et apprentissage machine (G. Peeters, IRCAM)
- Non-Negative Matrix Factorization pour la séparation de source : calcul détaillé (Dogac Basaran, Audible Magic, UK)
- Deep learning pour la classification de morceaux de musique (R. Hennequin)
Travaux Pratiques
Les 4 séances de TP sont séparées en 2 parties :
- une première partie (séances 1 et 2) orientée “signal audio avancé” et “MIR” (Music Information Retrieval).
- une seconde partie (séances 3 et 4) orientée “architectures audio” et “effets audio”
Séances 1 et 2
Un sujet au choix parmi :
- Modification du signal audio par TFCT inverse (débruitage, dilatation temporelle, vocoder de phase) : le sujet, un script de départ pour Matlab et un fichier audio bruité pour les tests ; également, les diapos sur les diverses transformées de Fourier pour le signal musical
- Séparation de sources par décomposition en matrices non-négatives : sujet et documents Matlab sous forme de fichier ZIP (ou accès direct aux fichiers séparés)
Séances 3 et 4
Un sujet au choix parmi :
- Sujet 1 : effets audio pour la production
- Réponses impulsionnelles pour la réverbération (en format “signed int” sur 24 bits, à charger avec la fonction read de matlab et les paramètres appropriés bien entendu) : studio à revêtement en bois et hall
- Fichier audio pour tests additionnels pour la noise gate voix noyée dans un bruit de foule
- Doc constructeur NTR Rode à ruban
- Doc constructeur Neuman KM183
- Doc constructeur Shure SM58
- Sujet 2a : traitement audio temps réel avec ALSA (rebooter sous Ubuntu dans ce cas) : introduction à ALSA, un bon howto sur l’API et un très bon tuto pour écrire du code d’effet audio temps réel
- Sujet 2b : traitement audio temps réel avec Java Audio API : introduction à la Java Audio API, un bon howto sur l’API et le site de référence pour les resources audio en Java