Présentation
Le cours est construit dans une première partie autour de la chaîne de traitement du signal audio pour la voix et la musique. On parlera de psychoacoustique, d’acoustique musicale , de compression MP3 et d’illusions sonores, et des effets de traitement audio les plus courants dans les systèmes audio professionnels (post-prod cinéma et production musicale), en particulier l’égalisation, la compression dynamique, la spatialisation et la réverbération. Une seconde partie est consacrée au traitement du signal audio pour la MIR : indexation et classification (Romain Hennequin, DEEZER), séparation de sources (D. Basaran, IRCAM). Les sujets de TP prolongent le cours plus qu’ils ne l’illustrent : il s’agit davantage d’un espace d’exploration et de réflexion autour du TSA via l’étude d’une problématique particulière sur plusieurs séances.
Supports de cours
- première partie (rappels d’acoustique, psychoacoustique, chaîne analogique, chaîne numérique, architectures) — (version 2018 mise à jour)
- transformation et séparation du son (intervention R. Hennequin/G. Peeters)
- modèles de signaux, estimateurs, descripteurs audio et apprentissage machine (intervention D. Basaran/G. Peeters)
- Notes de cours de Dogac
- Addendum : deep learning pour la MIR (R. Hennequin)
Travaux Pratiques
Les 4 séances de TP sont séparées en 2 parties : une première partie (séances 1 et 2) orientée “architectures audio” et “effets audio” ; une seconde partie (séances 3 et 4) orientée “TSA avancé” et “MIR”.
Séances 1 et 2
Un sujet au choix parmi :
- Sujet 1 : psychoacoustique et programmation d’effets audio sous matlab.
- Réponses impulsionnelles pour la réverbération (en format “signed int” sur 24 bits, à charger avec la fonction read de matlab et les paramètres appropriés bien entendu) : studio à revêtement en bois et hall
- Fichier audio pour tests additionnels pour la noise gate voix noyée dans un bruit de foule
- Doc constructeur NTR Rode à ruban
- Doc constructeur Neuman KM183
- Doc constructeur Shure SM58
- Sujet 2a : traitement audio temps réel avec ALSA (Raspberry Pi ou Ubuntu) : introduction à ALSA, un bon howto sur l’API et un très bon tuto pour écrire du code d’effet audio temps réel
- Sujet 2b : traitement audio temps réel avec Java Audio API : introduction à la Java Audio API, un bon howto sur l’API et le site de référence pour les resources audio en Java
- Sujet 3 : compresseur analogique à base de NE571 (Note d’application)
Séances 3 et 4
Un sujet au choix parmi :
- Modification du signal audio par TFCT inverse (débruitage, dilatation temporelle, vocoder de phase) : le sujet, un script de départ pour Matlab et un fichier audio bruité pour les tests ; également, les diapos sur les diverses transformées de Fourier pour le signal musical
- Séparation de sources par décomposition en matrices non-négatives : sujet et documents Matlab sous forme de fichier ZIP (ou accès direct aux fichiers séparés)