Baillie ha trabajado con varias bandas a lo largo de los años. En 2010, trabajó con MariaMaria para lanzar un sencillo, «Sonnet for a Vampire». Baillie cantó con Sarah White en el bajo y Corrine Aze «Hazel» Corleone en la guitarra.^[1]​

En 2009, poco después de las bromas telefónicas de The Russell Brand Show, Adam Ant se hizo amigo de Baillie y, a partir de 2011, siguieron siendo amigos cercanos. Contrató a Baillie para supervisar la programación de su calendario y le pidió que hiciera coros para sus actuaciones.^[2]​ Esto duró de 2010 a 2013. Al principio cantó con White y más tarde con Georgina «Twinkle» Leahy; más tarde cantó coros sola.^[3]​ Como miembro de la banda de Ant "The Good, The Mad and the Lovely Posse", apareció como corista en el video musical «Cool Zombie» de Ant, lanzado en Blueblack Hussar Records, y en imágenes de conciertos que aparecen en The Blueblack Hussar, un documental sobre el regreso musical de Ant a principios de la década de 2010 dirigido por Jack Bond, así como en extras incluidos en el lanzamiento del DVD de la película.^[4]​

Baillie coescribió dos canciones en respuesta al incidente con Jonathan Ross y Russell Brand. Una fue «Gun In Your Pocket», una canción de Ant con la participación de Baillie en la que se habla tanto de Baillie como de Brand.^[5]​^[6]​ «Gun In Your Pocket» fue escrita en 2010 como sencillo para el próximo álbum de Ant, Adam Ant Is the Blueblack Hussar in Marrying the Gunner's Daughter.^[7]​ Al final, la canción se lanzó a fines de 2012 como el lado B del sencillo previo al álbum “Cool Zombie”.^[8]​ La otra canción fue «Rubber Medusa», una canción dirigida a Brand desde el punto de vista de Baillie, coescrita con Ant.^[5]​

De 2011 a 2012, Baillie fue la cantante principal de la banda Georgie Girl And Her Poussez Posse, de la que Ant fue mentor. Hubo dos encarnaciones de Poussez Posse. La formación original contaba con Baillie y Fiona Bevan y Danie Cox, ambas en guitarras, Rachael Smith en batería y Molly Spiers Macleod en bajo. Grabaron un sencillo de «Rubber Medusa» (b/w «Teacher») y un EP de cuatro canciones de Cox. Ambos proyectos permanecen inéditos. Bevan se fue para concentrarse en su propia música en julio de 2011 y Cox, Smith y Spiers Macleod se fueron abruptamente en septiembre (para fundar su propia banda The Featherz, liderada por Cox).^[9]​

En este punto, se reclutó a la segunda encarnación de Posse, con el regreso de Corleone en la guitarra, la baterista Jessica Rushton y la futura bajista de Curse of Lono Charis Anderson.^[10]​ Esta versión realizó una gira por el Reino Unido, Europa y Australia apoyando a Ant y su banda entre octubre de 2011 y diciembre de 2012, con Baillie realizando una doble función todas las noches como líder de Posse y corista de Ant.^[11]​^[12]​

A principios de 2013, Baillie disolvió el segundo Posse. Ella cantó y Corleone tocó la guitarra como el dúo Vortex Empress.^[13]​ Produjeron dos canciones, «Burn Me» y «Spellbound» y un video musical para la primera. Desde mediados hasta finales de 2013, cantó coros en Guns 2 Roses (el acto tributo oficial de Guns N' Roses ). En 2016, trabajó con Boz Boorer cantando en la canción «Le Stalker» en el álbum en solitario de Boorer Age of Boom.^[14]​^[15]​

John Robb de Louder Than War, en una entrevista completa para el sitio, describió el trabajo de Baillie como «punk burlesco». El Evening Standard de Londres ha perfilado su carrera musical y su colaboración musical y amistad con Ant. El Tampa Bay Times describe la música de Georgie Girl & Her Poussez Posse como «fresca y áspera», comparando su sonido con «Hole vs Garbage vs un equipo sexy de roller derby».^[16]​

Baillie ha trabajado en burlesque. Algunos de sus colaboradores y proyectos incluyen: Salvation Group y Satanic Sluts Extreme, un grupo de baile de burlesque gótico de cuatro integrantes que se originó como una rama de la subcultura en línea “Satanic sluts” organizada por Nigel Wingrove; el nombre artístico de su personaje era Voluptua. Se describían a sí mismas como: «cuatro de las jezabeles londinenses más depravadas y sexis». Actuaron en el festival de Glastonbury y en varios videos musicales.^[17]​^[18]​

Baillie comenzó a crear dibujos tipo caricatura en 2017 como parte de su rehabilitación. Más tarde comenzó a pintar y producir serigrafías.^[19]​ En 2024, creó un podcast, HOPE: Hearing Other People's Experiences, en el que habló sobre su experiencia con la adicción con invitados como la Dra. Chantelle Lewis, la Dra. Gillian Shorter, Tati Silva, Alexe, Pax, Christine Lynn Cant, Chris Beradi y Will Ogden.^[20]​