El vídeo de "An Honest Mistake" fue dirigido por Michael "Mike" Palmieri (Foo Fighters, The Strokes) y presenta a la banda interpretando la canción aparentemente rodeada por una máquina de Rube Goldberg. La cadena comienza con varias filas de fichas de dominó e incluye muchos otros objetos, como bombillas, huevos y un acuario. Se muestran diferentes partes de la acción desde múltiples vistas, a menudo mostrándolas de una manera, cambiando a otro ángulo y luego volviendo a la vista original. Finalmente, una flecha en llamas se dispara hacia un objetivo, pero falla hacia la derecha.^[2]​

La escritora de AllMusic, MacKenzie Wilson, dijo que la canción "se pasea como el clásico New Order con su energía mecánica en tonos oscuros".^[3]​ Sarah Peters de Lost At Sea puso la canción junto a "Public Service Announcement" para mostrar la musicalidad perfeccionada de la banda y su conocimiento de la nueva ola, diciendo que cuando "saquen las ondas, no debería haber demasiados oyentes impresionados por la cantidad de la banda". de estudio: ¿por qué analizar y apreciar cuando puedes simplemente bailar?"^[4]​ Adam Moerder de Pitchfork Media consideró que la pista era una de las pocas destacadas del disco y la calificó como "uno de los pocos momentos atrevidos del álbum, con Endicott cantando burlonamente en falsete" No me mires de esa manera / Fue un error honesto."^[5]​

• Aparece en el videojuego True Crime: New York City
• La versión Superdiscount Remix apareció en el videojuego de carreras Burnout Revenge