A música I Started a Joke foi criada pelos irmãos Gibb, conhecidos como Bee Gees. Segundo Robin Gibb, a inspiração veio em um momento de melancolia durante uma turnê. A letra reflete sentimentos de isolamento e a ironia de causar dor sem intenção. Essa música destaca a habilidade dos Bee Gees de criar melodias memoráveis que combinam com letras profundas.