El origen del nombre del pueblo no es seguro, aunque se habla de un asentamiento judío en la zona en tiempos romanos llamado "Cadalfarum" del que habría derivado el término de Cadalso. El añadido "de los Vidrios" hace referencia a unas importantes fábricas de vidrio situadas en esta localidad