Es tal como dice Miguelnb: no hay diferencias que un usuario convencional pueda notar además de la incompatibilidad con software y hardware, aunque créeme, terminas acostumbrándote a buscar aplicaciones para 64 bits, a pesar de que el cambio de 32 a 64 sea extraño al principio. NOTA: un SO de 64 bits puede usar también programas de 32 sin problemas, con algunas excepciones (como los antivirus…).

Si quieres ponerte un poco más técnico, un SO de 64 bits tiene una manera diferente de manejar la RAM (registros, buses de direcciones y de datos), además de que obviamente usa instrucciones x86_64 específicas para el procesador.

Había leido que cuando usas un procesador de 64 bits con un SO de 32 (o más bien, con instrucciones de 32 bits), cada vez que el procesador reserva memoria RAM, ésta cantidad reservada tiene una penalización, o sea, te gasta un poco más de lo que el procesador pide. No te asustes, la penalización es muy pequeña si es que utilizas aplicaciones convencionales, así que tu RAM rendirá prácticamente igual. Los procesadores para servidores (como Opteron, de AMD) son de 64 bits, pero no sufren de penalización de RAM aún si las instrucciones que les mandan son de 32 bits, aunque la diferencia en precios se nota, jeje.