La tarea es posible pero no es fácil. Requiere interceptar ciertas API de escritura en el registro y como muchos programas AV, es posible que tengamos que bajar hasta el modo Kernel para asegurarnos de que esos Hooks abarcarán cualquier proceso en marcha.
Existen programas como el regmon de
sysinternals que demuestran como interceptar los accesos al registro de Windows.
Spybot con su TeaTimer, es un programa anti espías ya clásico y gratuito. TeaTimer vigila el registro y avisa de los cambios que se produzcan. El problema es el de siempre, que la cantidad de avisos generados aburren...
Como dice
eduarcol, se puede, pero quizás no merezca la pena el esfuerzo para emular a otros programas que realizan ese trabajo. :^)
Vigilar las claves del registro que colocan a los programas como ejecutables al inicio (pej. HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Run y otras muchas mas...), puede ser mas sencillo, sobre todo si lo abordamos desde un simple timer. Puede ser un "método casero", no por ello poco eficaz, pero desde luego no infalible.
Saludos.