So mach ich es auch.
In der Regel geht das sehr schnell und problemlos, solange nichts großes im Menü umgebaut wird. Kürzlich wurden alle Netzwerktreiber neu angeordnet, in dem Fall war es übersichtlicher, make menuconfig aufzurufen.
Und ich habe auch nur die Treiber im Kernel, die ich brauche, die anderen alle nicht. Klar, da vergisst man gerne mal was.
Wenn ich einen neuen Kernel für ein neues Gerät baue, dann lass ich immer im Zweifelsfall ein paar Treiber mehr drin, bis mal alles läuft und sortiere dann nach trial & error aus.