Ihr habt also einen stinknormalen TAE Telefonanschluss im Keller und ein Nebenstellenphone oben?

Dann kommt an den WLAN Router und das Phone einfach der Splitter dran und der in die TAE Buchse, so wie hier:
[ http://www.netzwelt.de/images/dslrouter/dslausbau.gif ]
Was Du vorhast ist einen zweiten Router zwischen den Router und den Splitter zu stecken. Und das nur, um die Kabel nicht neu einstecken zu müssen?
[color=red].
.
.
EDIT (autom. Beitragszusammenf