Du kannst das doch über die Internetfreigabe von Windows regeln.
Hier wurde es erklärt, wie man das einrichtet.
Ich würde dir aber trotzdem einen normalen Router empfehlen. Den ASUS WL-500g Deluxe
Er hat 4 Ethernet Ports und WLAN (IEEE 802.11g)
Er besitzt zudem noch einen Printer Server, einen kleinen FTP Server und hat WebCam Unterstützung. Für knapp 90 € find ich das in Ordnung.