Der Nikkei legte um 0,15% zu und schloss bei 38.525,95, nachdem er zuvor um bis zu 1% gefallen war.
Der Index stieg am Montag um 2% und erholte sich damit von seinem Dreimonatstief, das er letzte Woche erreicht hatte.
Der breiter gefasste Topix schloss 0,19% niedriger bei 2.754,45.
"Der Nikkei hätte an einem Tag wie heute, an dem der Markt nur auf die Entscheidungen der Zentralbank wartete, nicht so stark fallen dürfen", sagte Naoki Fujiwara, Senior General Manager bei Shinkin Asset Management.
Es wird erwartet, dass die Bank of Japan nach der geldpolitischen Sitzung am Mittwoch Pläne zur quantitativen Straffung bekannt geben wird, während der Markt über eine Zinserhöhung geteilter Meinung ist.
Die Märkte rechnen kaum mit einer Zinssenkung in den USA in dieser Woche, haben aber eine Senkung um 25 Basispunkte im September voll eingepreist.
"Die Marktstimmung wird sich aufhellen, wenn die BOJ ihren Leitzins morgen nicht anhebt, und der Yen wird sich abschwächen, was auch gut für Aktien ist", sagte Fujiwara.
Der Chip-Hersteller Tokyo Electron änderte seinen Kurs und stieg um 0,84%, was dem Nikkei den größten Auftrieb gab. Der Personaldienstleister Recruit Holdings stieg um 2,86%.
Fanuc stiegen um 2,93%, nachdem der Roboterhersteller seine Jahresprognose für den Betriebsgewinn um 0,8% angehoben hatte.
Pasona Group stiegen um 12,17%, nachdem aus einem Bericht hervorgeht, dass der aktivistische Investor Oasis Management einen Anteil von 5,02% an dem Personal- und Outsourcing-Unternehmen hält.
Die Aktien der Uniqlo-Marke Fast Retailing fielen um 0,53% und belasteten den Nikkei am stärksten.
Von den 225 Bestandteilen des Nikkei stiegen 100 Aktien, 123 fielen und zwei blieben unverändert. (Berichterstattung von Junko Fujita; Bearbeitung von Subhranshu Sahu und Eileen Soreng)