飯塚悟史さん、いったん2軍落ち