ワタモテ、かつての勢いを失う