빅토리아 자유당, 새 리더·피로한 상대… '자해성 상처'가 발목