依照刑法第246条，如果侵害人的侮辱或诽谤行为虽然情节严重，但不是严重危害了社会秩序和国家利益，那么只有受害人控告或起诉，才可以追究侵害人的刑事责任。