需要收回。《国家税务总局关于修订〈增值税专用发票使用规定〉的通知》（国税发〔2006〕156号）第十三条规定，一般纳税人在开具专用发票当月，发生销货退回、开票有误等情形，收到退回的发票联、抵扣联符合作废条件的，按作废处理。开具时发现有误的，可即时作废。作废专用发票须在防伪税控系统中将相应的数据电文按“作废”处理，在纸质专用发票（含未打印的专用发票）各联次上注明“作废”字样，全联次留存。第二十条规定，同时具有下列情形的，为本规定所称作废条件：1.收到退回的发票联、抵扣联时间未超过销售方开票当月。2.销售方未抄税并且未记账。3.购买方未认证或者认证结果为“纳税人识别号认证不符”、“专用发票代码、号码认证不符”。因此，企业需要收回已经交给购货方的联次后，才能作废增值税专用发票。