雍正五年，1727年，雍正穿的掉色，令内务府展开调查。
“现在库内所有缎疋，若皆落色，即是织造官员织得不好，倘库内缎疋有不落色者，便是挑选缎疋人等，有意挑选落色缎疋，陷害织造官员，亦未可定。”
雍正一下子就想到也许是有人陷害。
调查结果是所有的石青缎面都落色。所以是织造官员的过错，曹頫罚俸一年，新任苏州织造高斌罚俸半年。
石青是深蓝色，深蓝和黑色是最爱掉色的颜色，丝绸是最容易掉色的材质。即便是现在，深色真丝衣服掉色也不能完全避免。这是工艺技术的局限。
康熙时期，衣服掉色情况也发生过，康熙只是下旨重做。雍正在旨意中说“落色”，并没有说落色的程度。
更有趣的是，调查得出的落色原因。原因是丝绸从运河走，水汽进了船舱，丝绸受了潮，才引起掉色。所以，这一年，三织造要改为走陆路运丝绸上京。曹家任织造官六十年，自运河运丝绸六十年，第一次遇到这个问题。
五月，雍正下了一道圣旨，“本年系高斌回京之年……高斌着不必回京，仍着曹頫将其应进缎疋送来。”
特意指明要曹頫运送。
这一年的十一月，山东巡抚赛楞额参奏说：“杭州等三处织造运送龙衣，经过长清县等处，于堪合外，多索夫马、程仪、骡价等项银两，请旨禁革。”但是，同一份奏折上也说，曹頫多索的部分，是“相沿已久”，“照旧例收受”，只是应该“于勘合内议加”。
曹頫不大走陆路，所以不了解驿站的情况，不清楚新的规章。这个节骨眼上，他应该非常小心，但还是犯了错，被抓住了。
赛楞额奏折上说，“杭州等三处织造”，实际上运送的人是曹頫。而三织造中，江宁织造地位最高。最后的结果也是曹頫受罚。他刻意避开了曹頫的名字。
十二月初四，雍正的批示也是“三处织造”如何，并说：“织造差员现在京师，着内务府、吏部，将赛楞额所参各项，严审定拟具奏”。他知道织造差员在北京，当然也知道织造差员是谁。
曹頫从十二月起归案，应该就失去了人身自由。
十二月十五日，因“曹頫审案未结”，雍正任命隋赫德任江宁织造。十二月二十四日，下旨江南总督范时绎查封曹頫财产，捉拿曹家家人，即抄家。并且“俟新任织造官隋赫德到彼之后办理。”理由是曹頫“织造款项亏空甚多”，以及亏空之后，“将家中财产暗移它处”。
雍正六年，1728年正月，范时绎查封曹家家产。二月，隋赫德到达南京，清查曹家家产。
一面是雷厉风行查抄曹家家产，一面是慢悠悠查几百两的骚扰驿站案。经严审，六年六月，判决曹頫赔银四百四十三两二钱，而这时他已经一无所有，无法偿还四百多两的赔银，于是一直枷号追索，直到乾隆登基，此案才了结。