狄仁杰，字怀英，并州晋阳（今山西太原）人。狄家是东羌豪族，东晋南渡开始就历代为官，后因战乱从天水迁徙至晋阳，逐渐汉化，成为当地大族。
狄仁杰小时候家中门人被杀，县吏前来查问，众人都争相申辩，只有狄仁杰在一边读书不予理会。面对县吏的责问，他回答道：“我正在与书卷中的圣贤交流，哪有空和俗吏说话。”
狄仁杰长大后参加科举，选择了难度稍低的明经科，得中后出任汴州判佐，在任上被小吏诬告。绘制过“凌烟阁”功臣图的大画家阎立本时任河南道黜陟使，他在审问狄仁杰时，发现从他的眼神中看不到一丝畏惧之色，表现沉着冷静。详细了解情况后，阎立本认为狄仁杰德才兼备，称其为沧海遗珠。
经过阎立本的推荐，狄仁杰升任并州都督府法曹，掌管刑法诉讼。一次，他登上太行山回首南望，看见一片白云飘飞，想到远在河南的父母，对同行人说：“我的父母就在那片云下面啊。”伫立怅望良久，直到白云远去方才离开。后世用“白云孤飞”形容客居他乡，思念父母。
狄仁杰有一个同僚叫郑崇质，母亲年老多病。一次，郑崇质要到西域公干，一来一去时间很久。狄仁杰就主动找到并州长史蔺仁基，请求代替郑崇质，好让他的母亲不为儿子担心。蔺仁基非常感动，联想到自己与并州司马李孝廉之间的不和，深感惭愧，主动与李孝廉和解。他经常对人称赞狄仁杰道：“狄公之贤，北斗以南，一人而已。”
仪凤年间，狄仁杰升任大理寺丞。他在一年内判决大量积压案件，涉案的一万七千余人，无一人喊冤。年终官员考核，狄仁杰被大理寺评为中上。尚书左仆射刘仁轨看狄仁杰新入职不久，审核时习惯性把考绩改低。大理寺卿张文瓘知道后，马上去找刘仁轨，把狄仁杰的表现陈述一番。刘仁轨听后大吃一惊，亲自把狄仁杰的考绩改成上下等。官员考核，上三等，中三等，下三等，上上等从不授人，上下等是新入职官员能得到的最好成绩。
公元676年，左威卫大将军权善才、右监门中郎将范怀义误砍昭陵柏树，论罪应当免职，但盛怒之下的唐高宗要处死他们。狄仁杰为二人上奏辩护。唐高宗怒道：“他们砍伐昭陵柏树，置我于不孝之地，必须处死。”左右示意狄仁杰赶紧退下，狄仁杰直言道：“陛下的律法本有差别等次，现在罪不至死而要处死犯人，如何取信于天下？只因误砍一棵柏树，便杀掉两位将军，后世又如何看待陛下？”高宗怒气稍解，免去二人的死罪。
不久，狄仁杰出任侍御史。左司郎中王本立倚恃皇帝宠信，骄横跋扈。狄仁杰弹劾王本立，请求将其交付法司审理，但唐高宗却下诏宽宥他。狄仁杰劝谏道：“国家缺乏人才，但不缺王本立这种人。陛下为何要爱惜他而损害国法呢？如果一定要赦免王本立，请把臣流放蛮荒，为以后的忠贞之臣提个醒吧！” 后来，王本立受到惩处，朝廷风气变得严整恭顺起来。
公元686年，狄仁杰外放宁州刺史。宁州地处西北，辖区内汉胡混居，情况复杂。狄仁杰到后妥善处理各民族关系，深受百姓爱戴。当地人立碑勒石，颂扬他的德政。御史郭翰巡察陇右，根据举报调查弹劾了大批官吏。但郭翰来到宁州后，却一路听到人们称颂刺史德政，直到他答应会向朝廷举荐狄仁杰，州人方散。不久，狄仁杰被任命为冬官侍郎。
