Le juge d’instruction possède le pouvoir de mettre en examen "les personnes à l'encontre desquelles il existe des indices graves ou concordants rendant vraisemblable qu'elles aient pu participer, comme auteur ou comme complice, à la commission des infractions dont il est saisi" (article 80-1 du code de procédure pénale). 

Pour assurer le bon déroulement de l'enquête, il peut :

• prendre l’initiative de limiter la liberté d'un individu pendant l’instruction, dans le cadre du contrôle judiciaire ;
• délivrer des mandats, auprès de la force publique, pour contraindre un individu à se présenter devant lui.

Le juge d’instruction est également doté de larges pouvoirs lui permettant d’œuvrer à la manifestation de la vérité. Il peut se déplacer sur les lieux, procéder à des perquisitions et saisies, ordonner des expertises, entendre les victimes et témoins, etc. Dans la pratique, cependant, le juge n’exerce pas directement ces actes d'instruction. La plupart du temps, il les délègue à la police judiciaire ou à un autre juge, dans le cadre de commissions rogatoires.
 
À l’issue de l’instruction, le juge d'instruction peut :

• prendre une ordonnance de renvoi de l’affaire devant la juridiction de jugement, s’il estime avoir recueilli des charges suffisantes ;
• rendre une ordonnance de non-lieu, si, malgré ses enquêtes, il ne détient pas suffisamment de charges contre la personne mise en examen.

Au cours de l’instruction, le juge est amené à prendre des décisions juridictionnelles, par exemple lorsqu'il place un individu sous contrôle judiciaire ou qu’il refuse de procéder à un acte demandé par une partie. On dit qu'il procède par ordonnance motivée, prise après réquisition du ministère public. Ces ordonnances sont notifiées aux parties et à leurs conseils, qui peuvent néanmoins faire appel de la décision. 

L'action du juge d'instruction dépend de l'acte de saisine délivré par le parquet (le juge d'instruction ne peut pas s'auto-saisir). 

Le juge d'instruction n'a pas la possibilité de placer lui-même le mis en examen en détention provisoire, cette compétence est du ressort du juge des libertés et de la détention. 

La plupart de ses actes sont soumis au principe du contradictoire et peuvent faire l’objet d'une contestation de la part des parties (qui peuvent faire appel). 

L'intervention du juge d'instruction concerne une infime minorité d'affaires pénales (moins de 3% des affaires en 2020).

Par ailleurs, le juge d’instruction doit bénéficier d’une habilitation pour avoir connaissance de certains dossiers (par exemple pour les mineurs) et le fonctionnement de son cabinet fait l’objet d’un contrôle par une juridiction de second degré, la chambre de l'instruction.

Le juge d'instruction a souvent été critiqué comme un magistrat trop seul, eu égard à la complexité des affaires dont il s'occupe. La loi du 5 mars 2007 prévoyait des pôles de l’instruction, regroupant dans certains tribunaux au moins trois juges exclusivement compétents pour instruire les affaires les plus graves. Toutefois, la collégialité effective de l'instruction, initialement prévue dans la réforme de 2007, a été retardée puis abandonnée en 2016.