Conan O'Brien naît près de Boston dans une famille de catholique irlandais, loin du show-business. Son père est professeur de médecine et sa mère avocate. Après des études plutôt brillantes, il entre à Harvard en 1981 où il obtient avec les honneurs une licence en histoire et littérature. Il enchaîne avec une thèse sur le symbole de l'enfance dans l'oeuvre de William Faulkner et Flannery O'Connor. Au cours de sa scolarité il dirige le magazine humoristique du campus, le Harvard Lampoon.Après son diplôme, Conan part tenter sa chance à Los Angeles où il débute comme auteur sur l'émission de HBO, Not Necessarily the News. Il y reste deux ans avant d'être remercié. Il enchaîne les petits boulots en même temps qu'il envoie au Saturday Night Live une sélection de sketchs rédigés avec son partenaire Greg Daniels. Il est engagé par Lorne Michaels (producteur de l'émission) et enchaîne trois années en tant qu'auteur pour le Saturday Night Live. En 1991, il écrit avec Robert Smigel - autre auteur du SNL - un pilote intitulé Lookwell avec pour tête d'affiche Adam West, le héros de la série des années soixante Batman. Le pilote n'aboutit pas et Conan se retrouve sans travail. Grâce à Greg Daniels, il rejoint alors l'équipe des Simpson pour lequel il devient auteur et producteur. Du Late Night au Tonight Show En 1993, c'est la guerre dans l'univers des talk-shows : Johnny Carson, l'animateur du Tonight Show sur NBC, l'émission-phare de la télévision US, prend sa retraite. David Letterman qui présente le talk-show suivant (Late Night with David Letterman) veut la place mais NBC la donne à Jay Leno. Letterman démissionne et Lorne Michaels est contacté pour produire l'émission qui comblera la place vacante. Celui-ci suggère à Conan O'Brien de passer l'audition. À la surprise générale, O'Brien est choisi et débute en septembre la présentation du Late Night with Conan O'Brien. Il est accompagné par Andy Richter régulièrement jusqu'en 2000 avant de présenter l'émission seul. Après trois ans de critiques négatives et de reconductions régulières grâce au soutien de Lorne Michaels, le show de Conan O'Brien finit par s'imposer. Pour l'anecdote : à l'occasion des dix ans de l'émission, Mr. T amène un collier en or avec le chiffre « 7 ». « Pourquoi 7 ? », demande O'Brien « ça fait dix ans qu'on est à l'antenne ». « Oui, mais seulement drôle depuis sept », répond Mr. T. Sur le plateau, Conan O'Brien est accompagné musicalement par le Max Weindberg 7, formation dirigée par Max Weindberg, le batteur du E Street Band, le groupe de Bruce Spingsteen. L'émission a remporté un Emmy Awards pour son équipe d'auteurs (et a été nommée en tout treize fois).
O'Brien fonde sa société de production Conaco en 2001 et devient co-producteur du Late Night. En 2004, NBC annonce l'arrivée de Conan O'Brien à la place de Jay Leno au Tonight Show pour 2009. La dernière du Late Night with Conan O'Brien a eu lieu le 20 février 2009. L'animateur y rend un vibrant hommage à Lorne Michaels, David Letterman ainsi qu'à Jay Leno. Il est le dernier invité du Tonight Show avec Jay Leno et reprend le flambeau de cette institution (plus de cinquante ans d'existence et quatre animateurs seulement : Steve Allen, Jack Pear, Johnny Carson et Jay Leno) le premier juin 2009.
Doué pour se moquer de lui-même, ses gags tournent souvent autour de ses manies et de la soi-disante nullité de ses prestations. Ainsi au cours du dernier numéro de son Late Show, il s'étonnait d'avoir tenu 2 725 épisodes « dont deux ou trois ont été bons ». Dans le même esprit, en 2000, invité par Harvard, son ancienne université, il écrit un speech hilarant rapportant tous les grands événements de sa vie qu'il conclut par une dernière pensée : « si vous pouvez rire de vous à gorge déployée chaque fois que vous tombez, les gens penseront que vous étiez bourré ».