En última instancia, sin embargo, el debate con los herejes se centraba en la cuestión de la autoridad de la iglesia. Esto no se debía sencillamente a que fuera necesario que alguien decidiera quién tenía razón, sino que se debía más bien al carácter mismo de lo que se debatía. Los herejes decían que las verdaderas enseñanzas de Jesús habían sido pasadas a través de algún apóstol, y que ellos eran los verdaderos depositarios de esas enseñanzas.
En el caso de los gnósticos, se trataba de una supuesta tradición secreta. Según ellos, Jesús le había enseñado “la verdadera gnosis” a tal o cual apóstol, y éste a su vez se la había hecho llegar a los gnósticos.
En el caso de Marción, se trataba de los escritos de Pablo, en los cuales, después de expurgar toda referencia positiva al judaísmo, Marción creía encontrar el evangelio original. Frente a los gnósticos y a Marción, el resto de la iglesia decía poseer el evangelio original y las enseñanzas verdaderas de Jesús. Por tanto, lo que se debatía era en cierto sentido la autoridad de la iglesia frente a las pretensiones de los herejes. En tales circunstancias, el argumento de la sucesión apostólica cobró especial importancia. Lo que este argumento decía era sencillamente que, si Jesús tenía alguna enseñanza secreta que comunicarles a sus discípulos, lo más lógico sería suponer que les confiaría tal enseñanza a los mismos apóstoles a quienes les confió la dirección de la iglesia. Y, si tales apóstoles a su vez habían recibido algún secreto, sería de esperarse que se lo transmitirían, no a algún extraño, sino a las mismas personas a quienes confiaron la dirección de las iglesias que iban fundando. Por tanto, si hubiera tal enseñanza secreta, esa enseñanza no se encontraría sino entre los discípulos directos de los apóstoles, y sus sucesores.
Pero el hecho es que los jefes de las iglesias que en el día de hoy —es decir, en el siglo segundo— pueden reclamar esa sucesión apostólica niegan unánimemente que haya habido tales enseñanzas secretas. Por tanto, todo lo que pretenden los herejes al decir que poseen una tradición secreta que es superior a la de la iglesia, es falso. A fin de darle fuerza a este argumento, era necesario mostrar que los actuales obispos de las iglesias eran sucesores de los apóstoles. Esto no era del todo difícil, por cuanto en varias de las más antiguas iglesias existían listas de obispos que servían para unir el presente con el pasado apostólico. Roma, Antioquía, Éfeso y otras sedes episcopales poseían tales listas. Los historiadores dudan hoy acerca de la exactitud de los datos que esas listas nos dan, pues al parecer en algunas iglesias —Roma entre ellas— no hubo al principio obispos en el sentido moderno, sino que hubo un grupo de varios oficiales que recibían unas veces el título de “obispos” y otras el de “ancianos”. Pero en todo caso, sea a través de obispos o de otra clase de oficiales, el hecho es que la iglesia del siglo segundo podía mostrar su conexión con los apóstoles.
¿Qué entonces de aquellas iglesias fundadas después del tiempo de los apóstoles y que no podían reclamar para sí la misma sucesión? ¿No eran apostólicas? Sí lo eran, pues no se trataba aquí de que todas las iglesias pudieran mostrar su conexión directa con los apóstoles, sino que se trataba más bien de que todas concordaran en la fe, y que pudieran juntamente mostrar que esa fe les había sido enseñada por los apóstoles.
En fechas posteriores, la idea de la sucesión apostólica fue llevada mucho más lejos, y se llegó a pensar que la ordenación de los ministros sólo era válida si tales ministros eran ordenados por obispos que poseían la sucesión apostólica —es decir, que de algún modo podían mostrar una línea ininterrumpida que se remontara hasta el tiempo de los apóstoles—. Pero en el siglo segundo no se trataba de esto, sino sólo de la unidad de doctrina. De hecho, la mayoría de las iglesias no podía reclamar para sí origen apostólico, pues había aparecido en lugares a donde el cristianismo había llegado por medios desconocidos.
A la larga alguna de las iglesias en las ciudades más importantes —como Alejandría y Constantinopla— inventaron sus propias leyendas acerca de sus orígenes apostólicos. Pero por lo pronto lo importante era sencillamente que todas las iglesias concordasen —frente a los gnósticos y a Marción— en lo esencial de la fe, y que varias de ellas pudieran mostrar que su propia doctrina era la que los apóstoles les habían enseñado.
Por otra parte, si vemos el origen de la idea de la sucesión apostólica dentro de su propio contexto, veremos que no se trataba de limitar o circunscribir el derecho a pensar o a enseñar. Frente a los herejes que decían tener una doctrina secreta que sólo ellos conocían, la iglesia señalaba hacia su doctrina, abiertamente enseñada por todos desde la época de los apóstoles. Y frente a las pretensiones de los herejes en el sentido de que sus enseñanzas se basaban sobre los secretos de tal o cual apóstol, la iglesia apelaba a la doctrina universal de todos los apóstoles.