Pronto, sin embargo, arreció la persecución contra todos los cristianos en Jerusalén. El emperador Calígula le había dado el título de rey a Herodes Agripa, nieto de Herodes el Grande. Según Hechos 12:1–3, Herodes hizo matar a Jacobo, hermano de Juan —quien no ha de confundirse con Jacobo el hermano de Jesús— y al ver que esto agradó a sus súbditos hizo encarcelar también a Pedro, quien escapó milagrosamente. En el año 62 Jacobo, el jefe de la iglesia, fue muerto por iniciativa del sumo sacerdote, y aun contra la oposición de algunos fariseos.
Ante tales circunstancias, los jefes de la iglesia de Jerusalén decidieron trasladarse a Pela, una ciudad mayormente gentil al otro lado del Jordán. Al parecer parte de su propósito en este traslado era, no sólo huir de la persecución por parte de los judíos, sino también evitar las sospechas por parte de los romanos. En efecto, en esa época el nacionalismo judío estaba en ebullición, y pronto se desataría la rebelión que culminaría en la destrucción de Jerusalén por los romanos en el año 70. Los cristianos se confesaban seguidores de uno que había muerto crucificado por los romanos, y que pertenecía al linaje de David. Aún más, tras la muerte de Jacobo el hermano del Señor aquella antigua iglesia siguió siendo dirigida por los parientes de Jesús, y la jefatura pasó a Simeón, que pertenecía al mismo linaje.
Frente al nacionalismo que florecía en Palestina, los romanos sospechaban de cualquier judío que pretendiera ser descendiente de David. Por tanto, este movimiento judío, que seguía a un hombre condenado como malhechor, y dirigido por gentes del linaje de David, tenía que parecer sospechoso ante los ojos de los romanos. Poco tiempo después alguien acusó a Simeón como descendiente de David y como cristiano, y este nuevo dirigente de la iglesia judía sufrió el martirio. Dados los escasos datos que han sobrevivido al paso de los siglos, nos es imposible saber hasta qué punto los romanos condenaron a Simeón por cristiano, y hasta qué punto le condenaron por pretender pertenecer a la casa de David. Pero en todo caso el resultado de todo esto fue que la vieja iglesia de origen judío, rechazada tanto por judíos como por gentiles, se vio relegada cada vez más hacia regiones recónditas y desoladas. En aquellos lejanos parajes el cristianismo judío entró en contacto con varios otros grupos que en fechas anteriores habían abandonado el judaísmo ortodoxo, y se habían refugiado allende el Jordán. Carente de relaciones con el resto del cristianismo, aquella iglesia de origen judío siguió su propio curso, y en muchos casos sufrió el influjo de las diversas sectas entre las cuales existía. Cuando, en ocasiones posteriores, los cristianos de origen gentil nos ofrezcan algún atisbo de aquella comunidad olvidada, nos hablarán de sus herejes y de sus extrañas costumbres, pero rara vez nos ofrecerán datos de valor positivo sobre la fe y la vida de aquella iglesia que perduró por lo menos hasta el siglo V.