Frank hieß eigentlich Alexander Franklin James und wurde am 10.01.1843 in Kearny (Missouri) geboren. Der Vater Robert James war Vorsteher der Baptisten. Nach ihm wurde sein Bruder Robert jun. benannt, der jung starb. Außerdem hatte er noch eine Schwester Susan Lavinia und war der ältere Bruder von Jesse James. Nach dem Tod des Vaters heiratete die Mutter noch zweimal und bekam weitere Kinder über die nicht näher berichtet wird.

Mit 18 Jahren kämpfte er bereits im Bürgerkrieg. Allerdings wurde er aus gesundheitlichen Gründen nach Hause geschickt und schloß sich dann erst einer und später einer weiteren Guerillatruppe an. Hierbei kam es zu heftigen Kämpfen zwischen den Unionstreuen und den Anhängern der Südstaatler, zu denen auch Frank gehörte. Mit den anderen Partisanen nahm er 1863 an dem blutigen Massaker an 200 Männern und Kindern in Lawrence (Kansas) teil. Durch ihn kam auch Jesse zu den Partisanen und sie kämpften gemeinsam gegen die Unionsbefürworter. Unter anderem nahmen sie am Centralia Massaker teil, bei welchem 22 unbewaffnete Soldaten aus einem Zug gezerrt und umgebracht wurden. Ihre Mutter und deren Mann wurden wegen der Taten ihrer Söhne aus Missouri verbannt. Die Zustände nach dem Bürgerkrieg waren katastrophal, hier tobte der Hass zwischen Unionsleuten und Südstaatlerbefürwortern weiter.

Frank und Jesse taten sich mit den Younger-Brüdern, ebenfalls ehemalige Mitglieder der Partisanentruppe, zusammen und gründeten eine Bande, die vor allem Banken überfiel. Die Bande wuchs und auch ihre Taten. Sie überfielen Banken, Postkutschen, Züge und in Kansas City sogar einen Jahrmarkt. Dabei erstreckte sich ihr "Wirkungskreis" von Iowa bis Texas und von Kansas bis West Virginia. 1874 wurden die Pinkerton-Detektive damit beauftragt die Bande zu stellen. Einer von ihnen wurde als Arbeiter auf der Farm von Jesses Mutter eingeschleust und dort tot aufgefunden. Nach weiteren vergeblichen Versuchen schritt der Gründer der Detektei selbst zur Tat und verübte einen Anschlag auf die Familie James, bei der ihr Halbbruder Archie getötet und die Mutter verletzt (ihr musste der Unterarm abgenommen werden) wurde. Dies machte Jesse und Frank James zu Sympathieträgern. Beide waren inzwischen verheiratet. Sie zogen mit ihren Familien nach Nashville, wohl um die Mutter zu schützen.

Am 07.09.1876 kam es bei einem Bankraub zu einem Zwischenfall. Der unbewaffnete Bankangestellte Haywood wurde von einem der Jamesbrüder erschossen. Vermutlich von Frank, da Jesse eigentlich seine Prinzipien hatte, zu denen es auch gehörte nicht auf Unbewaffnete zu schießen und niemanden grundlos umzubringen. Die Youngers wurden bei der großangelegten Verfolgungsjagd geschnappt, während Frank und Jesse fliehen konnten. Sie kehrten nach Nashville zurück und versuchten unter anderem Namen ein normales Leben zu führen. Frank gelang dieses im Gegensatz zu seinem Bruder auch. Trotzdem mussten sie 1881 erneut fliehen. Dabei trennten sich die Wege der Brüder. Frank zog nach Virginia und führte dort ein Leben als ehrbarer Bürger. Nach der Ermordung seines Bruders stellte er sich zwar den Behörden wurde aber für nicht schuldig erklärt. Am 18.02.1915 starb er eines natürlichen Todes.