Народився в Москві в родині інтелігентів: батько був інженером-хіміком, мати — бібліотекарем.

У 1943 р. батьки А. П. Єршова переїжджають у Сибір, до м. Кемерово, де Андрій Петрович в 1949 р. закінчив середню школу.

Того ж року вступає на фізико-технічний факультет Московського університету, збираючись стати фізиком. Однак на цьому факультеті йому вчитися не довелось, але було дозволено перевестися на механіко-математичний факультет того ж університету.

На механіко-математичному факультеті А. П. Єршов став спеціалізуватися по кафедрі обчислювальної математики, якою керував академік С. Л. Соболєв, а на останніх курсах під впливом А. А. Ляпунова захопився програмуванням.

У 1953 р., ще будучи студентом, він влаштувався на роботу в Інститут точної механіки й обчислювальної техніки, — де складався один з перших радянських колективів програмістів, — і брав участь у підготовці прийомних випробувань однієї з перших радянських обчислювальних машин «БЭСМ».

У 1954 р. А. П. Єршов закінчив університет — це був перший у радянських ВНЗ масовий випуск за фахом «програмування».

У тому ж році його приймають в аспірантуру в Московському університеті, яку він закінчує в 1957 р. В аспірантурі він працює під керівництвом А. А. Ляпунова й до початку 1958 року завершує підготовку кандидатської дисертації, присвяченої поняттю операторного алгорифма. Однак у зв'язку з настороженим відношенням математиків у той період до нової науки — програмування — захистити дисертацію йому вдається тільки в 1962 р.

У 1957 р. А. П. Єршов стає завідувачем відділом автоматизації програмування у тільки-но створеному Обчислювальному центрі АН СРСР.

У зв'язку зі створенням Сибірського відділення АН СРСР на прохання директора Інституту математики СВ АН СРСР академіка C. Л. Соболєва він приймає на себе обов'язки організатора й фактичного керівника відділу програмування цього інституту. В 1960 р. він стає й формальним керівником цього відділу й остаточно переїжджає в Сибір.

Докторську дисертацію по методах побудови трансляторів він захищає в 1968 р. і через два роки стає членом-кореспондентом (1970), а в 1984 р. — академіком АН СРСР.

Надалі, після створення Г. И. Марчуком Обчислювального центру СВ АН СРСР (1964), Андрій Петрович переходить на роботу в цей центр (завідувачем відділом і відділенням). Тут починається науково-педагогічна робота А. П. Єршова: він не тільки стає ідейним керівником і неформальним главою великої й активно працюючої співдружності новосибірських програмістів — школи системного й теоретичного програмування, дослідження якої складалися з робіт його учнів і послідовників у різних новосибірських інститутах, — але й приступає до виконання обов'язків професора в Новосибірському університеті (з 1969).

Завдяки унікальним здатностям наукового передбачення, А. П. Єршов одним перших у країні усвідомив ключову роль обчислювальної техніки в прогресі науки й суспільства й з початку 80-х рр. почав активно займатися педагогічною діяльністю, спрямованою на просування програмування, а потім й інформатики в систему освіти, а також масову свідомість.

У Новосибірську під патронатом А. П. Єршова були розпочаті експерименти з викладання програмування, а потім й інформатики, школярам. Під цей освітній проект були розроблені комп'ютер «Агат», навчальна система «Школярка» і мова «Рапіра».

У 1985-86 рр. А. П. Єршовим разом із групою співавторів були підготовлені й випущені пробні навчальні посібники для середніх навчальних закладів «Основи інформатики й обчислювальної техніки» (частина I і частина II — для 9-10 класів) і під його науковим керівництвом почалося викладання інформатики як навчального предмета у всіх школах Радянського Союзу.

Для запису алгоритмів у пробних навчальних посібниках уперше була застосована Алгол-подібна мова з російською нотацією (так звана «навчальна алгоритмічна мова»). Для неї через нетривалий час на механіко-математичному факультеті МДУ була створена «комп'ютерна реалізація» — компілятор, який дістав назву «Е-практикум» і був досить швидко портований на всі типи «шкільних» комп'ютерів.

Академік А. П. Єршов залишив багату наукову й творчу спадщину, що охоплює більше 200 книг, статей, препринтів, не рахуючи великої кількості передмов, редакційних статей, відгуків тощо, а також газетних публікацій й ін.

Андрій Петрович був обраний членом Американської асоціації з обчислювальної техніки (1965), почесним членом Британського товариства з обчислювальної техніки (1974).

За істотний внесок у теорію мішаних обчислень А. П. Єршову присуджена Премія імені О. М. Крилова АН СРСР (1984). Він також є володарем премії Ради Міністрів СРСР (1985). Нагороджений двома орденами Трудового Червоного Прапора (1967, 1975), орденом «Знак Пошани» (1981).

Наукова діяльність А. П. Єршова, і почасти феномен його наукової школи, висвітлювалися в довідкових виданнях і біографічних нарисах, однак ця тема далеко не вичерпана. Свідченням тому є докладне історіографічне дисертаційне дослідження І. О. Крайнєвої «Наукова біографія академіка А. П. Єршова» (2008), у якому робиться спроба «на підставі наявної літератури й джерел, значна частина яких уперше вводиться в науковий обіг, відтворити наукову біографію академіка А. П. Єршова, з'ясувати його вплив на деякі сторони розвитку інформатики в СРСР своїми дослідженнями в області теоретичного й системного програмування, на формування міжнародних наукових зв'язків, на становлення й виконання ряду національних програм: з математичного забезпечення ЕОМ, з інформатизації освіти».