Эра механического перевода и ее крах — захватывающее рождение искусственного интеллекта, первых чат-ботов и могущества Министерства обороны США

Почему я должен об этом знать?

«Чтобы фундаментально продвинуть границы исследований в области глубокого обучения, необходимо тщательно понять, что предпринималось в истории и почему нынешние модели существуют в нынешних формах»

Хаохан Ван и Бхикша Радж изО происхождении глубокого обучения

Модели большого языка (LLM) имеют увлекательную историю, которая восходит к началу 1930-х годов, когда родились первые идеи компьютерной лингвистики. Вы можете возразить, что это отслеживание является чрезмерным и что LLM не имеют ничего общего со старомодными доисторическими компьютерными системами. Вы также можете возразить, что программы LLM основаны на реальном, жестком глубоком обучении. Однако само глубокое обучение зародилось в 1943 году, когда Маккалок и Питтс предложили первого предшественника модели искусственных нейронов. Ровно 60 лет назад! Почему нам потребовалось так много времени, чтобы добраться до современных программ LLM?

Эта серия не о том, чтобы утопить вас в технических деталях. Хотя мы предоставляем обширный список литературы для тех, кто хочет углубиться, наша главная цель — привлечь ваше внимание и поделиться влиятельными событиями, которые сформировали LLM. Считайте это трамплином для дальнейших исследований, шансом найти в истории что-то, что может вдохновить вас на новое открытие в области машинного обучения. Это приглашение погрузиться в историю магистратуры, которая произвела такой фурор в прошлом году.

В этом выпуске мы отправим вас в путешествие во времени с 1933 по 1966 год. Готовы?Давайте окунемся в эпоху механического перевода и то, как она рухнула!

Первые шаги в США, СССР и Великобритании

Концепция механического перевода (МП) всегда была далекой мечтой, которая будоражила воображение многих изобретателей, но только в начале 20-го века инженеры и математики начал разрабатывать первые конкретные идеи о том, как воплотить это в жизнь.

В 1933 году значительный прогресс был достигнут, когда два человека, Джордж Арцруни, французско-армянский человек, и Петр Смирнов-Троянский, русский, независимо запатентовали…