Google TPU обрабатывает данные в 15 раз быстрее обычных компонентов

Два года назад компания Google создала собственную интегральную схему под названием Tensor Processing Unit, которая предназначена для вычислительной фазы задач машинного обучения.

Изначально компания сообщала, что TPU должен улучшить производительность на ватт в характерных задачах на величину до 10 раз, по сравнению с традиционными CPU и GPU. И теперь, получив опыт эксплуатации, фирма провела исследование влияния производительности чипов этого типа.

Оказалось, что 10-кратный прирост в энергоэффективность был слишком скромным. На самом деле производительность возросла от 30 до 80 раз по отношению к обычным решениям и в зависимости от сценария. Если говорить о прямой производительности, то по словам Google TPU в 15—30 раз быстрее стандартного аппаратного обеспечения.

Эффективность TPU

На этом процессоре работает специальное программное обеспечение, основанное на фреймворке машинного обучения TensorFlow, и некоторая доля этого ускорения связана именно с этим фреймворком. Авторы исследования отметили, что у программистов ещё есть запас по оптимизации.

Компания Google увидела необходимость TPU ещё 6 лет назад. Глубинное обучение компания использует в разных проектах, включая поиск изображений, фотографий и перевод. По своей природе, машинное обучение довольно требовательный к ресурсом процесс. К примеру, инженеры Google отметили, что если бы люди использовали распознавание речи по 3 минуты в день, и она выполнялась бы без TPU, то компании пришлось бы удвоить количество центров обработки данных.