Mixed Attention & LLM Context | Data Brew | Episode 35 Data Brew By Databricks podcast

Контент предоставлен Databricks. Весь контент подкастов, включая эпизоды, графику и описания подкастов, загружается и предоставляется непосредственно компанией Databricks или ее партнером по платформе подкастов. Если вы считаете, что кто-то использует вашу работу, защищенную авторским правом, без вашего разрешения, вы можете выполнить процедуру, описанную здесь https://ru.player.fm/legal.

Data Brew by Databricks »
Mixed Attention & LLM Context | Data Brew | Episode 35

2M ago 39:11

MP3•Главная эпизода

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.
Highlights include:
- How RAG enhances LLM accuracy by incorporating relevant external documents.
- The evolution of attention mechanisms, including mixed attention strategies.
- Practical applications of Mamba architectures and their trade-offs with traditional transformers.

33 эпизодов

#Databricks #Data Analytics #Apache Spark #Delta Lake #Machine Learning #Data Engineering #Artificial Intelligence #Tech #Data Science #Science #Lifestyle #Podcasting Education