Prof. Schmidt schloss sein Studium der Betriebswirtschaftslehre mit den Schwerpunkten "Transportwirtschaft" und "Industriebetriebslehre" an der Johann Wolfgang Goethe-Universität in Frankfurt am Main 1976 als Diplom-Kaufmann ab. Seine Verbandskarriere begann nach dem Grundwehrdienst 1977 als Referent in der Grundsatzabteilung des damaligen Bundesverbandes des Deutschen Güterfernverkehrs (BDF) e.V.. Bereits 1981 berief die Hochschule Heilbronn den knapp Dreißigjährigen zum Lehrbeauftragten. 1985 übertrug ihm der BDF die Leitung der neu geschaffenen Abteilung Werkverkehrsberatung. 1986 erfolgte seine Bestellung zum Leiter der Grundsatzabteilung. Mit der Ernennung zum Geschäftsführer 1987 stieg er in das Führungsgremium des Bundesverbandes auf. 1992 erfolgte die Ernennung zum Stellvertretenden Hauptgeschäftsführer und 1995 seine Berufung zum Hauptgeschäftsführer des BDF.

Am 8. Juni 1988 erwarb er berufsbegleitend seinen Doktortitel mit einer Dissertation über ein Thema der Transportbetriebswirtschaft an der Johann Wolfgang Goethe-Universität. Eine besondere Ehrung für seine langjährige Lehrtätigkeit wurde ihm am 29. November 2000 mit der Ernennung zum Honorarprofessor der Hochschule Heilbronn zuteil.

Durch sein gewerbepolitisches Engagement bekleidete Prof. Schmidt zahlreiche Ehrenämter in Institutionen der Verkehrswirtschaft, Kuratorien, Studienkreisen und Beiräten u.a. als Stellvertretender Aufsichtsratsvorsitzender der KRAVAG-ALLGEMEINE Versicherungs-AG, Hamburg.

Mehr als 39 Jahre war Prof. Dr. Karlheinz Schmidt für BGL und BDF tätig, davon 21 Jahre als Hauptgeschäftsführer bzw. Geschäftsführendes Präsidialmitglied. Für seine langjährigen außerordentlichen Verdienste um das deutsche Transportlogistikgewerbe hatte er 2016 die BGL-Ehrennadel in Gold mit Stern verliehen bekommen. Auch in der Politik war er als immer an der Sache orientierter, hartnäckig die Interessen des Gewerbes vertretender "Typ mit Ecken und Kanten", dem stets auch an einem fairen persönlichen Umgang gelegen war, ein allseits geschätzter Gesprächspartner. Eines seiner Erfolgsgeheimnisse: sich in sein Gegenüber hineinversetzen und die Antworten auf daraus resultierende Fragen bereits im Vorhinein ausformuliert parat haben.

BGL-Vorstandssprecher Prof. Dr. Dirk Engelhardt: "Nur wenige Menschen haben den BGL so geprägt wie Prof. Dr. Karlheinz Schmidt. Ich bedanke mich nochmals ausdrücklich für die hervorragende Zusammenarbeit in der Übergangsphase und wünsche ihm alles erdenklich Gute – vor allem in dieser uns alle belastenden Pandemiezeit beste Gesundheit!"