KI und Security

INNOQ Security Podcast

Eine Risikobewertung

Jeden Tag gibt es neue KI-Tools, die Exploits zum Kinderspiel machen. Ein Riesensprung, dessen Auswirkungen Christoph und Felix in dieser Folge unter Security Gesichtspunkten diskutieren. Sollten Exploits veröffentlicht werden? Ist Responsible Disclosure noch zeitgemäß? Und außerdem: warum Threat-Models neu bewertet werden müssen.

• Einige der KI-Tools die für den aktuellen Hype verantwortlich sind: Midjourney, Stable Diffusion, ChatGPT, Github Copilot, LLaMA C++.
• Jeder will jetzt KI nutzen: MS Teams, Zoom, Landesmedienanstalt NRW.
• Unsere Folgen zu Capture the Flag und Deepfakes.
• Unsere Trainings iSAQB® CPSA®-Advanced WEBSEC und OWASP Top Ten in der Praxis, damit ihr nicht von mit ChatGPT & Co. bewaffneten Script-Kiddies gehackt werdet.
• ChatGPT schreibt Malware.
• Die Gefahr von Training Data Extraction Attacks wenn Angestellte vertrauliche Informationen in ChatGPT eingeben. JPMorgan Chase, Amazon, Verizon und Accenture verbieten deshalb ChatGPT am Arbeitsplatz.
• The Most Dangerous Codec in the World: Finding and Exploiting Vulnerabilities in H.264 Decoders
• Definitionen: Responsible Disclosure, Open Source Intelligence.
• ChatGPT & Co. in IT-Sicherheitsprodukten: MS Security Copilot und Socket Security.
• Microsoft Tay.
• Das Paper (nicht peer-reviewed) bei dem auch Reverse Engineering und Penetration Testing mit GPT-4 behandelt wird.
• Phishing ist (immer noch) das größte Einfallstor.
• KI kann KI nicht gut erkennen.
• Prompt Injection. Auch die Content Filter können umgangen werden.
• Mit KI-Unterstützung wird weniger sicherer Code geschrieben oder auch nicht ¯\(ツ)/¯.
• Modelle können manipuliert werden oder Backdoors enthalten.
• Billiglohnaerbeiter:innen trainieren ChatGPT.
• TikTok Filter und Voice Cloning. Voice Cloning wird bereits erfolgreich in Scams genutzt.
• KI-Generierte Bilder von Donald Trumps Verhaftung und Papst Franzikus gehen viral.
• Der Hype um ChatGPT wird auch schon für Malware genutzt.

Feedback

Falls ihr Fragen oder Anregungen habt, schreibt uns gerne eine E-Mail an [e-mail].

Розділи

1. Intro und Begrüßung (00:00:00)

2. CTFs Challenges mit ChatGPT lösen (00:02:22)

3. Warum Threat-Models neu bewertet müssen (00:08:25)

4. Sollte Exploits noch auf Github & Co. veröffentlicht werden? (00:11:30)

5. Malware mit ChatGPT schreiben (00:13:22)

6. Ist Responsible Disclosure noch zeitgemäß? (00:15:00)

7. Es tut mir leid, Felix, aber das kann ich nicht tun. Doch. (00:19:45)

8. Phishing & Scams mithilfe von KI-Tools (00:24:10)

9. Prompt Injection (00:32:16)

10. Welche Auswirkungen Github Co-Pilot & Co. auf die Security haben (00:38:00)

11. Training Data Extraction Attacks (00:46:18)

12. Manipulation der Modelle (00:53:15)

13. Desinformationen/Fake-News mittels KI (00:56:50)

14. Bias in den Modellen (01:00:34)

15. Verabschiedung und Outro (01:02:00)