Get ready for an exciting story about how HolidayCheckGroup uses AI to transform call centre conversations with their customers into a symphony of insights.
Our design principles are centred on Security and Privacy to safeguard sensitive voice and data information. We’re not just making waves; we’re surfing the AI tide, harnessing the power of open-source models like whisper-large-v3 for understanding what people say and Mistral for helping us figure out how to use what they say to make things better.
Imagine a treasure trove of insights, locked within countless hours of call recordings. That’s where we started our quest - Buckle up for an adventure where technology meets human touch, and discover how we’re setting new benchmarks in user experience.
Let’s dive in!
Our Adventure: From Rough Drafts to Winning Strategies
Think of all the valuable things we can learn from the hours of calls we have - of course the ones which have consented ;)
It’s like having a treasure map but not knowing where X marks the spot. We decided to face the big challenges of understanding our users and product better, at the same time saving money, and keeping our customers’ talks private. We used some of the newest advancements in the field of AI in 2023 to make our own special tool that helps us listen and learn from our calls.
As we wrote at length before, we believe in the power of Large Language Models (LLMs), specially when it comes to their ability to understand human like text. Now we wanted to apply this belief to our call recordings and turn them into valuable lessons - It’s like turning lead into gold, where every call transcript becomes a chance to make our customer service and product shine brighter.
Several times it felt like walking through a maze, figuring things out step by step. A big moment for us was when we were able to repurpose an Apple MacBook in a new way, thanks to its strong GPU.
This wasn’t just about saving money; it was a clever move that let us venture into running LLMs and ASR Models locally - right where we work, keeping our customers’ information safe and sound without compromising the efficiency of the results.
Mixing the Potion: Safe, Private, and Full of Surprises
We care a lot about keeping things safe and private, which means, we use a lot of tools that are built on Open Source and can be self-hosted with a license for commercial use, remixing them with our own special tricks.
**Example**
Let’s walk through an example, thanks to our colleagues for recording a testing call for the purposes of a demo.
Step 1: We use Genesys Cloud as our Contact Center solution. Calls to which customers have consented to be recorded are periodically pulled from the Genesys API and go through an Audio transcribing and diarization pipeline based on Pyannote audio + whisper-large-v3.
We also submit a prompt to Whisper with each chunk that goes into transcription process, this helps us feed our business vocabulary in order to further enhance the quality of the transcription.
The above call will transcribed as follows:
| Timestamp | Speaker | Text | Log Probabilities |
|---|---|---|---|
| 2.54 - 6.46 | HolidayCheck Agent | Herzlich Willkommen bei Holiday Check, Sie sprechen mit HolidayCheck Agent. Kann ich für Sie tun? | 0.873, 0.765, 1.000, 0.987, 0.565, 0.852, 1.000, 1.000, 0.998, 1.000, 0.795, 0.999, 0.804, 1.000, 0.940 |
| 7.62 - 23.0 | Customer | Ja, hallo. Ich hoffe, ich bin richtig bei Ihnen. Ich war mal ein bisschen auf Ihrer Seite unterwegs und auch im Buchungsformular und da habe ich was von einem Gutschein gelesen, wenn man irgendwie Mitglied im Club wird. Ist das richtig? | 0.998, 0.732, 0.990, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.999, 1.000, 1.000, 0.997, 1.000, 1.000, 1.000, 0.863, 1.000, 1.000, 1.000, 0.994, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.876, 1.000, 1.000, 0.993, 0.998, 1.000, 1.000, 1.000 |
| 24.11 - 57.37 | HolidayCheck Agent | Ja, genau. Wir haben den sogenannten Holiday Check Premium Club. Da können Sie eine Mitgliedschaft abschließen und erhalten damit zahlreiche Vorteile bei Ihrer Reise. Unter anderem kriegen Sie da zwei Gutscheine, einmal einen 50-Euro-Gutschein, wenn Sie sich für eine Reise entscheiden, einen Wert von 490 Euro oder auch einen 100-Euro-Gutschein auf einem Reisewert von 990 Euro. Sie haben auch verschiedene Mietwagen-Gutscheine und generell Premium-Rabatte. Da gibt es wirklich eine große Auswahl an Vorteilen. | 1.000, 0.976, 1.000, 1.000, 0.938, 1.000, 1.000, 0.991, 1.000, 0.997, 0.397, 0.961, 0.796, 0.772, 0.993, 0.994, 0.981, 0.990, 0.915, 0.985, 0.999, 0.974, 0.918, 1.000, 0.856, 0.998, 0.857, 0.991, 0.912, 0.965, 1.000, 0.991, 0.993, 0.996, 0.718, 0.999, 0.999, 1.000, 1.000, 1.000, 0.999, 1.000, 1.000, 0.287, 0.973, 1.000, 1.000, 0.998, 0.758, 1.000, 0.997, 1.000, 1.000, 1.000, 0.814, 0.534, 0.823, 1.000, 0.999, 1.000, 0.972, 1.000, 1.000, 1.000, 0.861, 0.990, 0.999, 0.929, 0.990, 0.850, 0.993, 0.997, 1.000, 0.996, 1.000, 1.000, 0.999, 0.997, 0.998 |
| 58.39 - 67.27 | Customer | Ja, sehr schön. Das heißt also, meine Reise wird dann, wenn die, sage ich mal, 1.000 Euro ist, wird dann also 100 Euro billiger. Da muss ich dann also weniger bezahlen. | 0.133, 0.990, 0.999, 0.992, 1.000, 0.930, 0.979, 1.000, 0.996, 1.000, 1.000, 0.972, 0.412, 1.000, 1.000, 0.614, 1.000, 0.991, 0.999, 0.997, 1.000, 0.997, 1.000, 1.000, 1.000, 0.757, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000 |
| 68.09 - 84.71 | HolidayCheck Agent | Genau, beziehungsweise Sie buchen erstmal ganz normal die Reise, hinterlegen dann Ihre Mitgliedschaft oder Ihren Gutschein, den Sie dann bekommen. Das können Sie alles online im Buchungsformular machen und nach Rückreise kriegen Sie dann diese 100 Euro erstattet. Der Gutschein wird praktisch nur angegleichen, wenn Sie die Reise auch antreten konnten. | 0.956, 0.972, 0.970, 1.000, 0.812, 1.000, 1.000, 1.000, 1.000, 0.998, 1.000, 0.903, 0.999, 0.998, 0.996, 0.947, 1.000, 1.000, 1.000, 1.000, 0.996, 0.976, 1.000, 0.993, 1.000, 0.767, 0.996, 1.000, 0.274, 1.000, 0.998, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.963, 1.000, 1.000, 0.985, 0.922, 0.717, 0.862, 1.000, 1.000, 1.000, 1.000, 0.994, 0.993 |
| 85.23 - 105.19 | Customer | Ach so, alles klar. Ich verstehe. Das heißt, man muss natürlich schon den vollen Reisepreis bezahlen und bekommt das dann wieder erstattet. Das ist ja toll. Und jetzt haben Sie gesagt, auch für Mietwagen funktioniert das dann gleich, weil ich habe ja auch gesehen, über HolidayCheck kann man ja auch Mietwagen buchen. Da hat man dann auch so eine Vergünstigung oder man muss dann auch weniger bezahlen. | 0.986, 0.858, 1.000, 1.000, 0.998, 0.999, 0.944, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.999, 0.998, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.998, 1.000, 1.000, 0.987, 1.000, 1.000, 1.000, 0.999, 0.999, 0.952, 1.000, 1.000, 1.000, 1.000, 0.999, 1.000, 1.000, 1.000, 0.983, 0.648, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.999, 0.890, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.987, 0.419, 1.000, 1.000, 1.000, 1.000, 1.000 |
| 105.41 - 121.91 | HolidayCheck Agent | Genau, richtig. Also auch da kriegen Sie dann nach Rückreise den Gutschein wieder zurückgestattet. Da kommt es dann darauf an, wie hoch der Mietwagenpreis ist. Da gibt es vier Staffelungen, 100, 300, 500. 1000 Euro und dementsprechend kriegen Sie dann einen Gutschein. Ja, super, prima. | 0.998, 1.000, 0.988, 0.998, 1.000, 1.000, 0.995, 0.947, 0.995, 0.999, 0.998, 0.998, 0.629, 0.999, 0.933, 1.000, 1.000, 0.996, 0.886, 1.000, 1.000, 0.998, 1.000, 0.998, 1.000, 0.983, 0.999, 1.000, 0.743, 0.992, 1.000, 1.000, 1.000, 0.427, 0.942, 0.968, 1.000, 0.995, 0.864, 0.990, 0.999, 0.992, 0.890, 1.000, 0.995 |
| 123.13 - 132.87 | Customer | Und bei dieser Mitgliedschaft, Sie sagen, da gibt es noch ganz viele oder noch mehr Vergünstigungen. Wie erfahre ich dann davon oder schicken Sie dann E-Mails zu oder haben Sie so ein Newsletter? | 0.958, 0.999, 1.000, 1.000, 0.796, 1.000, 1.000, 1.000, 0.995, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.904, 1.000, 1.000, 1.000, 0.999, 1.000, 0.402, 1.000, 1.000, 1.000, 0.998, 1.000, 0.999, 0.998, 1.000, 1.000, 1.000, 0.817, 1.000 |
| 133.49 - 155.79 | HolidayCheck Agent | Ja, Sie können sich für ein Newsletter anmelden. Wir haben auf der Internetseite aber auch eine schöne Übersicht über die ganzen Premium-Vorteile. Können Sie einfach mal nach HolidayCheck und Premium-Club googeln. Das finden Sie alles auf unserer Seite. Wenn Sie sich bei unserem Newsletter anmelden, dann kriegen Sie auch die Sachen per Mail zugeschickt. Sehr schön, ja. Genau, da gibt es viele verschiedene Möglichkeiten. | 0.999, 0.961, 1.000, 0.997, 1.000, 0.835, 1.000, 1.000, 0.958, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.999, 1.000, 0.998, 0.998, 0.974, 0.899, 1.000, 0.960, 0.976, 0.999, 0.611, 0.999, 0.999, 0.792, 0.762, 0.999, 0.999, 1.000, 0.998, 1.000, 1.000, 1.000, 0.614, 0.803, 0.979, 0.969, 0.849, 0.996, 0.961, 0.341, 0.925, 0.975, 0.519, 0.989, 0.985, 0.995, 0.989, 0.999, 0.088, 0.953, 0.999, 0.976, 0.999, 1.000, 0.994, 0.999, 0.999, 1.000 |
| 156.82 - 161.0 | Customer | Prima. Und wie lange ist die Mitgliedschaft dann, wenn ich die abschließe? | 0.998, 1.000, 1.000, 0.999, 1.000, 1.000, 1.000, 0.999, 1.000, 1.000, 0.997, 0.998 |
| 161.24 - 179.82 | HolidayCheck Agent | Sie schließen die Mitgliedschaft immer für ein Jahr ab. Und wenn Sie aber sagen, Sie brauchen das nur jetzt in diesem Jahr, also ein Jahr ab Zeitpunkt des Abschließens, dann können Sie praktisch auch jederzeit. Ja, das können Sie auch abkündigen für das nächste Jahr danach, wenn Sie uns einfach per Mail Bescheid geben, | 0.993, 0.776, 1.000, 1.000, 0.999, 1.000, 1.000, 1.000, 1.000, 0.973, 0.999, 1.000, 0.484, 1.000, 0.998, 1.000, 0.999, 1.000, 0.989, 0.906, 1.000, 1.000, 0.980, 0.999, 1.000, 0.996, 0.917, 0.888, 0.992, 0.066, 0.999, 0.999, 0.999, 0.995, 1.000, 0.068, 0.112, 0.683, 0.273, 0.133, 0.763, 0.934, 0.994, 0.987, 0.990, 0.130, 0.535, 0.871, 0.501, 0.708, 0.995, 0.949, 0.979, 0.997 |
| 179.88 - 194.88 | Customer | dass Sie praktisch die Mitgliedschaft nicht verlängern möchten. Gut, das reicht dann einfach per Mail. Okay, und die Kosten für diese Mitgliedschaft, das machen wir wahrscheinlich auch online. Das heißt, da muss ich Ihnen keine Bankverbindung durchgeben oder so? | 0.984, 0.935, 0.773, 0.995, 0.998, 0.997, 0.997, 0.997, 0.745, 0.997, 0.999, 0.999, 0.999, 0.999, 0.999, 0.384, 0.999, 1.000, 1.000, 1.000, 0.999, 1.000, 0.930, 1.000, 1.000, 1.000, 1.000, 0.999, 0.995, 1.000, 0.888, 1.000, 1.000, 1.000, 0.993, 0.999, 1.000, 0.986, 1.000 |
| 195.68 - 207.6 | HolidayCheck Agent | Nein, Sie können die online abschließen und dann per Rechnung kriegen Sie dann, oder Sie kriegen per E-Mail eine Rechnung zugeschickt. Ja. Und dann können Sie dann den Betrag überweisen. | 0.772, 0.988, 1.000, 0.994, 0.977, 1.000, 0.953, 0.961, 0.903, 0.724, 0.942, 0.997, 0.932, 0.919, 0.989, 0.992, 0.998, 0.734, 1.000, 0.955, 1.000, 1.000, 0.965, 0.000, 0.439, 0.161, 0.715, 0.116, 0.982, 0.976, 1.000 |
| 208.4 - 222.28 | Customer | Ja, gut. Das hört sich ja eigentlich alles ganz entspannt an. Und das kann man immer jederzeit machen, gell? Das ist jetzt nicht an irgendwelche Zeiten gekoppelt. Das heißt, wenn ich das heute abschließe, dann habe ich es ab heute ein Jahr. Und das gilt auch schon für die erste Reise dann, gell? | 0.108, 0.999, 0.979, 0.962, 1.000, 0.983, 0.995, 0.984, 1.000, 0.979, 0.946, 0.997, 1.000, 1.000, 1.000, 1.000, 0.999, 1.000, 0.931, 1.000, 1.000, 0.912, 1.000, 1.000, 1.000, 1.000, 1.000, 0.936, 1.000, 1.000, 1.000, 1.000, 1.000, 0.999, 1.000, 0.997, 1.000, 0.999, 1.000, 1.000, 1.000, 0.999, 0.998, 0.840, 1.000, 1.000, 1.000, 1.000, 1.000, 0.987, 1.000, 0.993, 1.000 |
| 222.54 - 228.52 | HolidayCheck Agent | Genau, das gilt für die erste Reise. Sie können es heute abschließen, aber erst in zwei Wochen eine Reise buchen. Das ist ganz hinüberlassen. | 0.997, 1.000, 1.000, 1.000, 1.000, 1.000, 1.000, 0.996, 1.000, 0.999, 1.000, 0.999, 0.998, 0.815, 0.999, 0.958, 1.000, 0.999, 1.000, 0.999, 0.961, 0.808, 0.881, 0.629 |
| 229.34 - 237.72 | Customer | Wunderbar. Prima. Ach, da haben Sie mir aber schon sehr weitergeholfen. Wunderbar. Herzlichen Dank. Sehr gerne. Und auf Wiederhören. Bis dann. Tschüss. Tschüss. | 0.974, 1.000, 0.947, 1.000, 1.000, 0.999, 1.000, 1.000, 1.000, 1.000, 0.925, 1.000, 0.999, 1.000, 0.993, 0.999, 0.907, 0.986, 0.998, 0.859, 0.993, 0.972, 0.943 |
Step 2: Even though we use self-hosted LLMs, but since raw transcripts can contain some form of personal information, we always do multiple scans locally using Presidio and some custom prompts with Mistral. This really helps us remove majority of the personal information without loosing too many bits of the conversation.
Step 3: Once the transcription process is completed and passed through the privacy scans, a summary of the call is generated by sending the script to a local inference server for “mistral-7b-instruct-v0.2.Q8_0.gguf”. The inference server is built on top of llama.cpp. During this step, we also translate the German transcripts into English transcripts - this makes them accessible to even more wider audiences, further scaling-up product and customer service.
SUMMARY The conversation between the HolidayCheck Agent and the customer revolved around the Holiday Check Premium Club membership and its associated benefits, particularly the use of Gutschein (vouchers) for travel and car rental bookings. Following are the points discussed were as follows: 1. The customer was on HolidayCheck's booking form and had come across a reference to a club membership and related vouchers. 2. Sabine Müller, the agent, confirmed that they have the Holiday Check Premium Club, where members can secure numerous advantages for their travel arrangements, including two vouchers: one worth €50 when booking a trip valued at €490 or more, and a €100 voucher when booking one priced at €990 or above. They also receive car rental discounts and premium price reductions. 3. The customer understood that these discounts would effectively make their travel or car rental costs lower after they have taken the trip and presented their membership or vouchers. 4. To avail of the voucher benefits, customers first book a trip or rental normally and then submit their membership details or vouchers. After returning from their trip, they will receive the corresponding voucher amount back as a refund. 5. The discounts apply to both travel and car rentals. 6. The size of the voucher depends on the total cost of the rental; there are four tiers based on €100, €300, €500, and €1000 Euro rental costs. 7. The customer can learn more about these benefits by visiting the HolidayCheck website or subscribing to their newsletter. 8. The membership lasts for one year but can be cancelled before renewal with a simple email notification to HolidayCheck. 9. Customers pay for the membership online and receive an invoice, which they can settle through bank transfer. 10. They may join at any time during the year, and the benefits apply from that point onwards, even if they book their first trip before joining. 11. The agent confirmed that customers do not need to provide bank information for membership sign-up or voucher redemption. Instead, they can pay online and receive an invoice for settlement. 12. Customers can join the Premium Club at any time, and the benefits are valid indefinitely from the date of joining, with no specific time restrictions.
Even long talks can be understood in just a little over a minute. That’s pretty fast !!
Please note, that only the summarized version are shared even within HolidayCheck, as the raw transcriptions can still contain traces of some personal information, both audio and raw transcripts are purged from the machine as soon as the summary is prepared.
Step 4: Once all of this is done, comes the most crucial part: Evaluation.
LLMs, by nature, are non-deterministic, and non-determinism can be a double-edged sword. On the one hand, it allows for a broad range of responses and can inject creativity into the content-generation process. On the other hand, inconsistency can lead to confusion and frustration for both the business and its consumers. Therefore, gathering human feedback through data and insights was a crucial step.
- We first evaluated different parts of the system in isolation, gathered feedback, and iterated quickly. This also helped us curate datasets for automating quality checks of different parts of the system.
- Once we were sure all the parts were working well, we started stitching them together to create a Minimal Loveable Product.
- Now, as a running system, different teams consume and provide feedback on errors from time to time.
Finding Treasures: New Insights and Happy Customers
The results have been nothing short of remarkable. We’ve discovered intriguing correlations, such as the link between website features (or lack thereof) and customer dissatisfaction, allowing us to address issues proactively. The ultimate testament to the transformative power of AI will be when our agents are better equipped and our customers are happier - We are constantly striving to reach this goal.
Looking Ahead: New Discoveries Await
Using AI has really changed the game for us in customer service. We’ve found new ways to make things better, work more efficiently, and make our customers’ experiences great. And there’s more to come!
We’re excited about what the future holds, with lots of new ideas and AI projects on the horizon. Our journey into using technology to improve customer service is just getting started, and we can’t wait to see where it takes us. Join us as we continue to mix technology with a personal touch, aiming for a future where every customer feels like they’re on an epic adventure with us.